基于Docker和Kubernetes的深度學(xué)習(xí)容器云平臺的設(shè)計與實現(xiàn)
發(fā)布時間:2020-06-07 15:35
【摘要】:隨著人工智能技術(shù)蓬勃發(fā)展,新興科學(xué)技術(shù)已經(jīng)滲透到新時代人類的日常生活和國家發(fā)展,人民切實感受到了科技帶來的力量。深度學(xué)習(xí)作為人工智能強有力的助推器,在科技發(fā)展中顯得尤為重要。就目前國內(nèi)計算機科學(xué)行業(yè)形勢來看,我國在人工智能領(lǐng)域的建樹與歐美發(fā)達國家相比仍有很大差距,缺少核心技術(shù),仍處于追趕期。發(fā)展受阻的因素有很多,比如計算資源維護成本高昂,行業(yè)門檻相對較高,以及人才匱乏等,這些都是阻礙人工智能在中國發(fā)展的絆腳石。為盡可能從技術(shù)和成本上降低人工智能的門檻,提升國內(nèi)中小企業(yè)以及個人開發(fā)者的效率,本文利用容器技術(shù)、容器編排技術(shù)、以及如Tensorflow、Caffe、Pytorch等用于機器學(xué)習(xí)、深度學(xué)習(xí)的框架,來打造一個穩(wěn)定、易用、易擴展的深度學(xué)習(xí)平臺。平臺提供模型開發(fā),模型訓(xùn)練,模型服務(wù)三大功能,可以實現(xiàn)秒級創(chuàng)建任務(wù)開發(fā)環(huán)境,一鍵運行模型訓(xùn)練批處理任務(wù)和一鍵發(fā)布模型服務(wù)。同時平臺提供GPU分時復(fù)用、任務(wù)管理、分布式存儲、以及任務(wù)監(jiān)控與報警。此外,平臺提供多種計算資源選擇,可以自由控制所用資源多少,是一個完備的深度學(xué)習(xí)平臺。本人參與了深度學(xué)習(xí)平臺的開發(fā)全過程,具體內(nèi)容如下:(1)協(xié)助產(chǎn)品經(jīng)理完成平臺用戶需求分析整理,精簡出最關(guān)鍵的需求;(2)與架構(gòu)師一起對平臺進行總體設(shè)計,并對部分關(guān)鍵組件提前調(diào)研;(3)實現(xiàn)鏡像倉庫的搭建、維護,以及鏡像編制;(4)完成調(diào)度系統(tǒng)Minion-proxy以及狀態(tài)機的的設(shè)計與實現(xiàn);(5)完成存儲系統(tǒng)與平臺的對接;(6)完成三種模型任務(wù)的實現(xiàn)。當(dāng)前系統(tǒng)已經(jīng)正式發(fā)布商用,已有超過500位用戶。平臺簡單易用,使用戶告別了復(fù)雜的環(huán)境配置,提高了資源利用率,大大降低了開發(fā)成本。平臺還有完備的技術(shù)手冊和各階段實例,極大地方便了用戶的使用。
【圖文】:
機的操作系統(tǒng);而虛擬機技術(shù)是在宿主機的操作系統(tǒng)上又虛擬出一套用于虛擬機逡逑的操作系統(tǒng),這樣無形中增加了開銷[8】。此外,Docker具有快速啟動、容易編寫逡逑鏡像文件等天然優(yōu)勢,是當(dāng)今互聯(lián)網(wǎng)云服務(wù)應(yīng)用部署的載體[9]。圖2-1為Docker的逡逑架構(gòu)圖。逡逑圖2邋-邋]邋Docker架構(gòu)圖逡逑Figure邋2邋-邋1邋Docker邋Architecture邋Diagram逡逑7逡逑
逡逑圖2_2是三種服務(wù)的舉例說明。其中IaaS層提供CPU服務(wù)器以及GPU服逡逑務(wù)器支持,其中包括物理機和虛擬機;PaaS層包含了基于IaaS層而構(gòu)建的各種逡逑即時可用的服務(wù),如存儲服務(wù)、計算服務(wù)、數(shù)據(jù)資源服務(wù)、以及算法模型服務(wù)等;逡逑SaaS層則是基于PaaS層的多種服務(wù)整合而成的、可以對外提供更高級輸出能力逡逑的服務(wù),如計算機視覺服務(wù)、語言處理服務(wù)、OCR服務(wù)等等,一般提供API接逡逑口供移動軟件或Web服務(wù)進行調(diào)用,提供第三方開發(fā)接入能力;將這些SaaS服逡逑務(wù)進行定制化打包,,即可把云服務(wù)連接到現(xiàn)實場景中。如安防場景可能需要對視逡逑頻進行視覺分析,對應(yīng)的垂直解決方案就是由定制化訓(xùn)練的計算機視覺服務(wù)所提逡逑供的。逡逑垂耀%方案逡逑SAAS逡逑i邐—,g11fi'—i逡逑邐邐邐——邋邐—邐邐—邐邐邐邐—邋邋邋邋邋邋逡逑1AAS逡逑—、逡逑IIESSI邋BSSI邋IES9I邋IBE9逡逑:、邋—邋邋邋邋邋邋邋邋—.—邐邐————...邋—邋邋邋邋.
【學(xué)位授予單位】:北京交通大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2019
【分類號】:TP393.09;TP18
本文編號:2701630
【圖文】:
機的操作系統(tǒng);而虛擬機技術(shù)是在宿主機的操作系統(tǒng)上又虛擬出一套用于虛擬機逡逑的操作系統(tǒng),這樣無形中增加了開銷[8】。此外,Docker具有快速啟動、容易編寫逡逑鏡像文件等天然優(yōu)勢,是當(dāng)今互聯(lián)網(wǎng)云服務(wù)應(yīng)用部署的載體[9]。圖2-1為Docker的逡逑架構(gòu)圖。逡逑圖2邋-邋]邋Docker架構(gòu)圖逡逑Figure邋2邋-邋1邋Docker邋Architecture邋Diagram逡逑7逡逑
逡逑圖2_2是三種服務(wù)的舉例說明。其中IaaS層提供CPU服務(wù)器以及GPU服逡逑務(wù)器支持,其中包括物理機和虛擬機;PaaS層包含了基于IaaS層而構(gòu)建的各種逡逑即時可用的服務(wù),如存儲服務(wù)、計算服務(wù)、數(shù)據(jù)資源服務(wù)、以及算法模型服務(wù)等;逡逑SaaS層則是基于PaaS層的多種服務(wù)整合而成的、可以對外提供更高級輸出能力逡逑的服務(wù),如計算機視覺服務(wù)、語言處理服務(wù)、OCR服務(wù)等等,一般提供API接逡逑口供移動軟件或Web服務(wù)進行調(diào)用,提供第三方開發(fā)接入能力;將這些SaaS服逡逑務(wù)進行定制化打包,,即可把云服務(wù)連接到現(xiàn)實場景中。如安防場景可能需要對視逡逑頻進行視覺分析,對應(yīng)的垂直解決方案就是由定制化訓(xùn)練的計算機視覺服務(wù)所提逡逑供的。逡逑垂耀%方案逡逑SAAS逡逑i邐—,g11fi'—i逡逑邐邐邐——邋邐—邐邐—邐邐邐邐—邋邋邋邋邋邋逡逑1AAS逡逑—、逡逑IIESSI邋BSSI邋IES9I邋IBE9逡逑:、邋—邋邋邋邋邋邋邋邋—.—邐邐————...邋—邋邋邋邋.
【學(xué)位授予單位】:北京交通大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2019
【分類號】:TP393.09;TP18
【參考文獻】
相關(guān)期刊論文 前1條
1 喻占武;鄭勝;李忠民;胡濱;;基于對象存儲的海量空間數(shù)據(jù)存儲與管理[J];武漢大學(xué)學(xué)報(信息科學(xué)版);2008年05期
相關(guān)碩士學(xué)位論文 前2條
1 陳星;基于CGroup的云數(shù)據(jù)庫資源管理策略研究[D];華中科技大學(xué);2016年
2 王斌斌;基于Protobuf的RPC系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2016年
本文編號:2701630
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/2701630.html
最近更新
教材專著