隨著近幾年信息技術(shù)與大數(shù)據(jù)的高速發(fā)展,人工智能在變得越來越火熱的同時(shí),也取得了良好的發(fā)展。但是研究人員在模型訓(xùn)練過程中常常會(huì)遇到一些問題,如計(jì)算資源包括但不限于CPU、內(nèi)存、顯卡等的利用率較低,或者因?yàn)槟承┤藶橐蛩貙?dǎo)致機(jī)器環(huán)境的不穩(wěn)定,最后導(dǎo)致其它研究人員無法使用等問題時(shí)有發(fā)生。于是本文基于上述原因嘗試提出基于云計(jì)算的人工智能訓(xùn)練平臺(tái)。本文首先對目前云計(jì)算的發(fā)展現(xiàn)狀、虛擬化技術(shù)、容器化技術(shù)、容器調(diào)度方案等關(guān)鍵技術(shù)和國內(nèi)外人工智能訓(xùn)練平臺(tái)的發(fā)展現(xiàn)狀進(jìn)行了研究。然后通過深入對比分析各個(gè)容器調(diào)度方案的優(yōu)缺點(diǎn),確定了本文將采用目前最為流行的云計(jì)算組合Docker容器化技術(shù)+容器調(diào)度方案Kubernetes為基礎(chǔ)搭建人工智能訓(xùn)練平臺(tái)。然后本文根據(jù)目前實(shí)際應(yīng)用場景對平臺(tái)的需求以及可行性進(jìn)行分析,并以此為基礎(chǔ)提出了平臺(tái)的整體架構(gòu)方案。最后在完成平臺(tái)基礎(chǔ)功能的基礎(chǔ)上,對平臺(tái)中涉及到的存儲(chǔ)環(huán)境進(jìn)行研究,確定存儲(chǔ)方案Ceph分布式文件系統(tǒng),并對該文件系統(tǒng)進(jìn)行優(yōu)化。本文主要的工作內(nèi)容如下:1)通過對人工智能訓(xùn)練平臺(tái)的存儲(chǔ)環(huán)境進(jìn)行分析,對比NFS文件系統(tǒng)和Ceph文件系統(tǒng)的性能優(yōu)劣,本文最終選擇基于Ceph文... 

【文章來源】： 劉宇博 北京郵電大學(xué)

【文章頁數(shù)】：95 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－２平臺(tái)虛擬化與容器虛擬化對比圖??

由于利用平臺(tái)進(jìn)行人工智能訓(xùn)練需要滿足的需求較多，這些需求內(nèi)容可以大??部分覆蓋到其他任務(wù)的需求，所以本節(jié)將對其核心流程進(jìn)行介紹，具體流程內(nèi)容??如圖３－３所示，對于具體創(chuàng)建的模塊和具體應(yīng)用，本節(jié)將幾個(gè)較為重要的需求模??塊進(jìn)行簡要說明，對于其更加詳細(xì)地具體操作以及平臺(tái)對應(yīng)的返回內(nèi)容可以參考??第五章的內(nèi)容。對于數(shù)據(jù)中心模塊，其主要任務(wù)是進(jìn)行數(shù)據(jù)的采集、清洗、標(biāo)注，??不同用戶進(jìn)行自有數(shù)據(jù)的注冊認(rèn)領(lǐng)等操作；訓(xùn)練中心模塊的主要任務(wù)是進(jìn)行鏡像??的搭建、模型的訓(xùn)練等操作；業(yè)務(wù)中心的主要任務(wù)是將過去一段時(shí)間己經(jīng)訓(xùn)練好??的模型進(jìn)行升級的工作，具體內(nèi)容是利用己有的模型和己經(jīng)添加新數(shù)據(jù)的數(shù)據(jù)集??對于現(xiàn)有模型進(jìn)行?ｆｉｎｅｔｕｎｅｐｒｅ－ｔｒａｉｎｅｄｍｏｄｅｌ?工作，其中?ｆｍｅｔｉｍｅｐｒｅ－ｔｒａｉｎｅｄｍｏｄｅｌ??是Ｔｒａｎｓｆｅｒ?Ｌｅａｒｎｉｎｇ?（遷移學(xué)習(xí)）的一種方式；監(jiān)控中心主要是對集群內(nèi)的所有??宿主機(jī)的資源進(jìn)行監(jiān)控，如顯卡個(gè)數(shù)，ＣＰＵ狀態(tài)，內(nèi)存使用量，以及網(wǎng)絡(luò)１／？的??吞吐情況等。其中對于數(shù)據(jù)中心模塊的數(shù)據(jù)處理任務(wù)和訓(xùn)練中心模塊的模型訓(xùn)練??任務(wù)則會(huì)根據(jù)不同的需求，提供不同的方式對宿主機(jī)上的容器進(jìn)行遠(yuǎn)程登錄。一??種方式是通過啟動(dòng)ｗｅｂ界面的方式，另一種方式是通過ＳＳＨ?－Ｘ的終端連接的??方式。平臺(tái)所涉及的全部模塊以及數(shù)據(jù)中心模塊所對應(yīng)的任務(wù)列表如圖３－４所示。??如圖３－５為環(huán)境搭建平臺(tái)的頁面展示

??為數(shù)據(jù)存儲(chǔ)媒介及ＰＶＣ?（ＰｅｒｓｉｓｔｅｎｔＶｏｌｕｍｅＣｌａｉｍ）申請的頁面展示，圖３－８為參??數(shù)文件夾管理的頁面展示。??的鏡像?ｖ數(shù)據(jù)集?Ｉ數(shù)據(jù)存儲(chǔ)媒介ｊ?Ｉ參數(shù)文件夾ｊ??是?１?＂１?否?是?Ｉ?■?Ｌ－?）?￥????—１??１?是?■?■?１?Ｈ?否??ａ?ｍ?否??Ｐ１？�。弁▉A的?１?ｆ通過ｉ臺(tái)的?１?土的，ｉｆ通過二的）ｆｌｉｌｉｆｌ?ｆｌｓＳｉｉｌ??＿Ｊ訓(xùn)練中心授?Ｌ巧據(jù)集Ｊ數(shù)據(jù)中心授?Ｉ據(jù)存醒介Ｊ工作流模塊?１夕數(shù)〒件夾Ｊ??塊的環(huán)境搭?塊的標(biāo)注數(shù)?的ｐｖｃ配額管??建平臺(tái)任務(wù)?據(jù)管理任務(wù)?理任務(wù)建立?２２５２２??建立上屬的?建２２２的?”儲(chǔ)??鏡像?數(shù)據(jù)集?媒介?夾???ｙ?＼?Ｊ??／?Ｖ??ｙ??ｆ建立人工ｉ能訓(xùn)練任＾??Ｌ?務(wù)容器?Ｊ??圖３－３平臺(tái)創(chuàng)建任務(wù)流程圖??挪雜邱餅?＾ｒ，?ｍａｔｒｉｘＷＨ?雜?ＳＳ?貨?ＨＵ??Ｂ第灌點(diǎn)管＿?（Ｑ）?ｍａｔｒｉｄＥ蠢蓍理?｜龔．上ｆ？Ｃ猙出緣注數(shù)??，?＾；＇；?數(shù)捶實(shí)時(shí)統(tǒng)計(jì)?〇？、?標(biāo)注系銃?人絵聚》??々⑶Ｖ、。Ｊ?清＾瑁與Ｂ麇雇約實(shí)嚀?（ｇ）?ＢＵＭ說系後Ｓ＊入口?竃襲人Ｉｆｉ供？結(jié)果農(nóng)ＳＪ５??｝［．?＾?＾?新建致播流任務(wù)?ｒ、、?敗播流平臺(tái)入口?Ｈｕｅ平臺(tái)??（０＞）齡抽振逢任務(wù)?（＾）?ＢｔＢａ＾ＳｆＡａ?Ｈａｄｏｏｐ．?Ｓｗｒｋ，?Ｈ？ｖ？．??ＨｇｄＳＯｌｆｆ?臺(tái)入口??圖３－４平臺(tái)模塊的部分展示??１９??

【參考文獻(xiàn)】：
期刊論文
[1]中外云計(jì)算產(chǎn)業(yè)發(fā)展形勢與比較[J]. 郭朝先,胡雨朦.  經(jīng)濟(jì)與管理. 2019(02)
[2]Kubernetes高可用集群的部署實(shí)踐[J]. 盛樂標(biāo),周慶林,游偉倩,張予倩.  電腦知識與技術(shù). 2018(26)
[3]云計(jì)算主流虛擬化技術(shù)的比較分析與研究[J]. 歐坤,陳玲.  蕪湖職業(yè)技術(shù)學(xué)院學(xué)報(bào). 2018(02)
[4]基于KVM云桌面平臺(tái)虛擬化架構(gòu)的應(yīng)用研究[J]. 倪云霞,陸冬磊.  計(jì)算機(jī)產(chǎn)品與流通. 2018(06)
[5]淺析Kubernetes容器虛擬化技術(shù)[J]. 馬征,繆凱,張廣溫.  金融電子化. 2018(06)
[6]容器虛擬化技術(shù)在飛騰1500A平臺(tái)的應(yīng)用[J]. 馬曉光,孫大軍,吳登勇,陳亮甫.  信息技術(shù)與信息化. 2017(06)
[7]百度PaddlePaddle聯(lián)手Kubernetes[J].   商業(yè)觀察. 2017(Z1)
[8]云計(jì)算行業(yè)發(fā)展背景理解與思考[J]. 張立平.  輕工科技. 2015(01)
[9]云計(jì)算技術(shù)發(fā)展現(xiàn)狀及應(yīng)用探討[J]. 楊燕.  硅谷. 2015(01)
[10]云計(jì)算應(yīng)用模式下移動(dòng)互聯(lián)網(wǎng)安全問題淺析[J]. 房秉毅,張?jiān)朴?吳俊,徐雷.  電信科學(xué). 2013(03)

碩士論文
[1]基于Mesos的數(shù)據(jù)中心資源調(diào)度和存儲(chǔ)性能優(yōu)化技術(shù)研究[D]. 劉文斌.廣西大學(xué) 2018
[2]基于LXC的PaaS云中支持QoS的自適應(yīng)部署機(jī)制研究[D]. 李雪飛.青島大學(xué) 2017
[3]移動(dòng)用戶上網(wǎng)行為分析系統(tǒng)關(guān)鍵技術(shù)研究[D]. 周慶玲.北京交通大學(xué) 2014



本文編號：3448242