【摘要】：超級計算機(jī)系統(tǒng)主要用于特大型科學(xué)計算,然而,隨著大數(shù)據(jù)和云計算技術(shù)研究的不斷深入,超級計算機(jī)系統(tǒng)無疑也能為大規(guī)模數(shù)據(jù)處理與云服務(wù)提供珍稀的計算基礎(chǔ)設(shè)施服務(wù)。本文以廣州超算中心云平臺的研發(fā)為背景,利用超級計算機(jī)高速互連、緊密耦合的集群式并行體系結(jié)構(gòu)等特性,針對現(xiàn)有云計算中基礎(chǔ)設(shè)施服務(wù)(Iaa S)通�？剂康馁Y源因素少、調(diào)度資源粒度粗、網(wǎng)絡(luò)性能不穩(wěn)定等缺點和不足,主要研究與實現(xiàn)集群資源的統(tǒng)一管理與綜合調(diào)度技術(shù),實現(xiàn)比一般分布式松耦合的云計算平臺更加精細(xì)、更為高效的計算基礎(chǔ)設(shè)施服務(wù)。本文的主要貢獻(xiàn)有:1.建立了一種基于資源圖和層次化資源向量的資源描述模型,豐富了Iaa S云平臺的服務(wù)模式,為集群資源的優(yōu)化調(diào)度提供了結(jié)構(gòu)基礎(chǔ)。資源圖由資源節(jié)點和節(jié)點鏈路組成。其中,資源節(jié)點由層次化的資源向量描述,組成資源向量的元素分別對應(yīng)于該節(jié)點的計算能力、存儲容量和網(wǎng)卡帶寬等能力。每個元素又可以用向量來定義,例如節(jié)點計算能力可以進(jìn)一步表述為由CPU、GPU、MIC等元素組成的向量,而GPU還可以細(xì)化到核的個數(shù)、主頻、共享內(nèi)存大小等元素組成的向量,如此逐層細(xì)化。節(jié)點鏈路同樣可以表述為包含通信關(guān)系、鏈路能力、交換設(shè)備等元素的層次化向量。以上資源表示方法可以適應(yīng)不同粒度的資源請求,也為節(jié)點和鏈路的綜合調(diào)度提供了結(jié)構(gòu)支持。2.提出了一種基于向量分解排序的單節(jié)點資源向量調(diào)度算法RVS,提高了多維資源協(xié)同調(diào)度的響應(yīng)速度。當(dāng)用戶的需求表示是單節(jié)點的資源向量時,為了快速找到滿足向量各維要求的物理節(jié)點,首先將資源向量降維分解為多個單維向量,然后利用快速排序算法將所有物理節(jié)點按每一維資源的可用能力大小進(jìn)行排序,進(jìn)而通過交集計算獲得同時滿足各個維度資源約束條件的物理節(jié)點集。分析表明,RVS算法可以將N個節(jié)點的R維資源的綜合調(diào)度復(fù)雜度從O(R*N)下降到O(Rlog N)。3.提出了一種基于粒子群算法的多節(jié)點需求資源圖調(diào)度算法VCE-PSO,優(yōu)化了多個節(jié)點協(xié)同調(diào)度的響應(yīng)速度和資源效益。當(dāng)用戶的資源需求是包含多個節(jié)點及節(jié)點間通信能力要求的資源圖時,運用RVS算法為每個節(jié)點需求生成可用物理節(jié)點集,在此基礎(chǔ)上,尋找滿足節(jié)點間總路徑最短的資源圖。首先將需求資源圖映射到物理資源圖的某個子圖定義為粒子,進(jìn)而以所有節(jié)點之間的總路徑長度與鏈路帶寬消耗作為粒子的狀態(tài)。利用節(jié)點間路徑長度為適應(yīng)度函數(shù)的單調(diào)下降來指導(dǎo)粒子的變化,從粒子的所有可行解狀態(tài)中選擇消耗鏈路資源最少的多節(jié)點集群。測試表明,VCE-PSO利用多個粒子的并行能夠在較短時間內(nèi)實現(xiàn)需求鏈路的優(yōu)化部署。4.設(shè)計并實現(xiàn)了一種基于向量相似度的網(wǎng)絡(luò)鏈路資源調(diào)度技術(shù),提高了網(wǎng)絡(luò)設(shè)備的多種資源的平衡利用和網(wǎng)絡(luò)報文吞吐量。首先,監(jiān)測交換機(jī)上多種資源的消耗情況,獲取不同網(wǎng)絡(luò)流所需要的資源向量。接著,計算各網(wǎng)絡(luò)流的資源需求向量和交換機(jī)可用資源向量的余弦相似度,并調(diào)度相似度高的網(wǎng)絡(luò)流報文優(yōu)先進(jìn)行處理。進(jìn)而,在資源消耗超過閾值接近擁塞的時候,基于上述相似度對各網(wǎng)絡(luò)流報文進(jìn)行標(biāo)記,并通過接收端反饋的Ack報文通知發(fā)送端,由發(fā)送端根據(jù)標(biāo)記的報文比例調(diào)整發(fā)送速率。測試表明,該技術(shù)能夠使得Openvswitch的吞吐量得到約15%的提升。5.設(shè)計并實現(xiàn)了一種基于資源向量和數(shù)據(jù)傾斜性約束的物理資源和數(shù)據(jù)資源綜合調(diào)度技術(shù),優(yōu)化了大規(guī)模數(shù)據(jù)處理應(yīng)用的資源調(diào)度與運行性能。大規(guī)模數(shù)據(jù)的處理性能不僅受限于節(jié)點的計算資源,還受節(jié)點I/O帶寬、節(jié)點間的鏈路帶寬時延以及數(shù)據(jù)塊計算量傾斜度的影響。針對這個問題,首先根據(jù)節(jié)點上數(shù)據(jù)塊多少和大小估算其計算、I/O和網(wǎng)絡(luò)需求。接著,綜合考量所需的節(jié)點資源和鏈路資源,通過從多個數(shù)據(jù)塊副本中選擇合適的副本和對各節(jié)點以其計算量為權(quán)重針對性分配節(jié)點資源和鏈路資源等方法來以平衡其傾斜性,使得作業(yè)的并行任務(wù)能夠同步完成�；谠摷夹g(shù)對Hadoop做的優(yōu)化工作測試結(jié)果表明,在100G規(guī)模的數(shù)據(jù)處理中,該技術(shù)能夠減少約12%作業(yè)整體完成時間。以上技術(shù)已基于Openstack Nova調(diào)度器和Openvswitch虛擬交換機(jī)等軟件進(jìn)行了相關(guān)實現(xiàn),并在廣州超算中心天河云平臺上得到了初步部署應(yīng)用。實際結(jié)果表明,以上關(guān)鍵技術(shù)顯著提高了云平臺中各類資源的利用效率,有效減少了租戶資源請求的響應(yīng)時間,優(yōu)化了在云平臺上進(jìn)行大數(shù)據(jù)處理的性能。
【學(xué)位授予單位】：國防科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP338

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉文濤,張群,孫肅清;關(guān)于煉鋼廠重調(diào)度問題的研究[J];冶金自動化;2004年06期

2 張居陽 ,禮欣 ,孫吉貴;基于約束的調(diào)度研究和實現(xiàn)[J];計算機(jī)工程與應(yīng)用;2004年33期

3 劉琳;谷寒雨;席裕庚;;工件到達(dá)時間未知的動態(tài)車間滾動重調(diào)度[J];機(jī)械工程學(xué)報;2008年05期

4 黃峰;丁亞武;;人機(jī)協(xié)同模式下的手工調(diào)度技術(shù)研究[J];黑龍江科技信息;2011年35期

5 郭艷東;黃敏;王慶;;鎖定初始調(diào)度的緊急工作單機(jī)重調(diào)度問題[J];東北大學(xué)學(xué)報(自然科學(xué)版);2013年05期

6 姜洋;孫偉;丁秋雷;張旭;;考慮行為主體的單機(jī)調(diào)度干擾管理模型[J];機(jī)械工程學(xué)報;2013年14期

7 李向軍,王書振;網(wǎng)絡(luò)化集成制造模式下調(diào)度問題的混合遺傳算法[J];西安聯(lián)合大學(xué)學(xué)報;2002年04期

8 王中杰,吳啟迪,有杰;基于多目標(biāo)的半導(dǎo)體生產(chǎn)線滿意調(diào)度[J];控制與決策;2002年06期

9 李云峰;凌曉冬;武小悅;;調(diào)度問題中的沖突研究[J];兵工自動化;2007年06期

10 徐群嶺;;基于免疫優(yōu)化的公交駕駛員調(diào)度問題[J];計算機(jī)工程;2010年24期

相關(guān)會議論文 前10條

1 李建更;涂凍生;馬海濤;;單機(jī)拖后時間總和問題交付期擾動時最優(yōu)調(diào)度不變范圍的一種求法[A];第十九屆中國控制會議論文集（一）[C];2000年

2 劉海龍;黃小原;;總的未完工費用最小的多機(jī)調(diào)度問題[A];1995中國控制與決策學(xué)術(shù)年會論文集[C];1995年

3 沈吟東;曾西洋;;公共交通駕駛員調(diào)度的復(fù)雜性及解決方法[A];’2004計算機(jī)應(yīng)用技術(shù)交流會議論文集[C];2004年

4 李兵;蔣慰孫;;Job shop問題的建模及調(diào)度[A];1996中國控制與決策學(xué)術(shù)年會論文集[C];1996年

5 王海星;申金升;;智能蟻群算法解決公交區(qū)域調(diào)度問題研究[A];2006年首屆ICT大會信息、知識、智能及其轉(zhuǎn)換理論第一次高峰論壇會議論文集[C];2006年

6 王成堯;汪定偉;;模糊加工時間的單機(jī)調(diào)度問題[A];1996中國控制與決策學(xué)術(shù)年會論文集[C];1996年

7 齊向彤;涂奉生;;雙交付期E／T調(diào)度問題[A];1997年中國控制會議論文集[C];1997年

8 吳斌;方葉祥;崔志勇;;基于人工蜂群算法的越庫調(diào)度問題研究[A];第25屆中國控制與決策會議論文集[C];2013年

9 方濤;吳受章;;FMS的自適應(yīng)調(diào)度:結(jié)構(gòu)與算法研究[A];1992年中國控制與決策學(xué)術(shù)年會論文集[C];1992年

10 劉興初;趙千川;鄭大鐘;;具有不同準(zhǔn)備時間和交付期的單機(jī)E／T調(diào)度問題研究[A];1998年中國控制會議論文集[C];1998年

相關(guān)重要報紙文章 前2條

1 本報記者 賈科華;火電機(jī)組叫苦調(diào)度不合理[N];中國能源報;2012年

2 本報記者 高芳;牽住“牛鼻子” 巧解“推進(jìn)難”[N];湖南經(jīng)濟(jì)報;2008年

相關(guān)博士學(xué)位論文 前10條

1 郭鵬;具有分段惡化效應(yīng)生產(chǎn)過程的智能優(yōu)化調(diào)度研究[D];西南交通大學(xué);2014年

2 元野;基于圖著色模型的零擔(dān)物流調(diào)度優(yōu)化問題研究[D];哈爾濱工業(yè)大學(xué);2015年

3 李雪松;模糊環(huán)境下若干單機(jī)批加工調(diào)度問題的模型及其算法研究[D];哈爾濱工業(yè)大學(xué);2015年

4 湯雅連;關(guān)聯(lián)物流運輸調(diào)度問題研究[D];廣東工業(yè)大學(xué);2015年

5 周理;高效可重構(gòu)陣列計算：體系結(jié)構(gòu)，設(shè)計方法與程序映射技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2014年

6 馮大光;一類批處理機(jī)調(diào)度的理論和方法研究[D];東北大學(xué);2011年

7 孟盈;鋼鐵企業(yè)并行批生產(chǎn)決策與調(diào)度問題研究[D];東北大學(xué);2011年

8 楊磊;內(nèi)容網(wǎng)絡(luò)中內(nèi)容調(diào)度技術(shù)研究[D];重慶大學(xué);2015年

9 李亞志;流水制造單元調(diào)度智能優(yōu)化方法[D];東南大學(xué);2015年

10 丁寧;若干調(diào)度問題的算法研究[D];大連理工大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 張亮;云計算環(huán)境下的資源調(diào)度技術(shù)的研究[D];江南大學(xué);2015年

2 馮卓鵬;重載運輸卸車組織優(yōu)化研究[D];西南交通大學(xué);2015年

3 閆志超;基于人工蜂群算法的拖輪調(diào)度優(yōu)化[D];大連海事大學(xué);2015年

4 石雪飛;維護(hù)時長隨機(jī)器負(fù)載線性遞增的單機(jī)調(diào)度問題[D];東華理工大學(xué);2014年

5 蘇瑋;含風(fēng)電場電力系統(tǒng)的風(fēng)險調(diào)度[D];東南大學(xué);2015年

6 李曉浩;蟻群優(yōu)化算法在平行機(jī)批調(diào)度問題中的應(yīng)用與研究[D];安徽大學(xué);2016年

7 陳琳;基于衰老機(jī)制的群智能算法及其在跨單元調(diào)度問題中的應(yīng)用[D];北京理工大學(xué);2016年

8 趙海丹;有模具限制的并行機(jī)臺調(diào)度問題研究[D];吉林大學(xué);2016年

9 王如雪;項目多目標(biāo)模糊調(diào)度優(yōu)化模型及算法研究[D];吉林大學(xué);2016年

10 沈睿;基于實時需求的夜間柔性公交調(diào)度研究[D];西南交通大學(xué);2016年

本文編號：2764588