本文關(guān)鍵詞：面向虛擬集群的鏡像存儲與傳輸優(yōu)化，，由筆耕文化傳播整理發(fā)布。

【摘要】：虛擬集群技術(shù)的采用在提升硬件資源利用率的同時,也對存儲系統(tǒng)的性能提出了很高的要求。一方面,作為虛擬機主要存儲形式的稀疏鏡像文件的引入,加重了存儲系統(tǒng)的碎片化程度;另一方面,多臺虛擬機同時運行在一臺物理機上,不同存取模式對存儲系統(tǒng)的競爭訪問使得I/O性能進(jìn)一步下降。此外,虛擬集群的部署和遷移過程中涉及到大量鏡像文件的存儲和分發(fā)操作,高效存儲并在需要時快速傳輸這些鏡像并非易事。論文在對多虛擬機環(huán)境I/O工作流的特性分析研究的基礎(chǔ)上,針對這些問題進(jìn)行了研究,其主要工作和貢獻(xiàn)包括:設(shè)計了一種面向虛擬機鏡像的混合存儲架構(gòu),并根據(jù)多虛擬機工作流的特性提出了熱區(qū)跟蹤替換算法�；旌洗鎯軜�(gòu)由固態(tài)硬盤(SSD)和普通硬盤(HDD)構(gòu)成,能夠利用SSD突出的隨機存取性能,克服多虛擬機環(huán)境工作流隨機性增加導(dǎo)致的I/O系統(tǒng)性能下降問題。熱區(qū)跟蹤(HZT)替換算法采用高效的數(shù)據(jù)結(jié)構(gòu)維護(hù)全局?jǐn)?shù)據(jù)塊的存取熱度,確保熱區(qū)數(shù)據(jù)駐留在SSD中。實驗表明,在多虛擬機環(huán)境下,采用HZT算法的混合存儲系統(tǒng)的命中率相對傳統(tǒng)算法可提高12%,采用適當(dāng)?shù)念A(yù)取策略可使命中率提高23%,同時累積響應(yīng)時間下降34%。提出了虛擬機鏡像按需分發(fā)框架。根據(jù)虛擬機啟動和運行過程中通常只對有限數(shù)據(jù)塊訪問,采用按需的分發(fā)機制減少了集群部署和關(guān)閉過程的數(shù)據(jù)傳輸,避免了大量鏡像存取請求帶來的存儲節(jié)點和網(wǎng)絡(luò)瓶頸問題。設(shè)計了差異化的數(shù)據(jù)塊劃分方法,使用能夠提升索引管理效率和數(shù)據(jù)存取性能的大數(shù)據(jù)塊劃分對鏡像數(shù)據(jù)進(jìn)行去冗余處理,而對鏡像分發(fā)則采用能夠提高數(shù)據(jù)傳輸效率的較小數(shù)據(jù)塊劃分,兼顧了去冗鏡像存儲系統(tǒng)讀寫性能和鏡像數(shù)據(jù)分發(fā)效率。對于50個鏡像的分發(fā)實驗表明,相比于全鏡像分發(fā),按需分發(fā)速度可以提升13-22倍。提出了一個用于多數(shù)據(jù)中心環(huán)境的虛擬機快速動態(tài)遷移架構(gòu)和相應(yīng)的遷移方法,其核心思想是:利用鏡像副本減少虛擬機動態(tài)遷移過程中的鏡像數(shù)據(jù)傳輸,使得虛擬機能夠靈活地在各數(shù)據(jù)中心之間通過低帶寬的廣域網(wǎng)快速遷移;采用前拷貝和后拷貝相結(jié)合的跨數(shù)據(jù)中心快速動態(tài)鏡像遷移(FlimCD)算法和臟塊去冗機制進(jìn)一步減少數(shù)據(jù)傳輸;通過缺塊預(yù)取和熱區(qū)排序傳輸機制減少后拷貝階段的遠(yuǎn)程缺塊率,降低鏡像遷移對虛擬機性能的影響。測試結(jié)果顯示,優(yōu)化后的FlimCD算法比前拷貝算法遷移時間下降64.3%,鏡像拷貝后期的缺塊率下降49%以上。
【關(guān)鍵詞】：虛擬集群 虛擬機鏡像 混合存儲 鏡像分發(fā) 鏡像傳輸
【學(xué)位授予單位】：清華大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP302
【目錄】：

• 摘要3-4
• Abstract4-9
• 第1章 引言9-20
• 1.1 研究背景9-16
• 1.1.1 物理集群與虛擬集群9-12
• 1.1.2 存儲技術(shù)的發(fā)展12-14
• 1.1.3 磁盤鏡像技術(shù)14-16
• 1.2 研究內(nèi)容16-17
• 1.3 主要貢獻(xiàn)17-18
• 1.4 論文的組織18-20
• 第2章 研究現(xiàn)狀20-34
• 2.1 混合存儲技術(shù)相關(guān)研究20-25
• 2.2 緩存替換算法相關(guān)研究25-26
• 2.3 冗余刪除技術(shù)相關(guān)研究26-29
• 2.4 虛擬機動態(tài)遷移技術(shù)相關(guān)研究29-32
• 2.5 本章小結(jié)32-34
• 第3章 虛擬集群的I/O工作流特性分析34-46
• 3.1 多虛擬機環(huán)境I/O工作流特性34-39
• 3.2 虛擬機啟動過程I/O工作流特性39-42
• 3.3 虛擬機運行過程I/O工作流特性42-44
• 3.4 本章小結(jié)44-46
• 第4章 面向多虛擬機的混合存儲替換算法優(yōu)化46-62
• 4.1 引言46-48
• 4.2 混合存儲架構(gòu)設(shè)計48-50
• 4.3 熱區(qū)跟蹤替換算法設(shè)計50-54
• 4.3.1 熱區(qū)管理51-53
• 4.3.2 替換方法53
• 4.3.3 預(yù)取策略53-54
• 4.4 算法實現(xiàn)54-56
• 4.5 實驗結(jié)果56-61
• 4.5.1 緩存大小對性能的影響測試56-58
• 4.5.2 區(qū)大小對性能的影響測試58-59
• 4.5.3 虛擬機任務(wù)切換條件下性能測試59-61
• 4.6 本章小結(jié)61-62
• 第5章 虛擬機鏡像按需分發(fā)框架62-83
• 5.1 引言62-63
• 5.2 按需分發(fā)方案63-65
• 5.3 按需分發(fā)框架設(shè)計65-71
• 5.3.1 計算節(jié)點存儲設(shè)計65-67
• 5.3.2 鏡像存儲設(shè)計67-69
• 5.3.3 鏡像分塊策略69-70
• 5.3.4 可擴(kuò)展性分析70-71
• 5.4 鏡像按需分發(fā)框架實現(xiàn)71-72
• 5.5 實驗環(huán)境及設(shè)置72-73
• 5.6 實驗結(jié)果73-82
• 5.6.1 鏡像存儲節(jié)點性能測試73-74
• 5.6.2 鏡像分發(fā)性能測試74-77
• 5.6.3 鏡像傳輸性能測試77-82
• 5.7 本章小結(jié)82-83
• 第6章 基于副本的鏡像遷移優(yōu)化方法83-96
• 6.1 引言83-85
• 6.2 快速鏡像傳輸架構(gòu)設(shè)計85-89
• 6.2.1 總體架構(gòu)85-86
• 6.2.2 鏡像文件存儲86
• 6.2.3 鏡像的標(biāo)識和臟塊記錄86
• 6.2.4 FlimCD遷移算法86-88
• 6.2.5 FlimCD算法優(yōu)化88-89
• 6.2.6 架構(gòu)實現(xiàn)89
• 6.3 實驗結(jié)果89-94
• 6.3.1 實驗平臺及配置89-90
• 6.3.2 鏡像倉庫性能90-91
• 6.3.3 傳輸性能測試91-92
• 6.3.4 針對缺塊率的優(yōu)化92-94
• 6.4 本章小結(jié)94-96
• 第7章 總結(jié)與展望96-99
• 7.1 本文總結(jié)96-97
• 7.2 進(jìn)一步工作97-99
• 參考文獻(xiàn)99-106
• 致謝106-108
• 個人簡歷、在學(xué)期間發(fā)表的學(xué)術(shù)論文與研究成果108

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 曹曉剛;;Java虛擬機的10年[J];程序員;2005年07期

2 宋韜;盤細(xì)平;羅元柯;倪國軍;;Java虛擬機在嵌入式DSP系統(tǒng)上的實現(xiàn)[J];計算機應(yīng)用與軟件;2007年04期

3 劉黎波;;Java虛擬機攔截原理研究[J];科技風(fēng);2008年21期

4 劉治波;;Java虛擬機簡析[J];濟(jì)南職業(yè)學(xué)院學(xué)報;2008年01期

5 郝帥;;Java虛擬機中相關(guān)技術(shù)的探討[J];成功(教育);2008年08期

6 李霞;;系統(tǒng)虛擬機關(guān)鍵技術(shù)研究[J];微型電腦應(yīng)用;2010年03期

7 鄭曉瓏;孔挺;;虛擬機的安全風(fēng)險與管理[J];硅谷;2010年16期

8 李學(xué)昌;平淡;;為速度而戰(zhàn),虛擬機內(nèi)外兼修[J];電腦愛好者;2010年18期

9 王惠萍;張海龍;馮帆;王建華;;Java虛擬機使用及優(yōu)化[J];計算機與網(wǎng)絡(luò);2010年21期

10 鄭婷婷;武延軍;賀也平;;云計算環(huán)境下的虛擬機快速克隆技術(shù)[J];計算機工程與應(yīng)用;2011年13期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 孟廣平;;虛擬機漂移網(wǎng)絡(luò)連接方法探討[A];中國計量協(xié)會冶金分會2011年會論文集[C];2011年

2 段翼真;王曉程;;可信安全虛擬機平臺的研究[A];第26次全國計算機安全學(xué)術(shù)交流會論文集[C];2011年

3 李明宇;張倩;呂品;;網(wǎng)絡(luò)流量感知的虛擬機高可用動態(tài)部署研究[A];2014第二屆中國指揮控制大會論文集（上）[C];2014年

4 林紅;;Java虛擬機面向數(shù)字媒體的應(yīng)用研究[A];計算機技術(shù)與應(yīng)用進(jìn)展——全國第17屆計算機科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會議論文集（上冊）[C];2006年

5 楊旭;彭一明;刑承杰;李若淼;;基于VMware vSphere 5虛擬機的備份系統(tǒng)實現(xiàn)[A];中國高等教育學(xué)會教育信息化分會第十二次學(xué)術(shù)年會論文集[C];2014年

6 沈敏虎;查德平;劉百祥;趙澤宇;;虛擬機網(wǎng)絡(luò)部署與管理研究[A];中國高等教育學(xué)會教育信息化分會第十次學(xué)術(shù)年會論文集[C];2010年

7 李英壯;廖培騰;孫夢;李先毅;;基于云計算的數(shù)據(jù)中心虛擬機管理平臺的設(shè)計[A];中國高等教育學(xué)會教育信息化分會第十次學(xué)術(shù)年會論文集[C];2010年

8 朱欣焰;蘇科華;毛繼國;龔健雅;;GIS符號虛擬機及實現(xiàn)方法研究[A];《測繪通報》測繪科學(xué)前沿技術(shù)論壇摘要集[C];2008年

9 于洋;陳曉東;俞承芳;李旦;;基于FPGA平臺的虛擬機建模與仿真[A];2007'儀表，自動化及先進(jìn)集成技術(shù)大會論文集（一）[C];2007年

10 丁濤;郝沁汾;張冰;;內(nèi)核虛擬機調(diào)度策略的研究與分析[A];'2010系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集[C];2010年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 ;虛擬機的生與死[N];網(wǎng)絡(luò)世界;2008年

2 本報記者 卜娜;高性能Java虛擬機將在中國云市場釋能[N];中國計算機報;2012年

3 本報記者 邱燕娜;如何告別虛擬機管理煩惱[N];中國計算機報;2012年

4 ;首批通過云計算產(chǎn)品虛擬機管理測評名單[N];中國電子報;2014年

5 申琳;虛擬機泛濫 系統(tǒng)安全怎么辦[N];中國計算機報;2008年

6 Tom Henderson邋沈建苗 編譯;虛擬機管理的五大問題[N];計算機世界;2008年

7 盆盆;真實的虛擬機[N];中國電腦教育報;2004年

8 本版編輯　綜合 編譯整理 田夢;管理好虛擬機的全生命周期[N];計算機世界;2008年

9 李婷;中國研制出全球最快反病毒虛擬機[N];人民郵電;2009年

10 張弛;虛擬機遷移走向真正自由[N];網(wǎng)絡(luò)世界;2010年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 宋翔;多核虛擬環(huán)境的性能及可伸縮性研究[D];復(fù)旦大學(xué);2014年

2 王桂平;云環(huán)境下面向可信的虛擬機異常檢測關(guān)鍵技術(shù)研究[D];重慶大學(xué);2015年

3 周真;云平臺下運行環(huán)境感知的虛擬機異常檢測策略及算法研究[D];重慶大學(xué);2015年

4 郭芬;面向虛擬機的云平臺資源部署與調(diào)度研究[D];華南理工大學(xué);2015年

5 周傲;高可靠云服務(wù)供應(yīng)關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2015年

6 代煒琦;云計算執(zhí)行環(huán)境可信構(gòu)建關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2015年

7 劉圣卓;面向虛擬集群的鏡像存儲與傳輸優(yōu)化[D];清華大學(xué);2015年

8 陳彬;分布環(huán)境下虛擬機按需部署關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2010年

9 劉海坤;虛擬機在線遷移性能優(yōu)化關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2012年

10 劉謙;面向云計算的虛擬機系統(tǒng)安全研究[D];上海交通大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 潘飛;負(fù)載相關(guān)的虛擬機放置策略研究[D];杭州電子科技大學(xué);2011年

2 王建一;混合型桌面云高可用性研究與實現(xiàn)[D];華南理工大學(xué);2015年

3 周衡;云計算環(huán)境下虛擬機優(yōu)化調(diào)度策略研究[D];河北大學(xué);2015年

4 羅仲皓;基于OpenStack的私有云計算平臺的設(shè)計與實現(xiàn)[D];華南理工大學(xué);2015年

5 李子堂;面向負(fù)載均衡的虛擬機動態(tài)遷移優(yōu)化研究[D];遼寧大學(xué);2015年

6 張煜;基于OpenStack的“實驗云”平臺的研究與開發(fā)[D];西南交通大學(xué);2015年

7 曾文琦;面向應(yīng)用服務(wù)的云規(guī)模虛似機性能監(jiān)控與負(fù)載分析技術(shù)研究[D];復(fù)旦大學(xué);2013年

8 施繼成;面向多核處理器的虛擬機性能優(yōu)化[D];復(fù)旦大學(xué);2014年

9 游井輝;基于虛擬機動態(tài)遷移的資源調(diào)度策略研究[D];華南理工大學(xué);2015年

10 方良英;云平臺的資源優(yōu)化管理研究與實現(xiàn)[D];南京師范大學(xué);2015年

  本文關(guān)鍵詞：面向虛擬集群的鏡像存儲與傳輸優(yōu)化，由筆耕文化傳播整理發(fā)布。

本文編號：256950