本文關(guān)鍵詞：面向高速網(wǎng)絡(luò)傳輸?shù)姆植际较到y(tǒng)讀操作優(yōu)化方法研究

  更多相關(guān)文章： 分布式文件系統(tǒng) InfiniBand網(wǎng)絡(luò) 緩存 預(yù)取 吞吐量

【摘要】：在海量數(shù)據(jù)存儲與大數(shù)據(jù)處理中，普遍采用了基于HDFS (Hadoop DistributedFile System，Hadoop分布式文件系統(tǒng))架構(gòu)的集群來存儲數(shù)據(jù)。為支持大數(shù)據(jù)分析在海量數(shù)據(jù)上進(jìn)行實(shí)時(shí)查詢和秒級響應(yīng)的需求，數(shù)據(jù)中心內(nèi)部普遍使用高速網(wǎng)絡(luò)，但是，現(xiàn)有的基于HDFS架構(gòu)的分布式文件系統(tǒng)的讀性能并不能夠隨著網(wǎng)絡(luò)速度的增加而線性增長�，F(xiàn)有的分布式文件系統(tǒng)在高速網(wǎng)絡(luò)環(huán)境下，由于受制于磁盤I/O速度，讀操作吞吐量性能不高，不能充分利用高速網(wǎng)絡(luò)資源，為上層應(yīng)用提供高效的數(shù)據(jù)服務(wù)。 針對以上問題，提出一種節(jié)約內(nèi)存的緩存管理機(jī)制MSBM（Memory SavingBuffer Manager）。MSBM緩存管理機(jī)制在數(shù)據(jù)服務(wù)器端對數(shù)據(jù)做緩存，保證客戶端下一次到數(shù)據(jù)服務(wù)器端讀取數(shù)據(jù)時(shí)，，需要的數(shù)據(jù)已經(jīng)在緩存中。MSBM緩存管理機(jī)制在數(shù)據(jù)服務(wù)器端設(shè)計(jì)了僅預(yù)取一個數(shù)據(jù)塊的緩存預(yù)取策略，從而在使用緩存提高讀性能的同時(shí)，盡量節(jié)省內(nèi)存使用率，使緩存管理機(jī)制適用于運(yùn)行在數(shù)量龐大而又廉價(jià)的分布式集群上。三個緩存管理隊(duì)列被用以管理數(shù)據(jù)塊在緩存中的置入與置出，并提供讀取數(shù)據(jù)的服務(wù)。此外，還有相應(yīng)的負(fù)載決策被提出以使緩存策略達(dá)到最優(yōu)效果，從而使分布式文件系統(tǒng)在高速網(wǎng)絡(luò)環(huán)境下，能夠?qū)Ａ看笪募䦟?shí)現(xiàn)高效的緩存管理，充分利用InfiniBand網(wǎng)絡(luò)，提升整個分布式文件系統(tǒng)的讀數(shù)據(jù)的性能。 通過分別對有無MSBM緩存管理機(jī)制，以及在千兆以太網(wǎng)和InfiniBand網(wǎng)絡(luò)上進(jìn)行測試對比，MSBM緩存管理機(jī)制對于系統(tǒng)的性能有一定改善，讀吞吐量提升比例提高了50%-150%，測試表明MSBM機(jī)制可有效的應(yīng)用于高速網(wǎng)絡(luò)環(huán)境下的分布式文件系統(tǒng)中。
【關(guān)鍵詞】：分布式文件系統(tǒng) InfiniBand網(wǎng)絡(luò) 緩存 預(yù)取 吞吐量
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要4-5
• Abstract5-8
• 1 緒論8-15
• 1.1 研究背景及意義8
• 1.2 國內(nèi)外研究概況8-13
• 1.3 論文組織結(jié)構(gòu)13-15
• 2 緩存管理機(jī)制總體設(shè)計(jì)15-22
• 2.1 面臨的磁盤 I/O 問題15
• 2.2 緩存解決方案15-17
• 2.3 預(yù)取解決方案17-19
• 2.4 MSBM 解決方案19-21
• 2.5 本章小結(jié)21-22
• 3 緩存管理機(jī)制設(shè)計(jì)與實(shí)現(xiàn)22-38
• 3.1 MSBM 緩存管理架構(gòu)設(shè)計(jì)22-25
• 3.2 MSBM 緩存管理數(shù)據(jù)結(jié)構(gòu)25-27
• 3.3 預(yù)取策略27-31
• 3.4 緩存隊(duì)列管理31-33
• 3.5 負(fù)載決策33-35
• 3.6 系統(tǒng)讀流程35-37
• 3.7 本章小結(jié)37-38
• 4 測試與分析38-47
• 4.1 測試目標(biāo)38
• 4.2 測試環(huán)境38-39
• 4.3 測試結(jié)果與分析39-46
• 4.4 本章小結(jié)46-47
• 5 總結(jié)與展望47-49
• 致謝49-50
• 參考文獻(xiàn)50-54

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉里鵬;高速網(wǎng)絡(luò)的分類、特點(diǎn)比較和發(fā)展趨勢[J];華南金融電腦;2002年12期

2 ;無線高速網(wǎng)絡(luò)前途無量[J];電子商務(wù)世界;2003年01期

3 孫珊珊;張崔肖;靳淑敏;;淺談高速網(wǎng)絡(luò)下的入侵檢測技術(shù)[J];科技情報(bào)開發(fā)與經(jīng)濟(jì);2007年36期

4 蘇凡軍;鄔春學(xué);孫國強(qiáng);呂勇;;高速網(wǎng)絡(luò)主動隊(duì)列管理算法[J];計(jì)算機(jī)工程;2008年08期

5 楊則正;為采用高速網(wǎng)絡(luò)新標(biāo)準(zhǔn)而展開的競爭[J];管理科學(xué)文摘;1995年09期

6 Padraic Boyle ,程世玉;高速網(wǎng)絡(luò) 100VG第一波[J];個人電腦;1996年01期

7 盧錫城,肖儂,劉波;基于高速網(wǎng)絡(luò)的廣域高性能并行與分布式計(jì)算[J];計(jì)算機(jī)工程與科學(xué);1998年03期

8 馬費(fèi)成;高速網(wǎng)絡(luò)信息資源的組織[J];信息化建設(shè);1999年11期

9 馬費(fèi)成;高速網(wǎng)絡(luò)信息資源的管理[J];信息化建設(shè);1999年12期

10 ;高速網(wǎng)絡(luò):未來誰的天下?[J];微電腦世界;1999年22期

中國重要會議論文全文數(shù)據(jù)庫 前7條

1 薛冰;;管理高速網(wǎng)絡(luò)系統(tǒng)的實(shí)現(xiàn)與實(shí)用[A];數(shù)控技術(shù)學(xué)術(shù)研討會論文集[C];1999年

2 王風(fēng)宇;云曉春;曹震中;;多時(shí)間尺度同步的高速網(wǎng)絡(luò)流量異常檢測[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會論文集（上冊）[C];2007年

3 阮衛(wèi)挺;馬兆豐;;高速網(wǎng)絡(luò)下的惡意流量檢測研究[A];2010年全國通信安全學(xué)術(shù)會議論文集[C];2010年

4 劉玉英;孫珍;李世銀;黃遠(yuǎn)江;;N-TCP在高速網(wǎng)絡(luò)中的性能研究[A];2009年中國智能自動化會議論文集（第二分冊）[C];2009年

5 崔濤;齊法制;王彥明;劉寶旭;;基于sFlow的高速網(wǎng)絡(luò)流量實(shí)時(shí)監(jiān)測系統(tǒng)的研究[A];第十四屆全國核電子學(xué)與核探測技術(shù)學(xué)術(shù)年會論文集（下冊）[C];2008年

6 吳勇軍;唐紅;;高速網(wǎng)絡(luò)中基于特定業(yè)務(wù)流的流量測量方法研究[A];現(xiàn)代通信理論與信號處理進(jìn)展——2003年通信理論與信號處理年會論文集[C];2003年

7 崔濤;齊法制;王彥明;劉寶旭;;基于sFlow的高速網(wǎng)絡(luò)流量實(shí)時(shí)監(jiān)測系統(tǒng)的研究[A];第十四屆全國核電子學(xué)與核探測技術(shù)學(xué)術(shù)年會論文集（2）[C];2008年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 記者 馬菲;韓國高速網(wǎng)絡(luò)覆蓋率突破100%[N];人民日報(bào);2012年

2 陳蕓蕓;歐盟計(jì)劃全面推行高速網(wǎng)絡(luò)[N];中國電子報(bào);2010年

3 記者 李紅;政府要引導(dǎo)高速網(wǎng)發(fā)展[N];科技日報(bào);2000年

4 斐然;英國村民“種”出高速網(wǎng)絡(luò)[N];中國文化報(bào);2013年

5 《網(wǎng)絡(luò)世界》記者 周源;高速網(wǎng)絡(luò)成剛需[N];網(wǎng)絡(luò)世界;2013年

6 ;缺少用戶需求成為阻礙3G發(fā)展的主要原因[N];中國計(jì)算機(jī)報(bào);2010年

7 顧炳鑫;山西確定信息化工作重點(diǎn)[N];通信產(chǎn)業(yè)報(bào);2001年

8 本報(bào)記者 荊小洪　通訊員 劉學(xué)鍇;以“智”取勝 開啟高速網(wǎng)絡(luò)新時(shí)代[N];人民郵電;2013年

9 集納;杰爾系統(tǒng)推出高速網(wǎng)絡(luò)處理器[N];通信產(chǎn)業(yè)報(bào);2003年

10 記者 鄭千里;中國高速互聯(lián)研究試驗(yàn)網(wǎng)絡(luò)開通[N];科技日報(bào);2000年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前8條

1 熊兵;高速網(wǎng)絡(luò)數(shù)據(jù)流分析的若干問題研究[D];華中科技大學(xué);2009年

2 郭磊;面向高速網(wǎng)絡(luò)管控的多業(yè)務(wù)識別關(guān)鍵技術(shù)研究[D];解放軍信息工程大學(xué);2012年

3 蘇凡軍;高速網(wǎng)絡(luò)擁塞控制算法研究[D];浙江大學(xué);2006年

4 羅燕;高速網(wǎng)絡(luò)中擁塞控制研究[D];重慶大學(xué);2004年

5 王圣;高速網(wǎng)絡(luò)TCP加速關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2007年

6 王俊昌;基于通用多核平臺的高速網(wǎng)絡(luò)處理系統(tǒng)關(guān)鍵技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2014年

7 陳一驕;網(wǎng)絡(luò)入侵檢測系統(tǒng)高速處理技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2007年

8 陳曙暉;基于內(nèi)容分析的高速網(wǎng)絡(luò)協(xié)議識別技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2007年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉超;高速網(wǎng)絡(luò)中基于抽樣流量的統(tǒng)計(jì)測量方法研究[D];大連海事大學(xué);2015年

2 趙千;面向高速網(wǎng)絡(luò)傳輸?shù)姆植际较到y(tǒng)讀操作優(yōu)化方法研究[D];華中科技大學(xué);2014年

3 白巖;高速網(wǎng)絡(luò)認(rèn)證算法研究及實(shí)現(xiàn)[D];北京郵電大學(xué);2011年

4 蘇聰;高速網(wǎng)絡(luò)中的主動隊(duì)列管理算法研究[D];廣西師范大學(xué);2007年

5 戴軍;高速網(wǎng)絡(luò)流量異常檢測技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2008年

6 王琳;面向高速網(wǎng)絡(luò)的智能化應(yīng)用分類的研究[D];濟(jì)南大學(xué);2008年

7 劉昊;一種高速網(wǎng)絡(luò)安全監(jiān)控系統(tǒng)的設(shè)計(jì)與原型系統(tǒng)實(shí)現(xiàn)[D];電子科技大學(xué);2007年

8 鄭挺;高速網(wǎng)絡(luò)安全監(jiān)控系統(tǒng)的研究與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2003年

9 徐蘇磊;高速網(wǎng)絡(luò)中FAST TCP擁塞控制的研究[D];南京郵電大學(xué);2011年

10 帥博;高速網(wǎng)絡(luò)擁塞控制算法HSTCP[D];廣西師范大學(xué);2013年

本文編號：1063366