為了解決存儲負載過高的問題,存儲系統(tǒng)中引進了糾刪碼機制。糾刪碼能顯著降低系統(tǒng)的存儲負載,但是糾刪碼在修復失效節(jié)點時,會造成系統(tǒng)的網絡帶寬嚴重擁塞。因此,如何快速地讀寫數(shù)據(jù)、快速修復失效數(shù)據(jù)的同時盡量減小系統(tǒng)網絡帶寬消耗是一個亟待解決的問題。針對上述問題,基于FUSE文件系統(tǒng),設計并實現(xiàn)了支持分布式存儲的P-MBR系統(tǒng),實現(xiàn)了MBR編碼的并行化。具體來說包括以下幾個方面:(1)研究了MBR編碼的并行化讀性能,主要包括正常讀和降級讀兩個場景,通過對每一個數(shù)據(jù)塊采用分片技術,重新對FUSE的讀文件函數(shù)進行封裝,使得讀文件時可以同時從兩個結點以分片的方式讀取數(shù)據(jù)塊,從而來提升系統(tǒng)的讀性能;(2)研究了MBR編碼的并行化寫性能,利用MBR編碼的每一個塊分布在兩個不同節(jié)點上的特性,通過對FUSE的寫文件函數(shù)進行封裝,使得可以同時向兩個節(jié)點寫入數(shù)據(jù)塊,以提升系統(tǒng)寫入過程的并行度;(3)為了提升系統(tǒng)的修復性能,利用MBR編碼布局,通過Cache層加速了文件塊的讀取和寫入過程,此外還采用多線程技術提升了系統(tǒng)修復的并行度,從而來加速修復過程。實驗結果表明,MBR編碼在讀寫性能方面相較于RAID 5、RAID 6編碼方式有小幅度提高;降級讀、修復性能方面有極大的改善,降級讀性能提升大約70%,修復性能分別提升大約40%和60%,修復速度快且?guī)掗_銷較低。
【學位單位】：華中科技大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：TP333
【部分圖文】：

中 科 技 大 學 碩 士 學 位 論 得到了快速應用。為了存儲海量數(shù)據(jù)，分布式存儲系統(tǒng)通常的存儲節(jié)點上，很多節(jié)點甚至在地理位置上也是不同的。同，諸多企業(yè)均是在廉價的商用磁盤上對數(shù)據(jù)進行存儲。比如化存儲系統(tǒng) BigTable，旨在成千上萬臺商用服務器上管理 Pogle 的諸多項目，如網頁索引、谷歌地圖、谷歌財經等均是[4]。BigTable 的底層是 GFS 分布式文件系統(tǒng)[4-5]。兩者主要區(qū)系統(tǒng)主要是直接面向大型分布式的密集型的數(shù)據(jù)應用，Big的數(shù)據(jù)，BigTable 相當于傳統(tǒng)的數(shù)據(jù)庫所扮演的角色。

根據(jù) 5.2.1 小節(jié)的測試方案，依次測試了 MBR 編碼的讀寫、修復功能。首常寫操作，如果從 initiator 端將文件傳輸至 target 端后，在 initiator 端的文載點中能看到傳輸?shù)奈募�，則可以認為文件寫入成功；接著，測試正常讀件從 target 端讀取到 initiator 端后，利用 linux 的 diff 命令與原件進行對二者一致，則認為讀功能正常；然后，測試降級讀操作，先設置某個節(jié)點將文件從 target 端讀取到 initiator 端，將之與原文件進行對比，如果一致級讀功能正常；最后，測試修復操作，設置某個節(jié)點失效，然后在新的節(jié)出失效節(jié)點上的數(shù)據(jù)，將修復后的文件讀取至 initiator 端并與原文件進行二者一致則認為修復功能正常。在開始功能測試之前，先啟動文件系統(tǒng)，啟動后在 initiator 端可以查找到器，這個 5 個服務器是 target 端的存儲設備，如圖 5-1 所示。此外，在本地大小為 2MB 的文件 test。

正常寫操作

【相似文獻】

相關期刊論文 前10條

1 蔣少丙;劉書剛;;面向過程的任務并行化設計方法[J];計算機系統(tǒng)應用;2015年09期

2 本刊編輯部;;“地理計算并行化”專輯征稿[J];地球信息科學學報;2014年06期

3 齊書陽;;迎接并行化的明天[J];軟件世界;2009年06期

4 金國華，陳福接;并行化技術與工具[J];計算機研究與發(fā)展;1996年07期

5 楊桃欄;程序并行化的有力工具——介紹Kuck公司的KAP[J];計算機工程與科學;1989年04期

6 本刊編輯部;;“地理計算并行化”專輯導言[J];地球信息科學學報;2015年05期

7 張妮娜;竇衡;;并行化改進遺傳算法的FPGA高速實現(xiàn)方法[J];信息與電子工程;2012年01期

8 蔡砥,滕麗,王錚;一種禁忌搜索算法在計算網格中的并行化策略[J];微電子學與計算機;2004年06期

9 陳水福,孫炳楠,唐錦春;建筑風壓數(shù)值模擬的幾種并行化策略[J];計算力學學報;1998年02期

10 曹琳,楊學軍,金國華;兩種并行化機制的分析[J];計算機研究與發(fā)展;1993年09期

相關會議論文 前10條

1 范存群;林曼筠;趙現(xiàn)綱;謝利子;衛(wèi)蘭;國鵬;;風云衛(wèi)星降水估計日收工產品算法并行化研究[A];第35屆中國氣象學會年會 S21 衛(wèi)星氣象與生態(tài)遙感[C];2018年

2 王卉;屈強;;挖掘最大頻繁項集的并行化策略[A];2007年全國開放式分布與并行計算機學術會議論文集(上冊)[C];2007年

3 蘭彤;馮玉才;肖偉器;;空間連接處理的并行化研究[A];數(shù)據(jù)庫研究進展97——第十四屆全國數(shù)據(jù)庫學術會議論文集（上）[C];1997年

4 王本龍;龔凱;劉樺;;自由表面流動問題的并行化SPH方法求解[A];中國力學學會學術大會'2009論文摘要集[C];2009年

5 王峰;楊建俊;張?zhí)炀?許淑艷;;不同操作平臺上的MCNP并行化計算[A];中國原子能科學研究院年報 2009[C];2010年

6 鄭巢生;;基于OpenFOAM大規(guī)模并行化計算方法研究[A];第二十七屆全國水動力學研討會文集（上冊）[C];2015年

7 王韶娟;曾國蓀;;分形維數(shù)的一個并行算法[A];2005年全國開放式分布與并行計算學術會議論文集[C];2005年

8 楊林;楊天梟;徐慧;;基于流水線并行化的糾刪碼恢復研究[A];中國計算機用戶協(xié)會網絡應用分會2017年第二十一屆網絡新技術與應用年會論文集[C];2017年

9 徐金秀;張?zhí)靹?;NCC區(qū)域氣候模式算法分析及并行化實現(xiàn)[A];2006年全國開放式分布與并行計算學術會議論文集（一）[C];2006年

10 常興華;馬戎;王年華;張來平;;非結構重疊網格并行化隱式裝配技術研究[A];第四屆全國非定�？諝鈩恿W學術會議論文集[C];2018年

相關重要報紙文章 前10條

1 ;服務器軟件的并行化革命[N];網絡世界;2006年

2 謝濤;英特爾：忽視并行化軟件后果很危險[N];電腦商報;2008年

3 寧雷;聯(lián)想攜手Intel啟動服務器大型巡展[N];中國電腦教育報;2007年

4 劉洪宇;釋放多核潛能 挑戰(zhàn)仍在并行軟件[N];中國計算機報;2008年

5 孫永杰;應用為先：高性能計算較量“軟”實力[N];中國電子報;2008年

6 記者 魯媛媛;英特爾軟件進入并行時代[N];網絡世界;2009年

7 宋家雨;集群撐不起全部天空[N];網絡世界;2006年

8 吳亞飆;“并行”煥發(fā)IPS力量[N];網絡世界;2008年

9 英特爾公司首席工程師 吳甘沙;大數(shù)據(jù)引發(fā)“撞墻”效應 編程效率還待提高[N];中國電子報;2012年

10 木斯;高性能計算 提起應用有點難[N];中國計算機報;2002年

相關博士學位論文 前10條

1 張平;并行化編譯器中并行程序自動生成和性能優(yōu)化技術研究[D];解放軍信息工程大學;2006年

2 董春麗;并行化編譯中數(shù)據(jù)和計算的自動劃分及優(yōu)化技術研究[D];解放軍信息工程大學;2007年

3 程興國;仿生算法的動態(tài)反饋機制及其并行化實現(xiàn)方法研究[D];華南理工大學;2013年

4 趙巖;復雜機電系統(tǒng)仿真的并行化方法研究[D];華中科技大學;2017年

5 傅游;稀薄氣體Monte Carlo數(shù)值仿真并行化技術研究與實現(xiàn)[D];西北工業(yè)大學;2002年

6 耿光超;電力系統(tǒng)穩(wěn)定約束最優(yōu)潮流：模型、算法與并行化[D];浙江大學;2014年

7 丁曉寧;面向CFD的交互式并行化技術研究[D];西北工業(yè)大學;2002年

8 高放;面向片上異構多核系統(tǒng)的機器學習算法并行化技術研究[D];北京工業(yè)大學;2017年

9 周純葆;基因島預測與隔離遷移模型并行化[D];吉林大學;2012年

10 郭琦;異構多核可重構平臺指令并行化關鍵問題研究[D];中國科學技術大學;2015年

相關碩士學位論文 前10條

1 徐熙豪;基于FUSE的MBR編碼的并行化研究[D];華中科技大學;2019年

2 周芯宇;基于元啟發(fā)式算法的VNF部署及其并行化[D];西南交通大學;2019年

3 劉琴;基于種子擴展的社區(qū)發(fā)現(xiàn)算法及其并行化[D];南京信息工程大學;2019年

4 劉振羽;基于Spark的基因組學數(shù)據(jù)比對算法的并行化研究與比對平臺構建[D];內蒙古農業(yè)大學;2019年

5 倪寧;一種簇存儲結構中GPU加速并行化R-tree的方法[D];上海交通大學;2017年

6 羅鈺敏;事件知識圖譜并行化研究及應用[D];電子科技大學;2019年

7 何宗浩;基于Spark的Top-k高效用項目集挖掘研究[D];重慶郵電大學;2019年

8 許德心;關聯(lián)規(guī)則挖掘算法的并行化及應用研究[D];南京郵電大學;2019年

9 陸俊堯;協(xié)同過濾算法的設計及并行化實現(xiàn)與應用[D];南京郵電大學;2019年

10 陶飛;基于姿態(tài)的屬性學習并行化方法在行人再識別中的研究[D];江蘇大學;2019年

本文編號：2824386