為了解決存儲(chǔ)負(fù)載過(guò)高的問(wèn)題,存儲(chǔ)系統(tǒng)中引進(jìn)了糾刪碼機(jī)制。糾刪碼能顯著降低系統(tǒng)的存儲(chǔ)負(fù)載,但是糾刪碼在修復(fù)失效節(jié)點(diǎn)時(shí),會(huì)造成系統(tǒng)的網(wǎng)絡(luò)帶寬嚴(yán)重?fù)砣�。因�?如何快速地讀寫(xiě)數(shù)據(jù)、快速修復(fù)失效數(shù)據(jù)的同時(shí)盡量減小系統(tǒng)網(wǎng)絡(luò)帶寬消耗是一個(gè)亟待解決的問(wèn)題。針對(duì)上述問(wèn)題,基于FUSE文件系統(tǒng),設(shè)計(jì)并實(shí)現(xiàn)了支持分布式存儲(chǔ)的P-MBR系統(tǒng),實(shí)現(xiàn)了MBR編碼的并行化。具體來(lái)說(shuō)包括以下幾個(gè)方面:(1)研究了MBR編碼的并行化讀性能,主要包括正常讀和降級(jí)讀兩個(gè)場(chǎng)景,通過(guò)對(duì)每一個(gè)數(shù)據(jù)塊采用分片技術(shù),重新對(duì)FUSE的讀文件函數(shù)進(jìn)行封裝,使得讀文件時(shí)可以同時(shí)從兩個(gè)結(jié)點(diǎn)以分片的方式讀取數(shù)據(jù)塊,從而來(lái)提升系統(tǒng)的讀性能;(2)研究了MBR編碼的并行化寫(xiě)性能,利用MBR編碼的每一個(gè)塊分布在兩個(gè)不同節(jié)點(diǎn)上的特性,通過(guò)對(duì)FUSE的寫(xiě)文件函數(shù)進(jìn)行封裝,使得可以同時(shí)向兩個(gè)節(jié)點(diǎn)寫(xiě)入數(shù)據(jù)塊,以提升系統(tǒng)寫(xiě)入過(guò)程的并行度;(3)為了提升系統(tǒng)的修復(fù)性能,利用MBR編碼布局,通過(guò)Cache層加速了文件塊的讀取和寫(xiě)入過(guò)程,此外還采用多線程技術(shù)提升了系統(tǒng)修復(fù)的并行度,從而來(lái)加速修復(fù)過(guò)程。實(shí)驗(yàn)結(jié)果表明,MBR編碼在讀寫(xiě)性能方面相較于RAID 5、RAID 6編碼方式有小幅度提高;降級(jí)讀、修復(fù)性能方面有極大的改善,降級(jí)讀性能提升大約70%,修復(fù)性能分別提升大約40%和60%,修復(fù)速度快且?guī)掗_(kāi)銷較低。
【學(xué)位單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP333
【部分圖文】：

中 科 技 大 學(xué) 碩 士 學(xué) 位 論 得到了快速應(yīng)用。為了存儲(chǔ)海量數(shù)據(jù)，分布式存儲(chǔ)系統(tǒng)通常的存儲(chǔ)節(jié)點(diǎn)上，很多節(jié)點(diǎn)甚至在地理位置上也是不同的。同，諸多企業(yè)均是在廉價(jià)的商用磁盤(pán)上對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)。比如化存儲(chǔ)系統(tǒng) BigTable，旨在成千上萬(wàn)臺(tái)商用服務(wù)器上管理 Pogle 的諸多項(xiàng)目，如網(wǎng)頁(yè)索引、谷歌地圖、谷歌財(cái)經(jīng)等均是[4]。BigTable 的底層是 GFS 分布式文件系統(tǒng)[4-5]。兩者主要區(qū)系統(tǒng)主要是直接面向大型分布式的密集型的數(shù)據(jù)應(yīng)用，Big的數(shù)據(jù)，BigTable 相當(dāng)于傳統(tǒng)的數(shù)據(jù)庫(kù)所扮演的角色。

根據(jù) 5.2.1 小節(jié)的測(cè)試方案，依次測(cè)試了 MBR 編碼的讀寫(xiě)、修復(fù)功能。首常寫(xiě)操作，如果從 initiator 端將文件傳輸至 target 端后，在 initiator 端的文載點(diǎn)中能看到傳輸?shù)奈募�，則可以認(rèn)為文件寫(xiě)入成功；接著，測(cè)試正常讀件從 target 端讀取到 initiator 端后，利用 linux 的 diff 命令與原件進(jìn)行對(duì)二者一致，則認(rèn)為讀功能正常；然后，測(cè)試降級(jí)讀操作，先設(shè)置某個(gè)節(jié)點(diǎn)將文件從 target 端讀取到 initiator 端，將之與原文件進(jìn)行對(duì)比，如果一致級(jí)讀功能正常；最后，測(cè)試修復(fù)操作，設(shè)置某個(gè)節(jié)點(diǎn)失效，然后在新的節(jié)出失效節(jié)點(diǎn)上的數(shù)據(jù)，將修復(fù)后的文件讀取至 initiator 端并與原文件進(jìn)行二者一致則認(rèn)為修復(fù)功能正常。在開(kāi)始功能測(cè)試之前，先啟動(dòng)文件系統(tǒng)，啟動(dòng)后在 initiator 端可以查找到器，這個(gè) 5 個(gè)服務(wù)器是 target 端的存儲(chǔ)設(shè)備，如圖 5-1 所示。此外，在本地大小為 2MB 的文件 test。

正常寫(xiě)操作

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 蔣少丙;劉書(shū)剛;;面向過(guò)程的任務(wù)并行化設(shè)計(jì)方法[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2015年09期

2 本刊編輯部;;“地理計(jì)算并行化”專輯征稿[J];地球信息科學(xué)學(xué)報(bào);2014年06期

3 齊書(shū)陽(yáng);;迎接并行化的明天[J];軟件世界;2009年06期

4 金國(guó)華，陳福接;并行化技術(shù)與工具[J];計(jì)算機(jī)研究與發(fā)展;1996年07期

5 楊桃欄;程序并行化的有力工具——介紹Kuck公司的KAP[J];計(jì)算機(jī)工程與科學(xué);1989年04期

6 本刊編輯部;;“地理計(jì)算并行化”專輯導(dǎo)言[J];地球信息科學(xué)學(xué)報(bào);2015年05期

7 張妮娜;竇衡;;并行化改進(jìn)遺傳算法的FPGA高速實(shí)現(xiàn)方法[J];信息與電子工程;2012年01期

8 蔡砥,滕麗,王錚;一種禁忌搜索算法在計(jì)算網(wǎng)格中的并行化策略[J];微電子學(xué)與計(jì)算機(jī);2004年06期

9 陳水福,孫炳楠,唐錦春;建筑風(fēng)壓數(shù)值模擬的幾種并行化策略[J];計(jì)算力學(xué)學(xué)報(bào);1998年02期

10 曹琳,楊學(xué)軍,金國(guó)華;兩種并行化機(jī)制的分析[J];計(jì)算機(jī)研究與發(fā)展;1993年09期

相關(guān)會(huì)議論文 前10條

1 范存群;林曼筠;趙現(xiàn)綱;謝利子;衛(wèi)蘭;國(guó)鵬;;風(fēng)云衛(wèi)星降水估計(jì)日收工產(chǎn)品算法并行化研究[A];第35屆中國(guó)氣象學(xué)會(huì)年會(huì) S21 衛(wèi)星氣象與生態(tài)遙感[C];2018年

2 王卉;屈強(qiáng);;挖掘最大頻繁項(xiàng)集的并行化策略[A];2007年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(上冊(cè))[C];2007年

3 蘭彤;馮玉才;肖偉器;;空間連接處理的并行化研究[A];數(shù)據(jù)庫(kù)研究進(jìn)展97——第十四屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（上）[C];1997年

4 王本龍;龔凱;劉樺;;自由表面流動(dòng)問(wèn)題的并行化SPH方法求解[A];中國(guó)力學(xué)學(xué)會(huì)學(xué)術(shù)大會(huì)'2009論文摘要集[C];2009年

5 王峰;楊建俊;張?zhí)炀?許淑艷;;不同操作平臺(tái)上的MCNP并行化計(jì)算[A];中國(guó)原子能科學(xué)研究院年報(bào) 2009[C];2010年

6 鄭巢生;;基于OpenFOAM大規(guī)模并行化計(jì)算方法研究[A];第二十七屆全國(guó)水動(dòng)力學(xué)研討會(huì)文集（上冊(cè)）[C];2015年

7 王韶娟;曾國(guó)蓀;;分形維數(shù)的一個(gè)并行算法[A];2005年全國(guó)開(kāi)放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集[C];2005年

8 楊林;楊天梟;徐慧;;基于流水線并行化的糾刪碼恢復(fù)研究[A];中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2017年第二十一屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2017年

9 徐金秀;張?zhí)靹?;NCC區(qū)域氣候模式算法分析及并行化實(shí)現(xiàn)[A];2006年全國(guó)開(kāi)放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（一）[C];2006年

10 常興華;馬戎;王年華;張來(lái)平;;非結(jié)構(gòu)重疊網(wǎng)格并行化隱式裝配技術(shù)研究[A];第四屆全國(guó)非定常空氣動(dòng)力學(xué)學(xué)術(shù)會(huì)議論文集[C];2018年

相關(guān)重要報(bào)紙文章 前10條

1 ;服務(wù)器軟件的并行化革命[N];網(wǎng)絡(luò)世界;2006年

2 謝濤;英特爾：忽視并行化軟件后果很危險(xiǎn)[N];電腦商報(bào);2008年

3 寧雷;聯(lián)想攜手Intel啟動(dòng)服務(wù)器大型巡展[N];中國(guó)電腦教育報(bào);2007年

4 劉洪宇;釋放多核潛能 挑戰(zhàn)仍在并行軟件[N];中國(guó)計(jì)算機(jī)報(bào);2008年

5 孫永杰;應(yīng)用為先：高性能計(jì)算較量“軟”實(shí)力[N];中國(guó)電子報(bào);2008年

6 記者 魯媛媛;英特爾軟件進(jìn)入并行時(shí)代[N];網(wǎng)絡(luò)世界;2009年

7 宋家雨;集群撐不起全部天空[N];網(wǎng)絡(luò)世界;2006年

8 吳亞飆;“并行”煥發(fā)IPS力量[N];網(wǎng)絡(luò)世界;2008年

9 英特爾公司首席工程師 吳甘沙;大數(shù)據(jù)引發(fā)“撞墻”效應(yīng) 編程效率還待提高[N];中國(guó)電子報(bào);2012年

10 木斯;高性能計(jì)算 提起應(yīng)用有點(diǎn)難[N];中國(guó)計(jì)算機(jī)報(bào);2002年

相關(guān)博士學(xué)位論文 前10條

1 張平;并行化編譯器中并行程序自動(dòng)生成和性能優(yōu)化技術(shù)研究[D];解放軍信息工程大學(xué);2006年

2 董春麗;并行化編譯中數(shù)據(jù)和計(jì)算的自動(dòng)劃分及優(yōu)化技術(shù)研究[D];解放軍信息工程大學(xué);2007年

3 程興國(guó);仿生算法的動(dòng)態(tài)反饋機(jī)制及其并行化實(shí)現(xiàn)方法研究[D];華南理工大學(xué);2013年

4 趙巖;復(fù)雜機(jī)電系統(tǒng)仿真的并行化方法研究[D];華中科技大學(xué);2017年

5 傅游;稀薄氣體Monte Carlo數(shù)值仿真并行化技術(shù)研究與實(shí)現(xiàn)[D];西北工業(yè)大學(xué);2002年

6 耿光超;電力系統(tǒng)穩(wěn)定約束最優(yōu)潮流：模型、算法與并行化[D];浙江大學(xué);2014年

7 丁曉寧;面向CFD的交互式并行化技術(shù)研究[D];西北工業(yè)大學(xué);2002年

8 高放;面向片上異構(gòu)多核系統(tǒng)的機(jī)器學(xué)習(xí)算法并行化技術(shù)研究[D];北京工業(yè)大學(xué);2017年

9 周純葆;基因島預(yù)測(cè)與隔離遷移模型并行化[D];吉林大學(xué);2012年

10 郭琦;異構(gòu)多核可重構(gòu)平臺(tái)指令并行化關(guān)鍵問(wèn)題研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 徐熙豪;基于FUSE的MBR編碼的并行化研究[D];華中科技大學(xué);2019年

2 周芯宇;基于元啟發(fā)式算法的VNF部署及其并行化[D];西南交通大學(xué);2019年

3 劉琴;基于種子擴(kuò)展的社區(qū)發(fā)現(xiàn)算法及其并行化[D];南京信息工程大學(xué);2019年

4 劉振羽;基于Spark的基因組學(xué)數(shù)據(jù)比對(duì)算法的并行化研究與比對(duì)平臺(tái)構(gòu)建[D];內(nèi)蒙古農(nóng)業(yè)大學(xué);2019年

5 倪寧;一種簇存儲(chǔ)結(jié)構(gòu)中GPU加速并行化R-tree的方法[D];上海交通大學(xué);2017年

6 羅鈺敏;事件知識(shí)圖譜并行化研究及應(yīng)用[D];電子科技大學(xué);2019年

7 何宗浩;基于Spark的Top-k高效用項(xiàng)目集挖掘研究[D];重慶郵電大學(xué);2019年

8 許德心;關(guān)聯(lián)規(guī)則挖掘算法的并行化及應(yīng)用研究[D];南京郵電大學(xué);2019年

9 陸俊堯;協(xié)同過(guò)濾算法的設(shè)計(jì)及并行化實(shí)現(xiàn)與應(yīng)用[D];南京郵電大學(xué);2019年

10 陶飛;基于姿態(tài)的屬性學(xué)習(xí)并行化方法在行人再識(shí)別中的研究[D];江蘇大學(xué);2019年

本文編號(hào)：2824386