【摘要】：糾刪碼技術(shù)由于其低存儲(chǔ)開銷的優(yōu)勢(shì),正逐漸取代多副本技術(shù)被廣泛應(yīng)用到分布式存儲(chǔ)系統(tǒng)中來(lái)提供數(shù)據(jù)可靠性。但它會(huì)引入大量的跨機(jī)架流量:修復(fù)一個(gè)丟失的數(shù)據(jù)塊需通過(guò)網(wǎng)絡(luò)從其他節(jié)點(diǎn)上讀取多個(gè)可用塊;更新一個(gè)數(shù)據(jù)塊會(huì)觸發(fā)對(duì)所有校驗(yàn)塊的校驗(yàn)更新。過(guò)多的跨機(jī)架流量會(huì)導(dǎo)致系統(tǒng)中包括糾刪碼在內(nèi)的多種應(yīng)用性能下降。為了提升糾刪碼的性能,許多新的編碼方案被提出,試圖從根本上減少網(wǎng)絡(luò)流量,但其缺點(diǎn)是會(huì)犧牲其他性能。另一種優(yōu)化途徑是不改變糾刪碼的編碼結(jié)構(gòu),而是通過(guò)優(yōu)化數(shù)據(jù)傳輸路徑提升糾刪碼系統(tǒng)的修復(fù)和更新性能。這種優(yōu)化方式可以應(yīng)用在多種新型糾刪碼上,通過(guò)結(jié)合兩種優(yōu)化策略進(jìn)一步提升性能。但是目前提出的數(shù)據(jù)傳輸方案,只關(guān)注于解決糾刪碼性能問(wèn)題,并沒(méi)有實(shí)際減少糾刪碼引入的跨機(jī)架流量。隨著可編程網(wǎng)絡(luò)設(shè)備的興起,網(wǎng)絡(luò)計(jì)算的概念被提出,其主要思想是將原來(lái)位于終端節(jié)點(diǎn)上的計(jì)算操作移動(dòng)到網(wǎng)絡(luò)設(shè)備中。受該想法啟發(fā),針對(duì)糾刪碼修復(fù)和更新操作,分別提出基于異或網(wǎng)絡(luò)計(jì)算的數(shù)據(jù)傳輸方案:兩種方案的核心思想均是由網(wǎng)絡(luò)設(shè)備執(zhí)行異或運(yùn)算,其中在修復(fù)操作中,來(lái)自不同節(jié)點(diǎn)的數(shù)據(jù)在網(wǎng)絡(luò)中匯聚,通過(guò)利用可編程網(wǎng)絡(luò)設(shè)備對(duì)來(lái)自不同節(jié)點(diǎn)的數(shù)據(jù)流執(zhí)行異或運(yùn)算,然后將計(jì)算結(jié)果繼續(xù)轉(zhuǎn)發(fā),從而避免大量端到端的網(wǎng)絡(luò)傳輸;在更新操作中,網(wǎng)絡(luò)設(shè)備代替存儲(chǔ)節(jié)點(diǎn)計(jì)算增量,然后通過(guò)不同鏈路發(fā)送增量,既縮短了傳輸路徑也消除了網(wǎng)絡(luò)瓶頸�；贖DFS-RAID和SDN(Software Defined Networking),模擬實(shí)現(xiàn)了一個(gè)網(wǎng)絡(luò)計(jì)算框架,在該模擬環(huán)境下的測(cè)試結(jié)果顯示,基于異或網(wǎng)絡(luò)計(jì)算的傳輸方案可以使得修復(fù)和更新操作達(dá)到最優(yōu)性能。對(duì)于修復(fù)操作,修復(fù)一個(gè)塊的時(shí)間幾乎接近于正常讀取一個(gè)塊的時(shí)間,并且相比于repair pipelining,可以減少高達(dá)41%的網(wǎng)絡(luò)流量。另外對(duì)于更新操作,相比于基于增量的更新方案,可以減少高達(dá)74%的更新時(shí)間和30%的網(wǎng)絡(luò)流量。
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 馬紅霞;;淺析網(wǎng)絡(luò)計(jì)算的發(fā)展與應(yīng)用[J];科技創(chuàng)業(yè)家;2012年17期

2 李文忠;;話說(shuō)精簡(jiǎn)網(wǎng)絡(luò)計(jì)算[J];軟件世界;2007年09期

3 ;SUN:輕松步入網(wǎng)絡(luò)計(jì)算新紀(jì)元[J];計(jì)算機(jī)教育;2004年04期

4 國(guó)敢;Sun公司在2004年第二季度網(wǎng)絡(luò)計(jì)算新品發(fā)布中,推出該產(chǎn)品和解決方案[J];鐵路計(jì)算機(jī)應(yīng)用;2004年06期

5 ;全國(guó)計(jì)算機(jī)網(wǎng)絡(luò)計(jì)算大賽20萬(wàn)懸賞高手[J];電腦知識(shí)與技術(shù);2003年02期

6 ;Sun發(fā)布“低成本網(wǎng)絡(luò)計(jì)算”策略[J];電信技術(shù);2003年08期

7 Scott McNealy;開放的網(wǎng)絡(luò)計(jì)算仍然是我們的激情所在[J];通訊世界;2003年03期

8 ;全國(guó)首次網(wǎng)絡(luò)計(jì)算大賽在京拉開帷幕[J];中國(guó)數(shù)據(jù)通信;2003年01期

9 ScottMcNealy;網(wǎng)絡(luò)計(jì)算是我們的靈魂[J];郵電商情;2000年01期

10 劉勁松;;中青電商投身網(wǎng)絡(luò)計(jì)算[J];每周電腦報(bào);2000年33期

相關(guān)會(huì)議論文 前6條

1 徐波;;面向網(wǎng)絡(luò)計(jì)算的漢語(yǔ)語(yǔ)音信息處理[A];輝煌二十年——中國(guó)中文信息學(xué)會(huì)二十周年學(xué)術(shù)會(huì)議論文集[C];2001年

2 龔炳錚;;Java技術(shù)應(yīng)用推進(jìn)信息化發(fā)展[A];Java技術(shù)及應(yīng)用的進(jìn)展——第八屆中國(guó)Java技術(shù)及應(yīng)用交流大會(huì)文集[C];2005年

3 王克宏;;全球Java教育與學(xué)習(xí)聯(lián)盟(JELC)——參加JELC顧問(wèn)會(huì)議后記[A];Java技術(shù)及應(yīng)用的進(jìn)展——第七屆中國(guó)Java技術(shù)及應(yīng)用交流大會(huì)文集[C];2004年

4 張全伙;張劍達(dá);;未來(lái)計(jì)算機(jī)與信息技術(shù)的若干研究熱點(diǎn)與發(fā)展趨勢(shì)[A];全國(guó)第十四屆計(jì)算機(jī)科學(xué)及其在儀器儀表中的應(yīng)用學(xué)術(shù)交流會(huì)論文集[C];2001年

5 滕云田;王喜珍;王晨;;國(guó)家地震網(wǎng)絡(luò)計(jì)算應(yīng)用系統(tǒng)[A];中國(guó)地球物理·2009[C];2009年

6 余文駿;朱永華;徐煒民;;以服務(wù)器為中心的面向服務(wù)網(wǎng)絡(luò)計(jì)算架構(gòu)的研究與實(shí)現(xiàn)[A];2006年全國(guó)開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

相關(guān)重要報(bào)紙文章 前10條

1 ;Sun倡導(dǎo)“低成本網(wǎng)絡(luò)計(jì)算”[N];中國(guó)證券報(bào);2003年

2 郭瑩;04財(cái)年Sun重點(diǎn)仍在網(wǎng)絡(luò)計(jì)算[N];中國(guó)計(jì)算機(jī)報(bào);2003年

3 本報(bào)記者 陳勛燕;Sun:開啟網(wǎng)絡(luò)計(jì)算新時(shí)代[N];通信信息報(bào);2004年

4 CPW記者 凡妮 張戈;為渠謀利 Sun力推低成本網(wǎng)絡(luò)計(jì)算[N];電腦商報(bào);2003年

5 本報(bào)記者 侯健;網(wǎng)絡(luò)計(jì)算走過(guò)輝煌二十年[N];通信產(chǎn)業(yè)報(bào);2002年

6 本報(bào)記者 范毅波;網(wǎng)絡(luò)計(jì)算走下神壇[N];網(wǎng)絡(luò)世界;2002年

7 ;網(wǎng)絡(luò)計(jì)算 網(wǎng)事無(wú)憂[N];科技日?qǐng)?bào);2000年

8 國(guó)防科技大學(xué) 王懷民;可成長(zhǎng)性：網(wǎng)絡(luò)計(jì)算的基本特征[N];計(jì)算機(jī)世界;2002年

9 Scott McNealy;網(wǎng)絡(luò)計(jì)算的20年歷程[N];中國(guó)計(jì)算機(jī)報(bào);2002年

10 CPW記者 凡妮;借網(wǎng)絡(luò)計(jì)算轉(zhuǎn)型 Sun謀劃新打法[N];電腦商報(bào);2003年

相關(guān)博士學(xué)位論文 前7條

1 吳應(yīng)良;網(wǎng)絡(luò)計(jì)算中的智能信息處理方法研究[D];華南理工大學(xué);2000年

2 方華亮;基于網(wǎng)絡(luò)計(jì)算的電力系統(tǒng)新計(jì)算模式研究[D];華中科技大學(xué);2006年

3 張曉琴;網(wǎng)絡(luò)計(jì)算系統(tǒng)的可信監(jiān)測(cè)及信任模型研究[D];重慶大學(xué);2012年

4 沈備軍;企業(yè)網(wǎng)絡(luò)計(jì)算的參考框架與關(guān)鍵技術(shù)及其支持環(huán)境的研究[D];中國(guó)科學(xué)院研究生院（軟件研究所）;2001年

5 徐維江;網(wǎng)絡(luò)計(jì)算中的私有數(shù)據(jù)保護(hù)問(wèn)題及其應(yīng)用研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2008年

6 梁朝霞;基于生物網(wǎng)絡(luò)的下一代網(wǎng)絡(luò)電信業(yè)務(wù)平臺(tái)研究[D];東華大學(xué);2010年

7 孔曉紅;網(wǎng)絡(luò)計(jì)算環(huán)境中基于智能算法的任務(wù)調(diào)度研究[D];江南大學(xué);2007年

相關(guān)碩士學(xué)位論文 前6條

1 唐英杰;糾刪碼系統(tǒng)中基于異或網(wǎng)絡(luò)計(jì)算的數(shù)據(jù)修復(fù)及更新優(yōu)化研究[D];華中科技大學(xué);2019年

2 趙紅波;基于網(wǎng)絡(luò)計(jì)算服務(wù)的仿真與運(yùn)算平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東科技大學(xué);2006年

3 馬金龍;基于網(wǎng)絡(luò)計(jì)算的票務(wù)平臺(tái)的研究和設(shè)計(jì)[D];北京郵電大學(xué);2010年

4 李剛;基于Web的電力企業(yè)圖形化網(wǎng)絡(luò)計(jì)算系統(tǒng)[D];四川大學(xué);2003年

5 張俐;設(shè)計(jì)模式的研究與應(yīng)用[D];河海大學(xué);2003年

6 黃峰;分布式虛擬運(yùn)行環(huán)境的研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2008年

，

本文編號(hào)：2679795