【摘要】：糾刪碼技術由于其低存儲開銷的優(yōu)勢,正逐漸取代多副本技術被廣泛應用到分布式存儲系統中來提供數據可靠性。但它會引入大量的跨機架流量:修復一個丟失的數據塊需通過網絡從其他節(jié)點上讀取多個可用塊;更新一個數據塊會觸發(fā)對所有校驗塊的校驗更新。過多的跨機架流量會導致系統中包括糾刪碼在內的多種應用性能下降。為了提升糾刪碼的性能,許多新的編碼方案被提出,試圖從根本上減少網絡流量,但其缺點是會犧牲其他性能。另一種優(yōu)化途徑是不改變糾刪碼的編碼結構,而是通過優(yōu)化數據傳輸路徑提升糾刪碼系統的修復和更新性能。這種優(yōu)化方式可以應用在多種新型糾刪碼上,通過結合兩種優(yōu)化策略進一步提升性能。但是目前提出的數據傳輸方案,只關注于解決糾刪碼性能問題,并沒有實際減少糾刪碼引入的跨機架流量。隨著可編程網絡設備的興起,網絡計算的概念被提出,其主要思想是將原來位于終端節(jié)點上的計算操作移動到網絡設備中。受該想法啟發(fā),針對糾刪碼修復和更新操作,分別提出基于異或網絡計算的數據傳輸方案:兩種方案的核心思想均是由網絡設備執(zhí)行異或運算,其中在修復操作中,來自不同節(jié)點的數據在網絡中匯聚,通過利用可編程網絡設備對來自不同節(jié)點的數據流執(zhí)行異或運算,然后將計算結果繼續(xù)轉發(fā),從而避免大量端到端的網絡傳輸;在更新操作中,網絡設備代替存儲節(jié)點計算增量,然后通過不同鏈路發(fā)送增量,既縮短了傳輸路徑也消除了網絡瓶頸。基于HDFS-RAID和SDN(Software Defined Networking),模擬實現了一個網絡計算框架,在該模擬環(huán)境下的測試結果顯示,基于異或網絡計算的傳輸方案可以使得修復和更新操作達到最優(yōu)性能。對于修復操作,修復一個塊的時間幾乎接近于正常讀取一個塊的時間,并且相比于repair pipelining,可以減少高達41%的網絡流量。另外對于更新操作,相比于基于增量的更新方案,可以減少高達74%的更新時間和30%的網絡流量。
【學位授予單位】：華中科技大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 馬紅霞;;淺析網絡計算的發(fā)展與應用[J];科技創(chuàng)業(yè)家;2012年17期

2 李文忠;;話說精簡網絡計算[J];軟件世界;2007年09期

3 ;SUN:輕松步入網絡計算新紀元[J];計算機教育;2004年04期

4 國敢;Sun公司在2004年第二季度網絡計算新品發(fā)布中,推出該產品和解決方案[J];鐵路計算機應用;2004年06期

5 ;全國計算機網絡計算大賽20萬懸賞高手[J];電腦知識與技術;2003年02期

6 ;Sun發(fā)布“低成本網絡計算”策略[J];電信技術;2003年08期

7 Scott McNealy;開放的網絡計算仍然是我們的激情所在[J];通訊世界;2003年03期

8 ;全國首次網絡計算大賽在京拉開帷幕[J];中國數據通信;2003年01期

9 ScottMcNealy;網絡計算是我們的靈魂[J];郵電商情;2000年01期

10 劉勁松;;中青電商投身網絡計算[J];每周電腦報;2000年33期

相關會議論文 前6條

1 徐波;;面向網絡計算的漢語語音信息處理[A];輝煌二十年——中國中文信息學會二十周年學術會議論文集[C];2001年

2 龔炳錚;;Java技術應用推進信息化發(fā)展[A];Java技術及應用的進展——第八屆中國Java技術及應用交流大會文集[C];2005年

3 王克宏;;全球Java教育與學習聯盟(JELC)——參加JELC顧問會議后記[A];Java技術及應用的進展——第七屆中國Java技術及應用交流大會文集[C];2004年

4 張全伙;張劍達;;未來計算機與信息技術的若干研究熱點與發(fā)展趨勢[A];全國第十四屆計算機科學及其在儀器儀表中的應用學術交流會論文集[C];2001年

5 滕云田;王喜珍;王晨;;國家地震網絡計算應用系統[A];中國地球物理·2009[C];2009年

6 余文駿;朱永華;徐煒民;;以服務器為中心的面向服務網絡計算架構的研究與實現[A];2006年全國開放式分布與并行計算機學術會議論文集（三）[C];2006年

相關重要報紙文章 前10條

1 ;Sun倡導“低成本網絡計算”[N];中國證券報;2003年

2 郭瑩;04財年Sun重點仍在網絡計算[N];中國計算機報;2003年

3 本報記者 陳勛燕;Sun:開啟網絡計算新時代[N];通信信息報;2004年

4 CPW記者 凡妮 張戈;為渠謀利 Sun力推低成本網絡計算[N];電腦商報;2003年

5 本報記者 侯健;網絡計算走過輝煌二十年[N];通信產業(yè)報;2002年

6 本報記者 范毅波;網絡計算走下神壇[N];網絡世界;2002年

7 ;網絡計算 網事無憂[N];科技日報;2000年

8 國防科技大學 王懷民;可成長性：網絡計算的基本特征[N];計算機世界;2002年

9 Scott McNealy;網絡計算的20年歷程[N];中國計算機報;2002年

10 CPW記者 凡妮;借網絡計算轉型 Sun謀劃新打法[N];電腦商報;2003年

相關博士學位論文 前7條

1 吳應良;網絡計算中的智能信息處理方法研究[D];華南理工大學;2000年

2 方華亮;基于網絡計算的電力系統新計算模式研究[D];華中科技大學;2006年

3 張曉琴;網絡計算系統的可信監(jiān)測及信任模型研究[D];重慶大學;2012年

4 沈備軍;企業(yè)網絡計算的參考框架與關鍵技術及其支持環(huán)境的研究[D];中國科學院研究生院（軟件研究所）;2001年

5 徐維江;網絡計算中的私有數據保護問題及其應用研究[D];中國科學技術大學;2008年

6 梁朝霞;基于生物網絡的下一代網絡電信業(yè)務平臺研究[D];東華大學;2010年

7 孔曉紅;網絡計算環(huán)境中基于智能算法的任務調度研究[D];江南大學;2007年

相關碩士學位論文 前6條

1 唐英杰;糾刪碼系統中基于異或網絡計算的數據修復及更新優(yōu)化研究[D];華中科技大學;2019年

2 趙紅波;基于網絡計算服務的仿真與運算平臺的設計與實現[D];山東科技大學;2006年

3 馬金龍;基于網絡計算的票務平臺的研究和設計[D];北京郵電大學;2010年

4 李剛;基于Web的電力企業(yè)圖形化網絡計算系統[D];四川大學;2003年

5 張俐;設計模式的研究與應用[D];河海大學;2003年

6 黃峰;分布式虛擬運行環(huán)境的研究與實現[D];國防科學技術大學;2008年

，

本文編號：2679795