IPFS文件系統(tǒng)中動態(tài)副本管理策略研究
發(fā)布時間:2021-08-07 08:38
除了比特幣和以太坊等電子交易系統(tǒng),以區(qū)塊鏈為代表的去中心化技術(shù)也以數(shù)據(jù)防篡改和數(shù)據(jù)安全等方面作為切入點嵌入到了Web領(lǐng)域中,而星際文件系統(tǒng)(Interplanetary File System,IPFS)就是這樣一款將區(qū)塊鏈技術(shù)和Web相結(jié)合實現(xiàn)了去中心化web的區(qū)塊鏈存儲系統(tǒng)。IPFS的目標是取代HTTP成為下一代的互聯(lián)網(wǎng)的基礎(chǔ)協(xié)議。目前互聯(lián)網(wǎng)企業(yè)的后臺大多使用了以數(shù)據(jù)副本為代表的冗余技術(shù)。IPFS本身沒有數(shù)據(jù)冗余措施,而是通過集群管理工具實現(xiàn)了一個靜態(tài)的副本策略,但是靜態(tài)策略存在無法根據(jù)用戶訪問熱度調(diào)整副本數(shù)量、以及存儲空間占用均衡性差等問題;谝陨蠁栴}本文的主要工作在于:(1)文件的訪問熱度具有一定的時序性,通過對一段時間內(nèi)的訪問熱度的預(yù)測,系統(tǒng)可以提前調(diào)整副本的數(shù)量,以應(yīng)對短時間內(nèi)激增的流量。針對靜態(tài)策略中不考慮文件熱度導致的高熱度副本訪問延時高的問題,本文提出基于SVR(Support Vector Regression)的文件訪問熱度預(yù)測算法,該算法能夠?qū)υL問熱度進行預(yù)測,并根據(jù)熱度的變化調(diào)整副本。以應(yīng)對用戶訪問量突增的情況。(2)其次,通過對IPFS的文件訪問方式的研究...
【文章來源】:西安郵電大學陜西省
【文章頁數(shù)】:71 頁
【學位級別】:碩士
【部分圖文】:
IPFS架構(gòu)圖
第2章相關(guān)技術(shù)7L1L2L3L4Hash(L1)Hash0-0Hash(L2)Hash0-1Hash(L3)Hash0-2Hash(L4)Hash0-3Hash(hash0-0,hash(0-1))Hash0Hash(hash0-2,hash0-3)Hash1Hash(hash0,hash1)TopHashDataBlocks圖2.3默克爾樹結(jié)構(gòu)默克爾有向無環(huán)圖也是一種類似于默克爾樹的結(jié)構(gòu),不同的是它是通過有向無環(huán)圖來組織節(jié)點的。因此,每個節(jié)點都可以有多個父節(jié)點,也可以有多個子節(jié)點。同時,不同于默克爾樹,默克爾DAG中每個節(jié)點都可以存儲數(shù)據(jù)塊的哈希。TopHashH0-3H0-2H0-1H0-0block4block3block1block0block2圖2.4默克爾DAG結(jié)構(gòu)示意圖通過DAG,IPFS實現(xiàn)了1)內(nèi)容可尋址,通過頂層哈希我們就可以獲取整個文件。2)內(nèi)容防篡改,文件中的每一塊被修改都會導致頂層哈希的改變。3)數(shù)據(jù)去重,兩個相同文件生成的DAG是完全相同的。IPFS中的每一個文件都會被表示為DAG的形式。如圖2.5所示,IPFSObject表示一個文件所創(chuàng)建的DAG中的節(jié)點,節(jié)點中有存儲具體數(shù)據(jù)的數(shù)組和指向子對象的指針。指針使用IPFSLink表示,每個指針中存在包含了指針名字,指向的文件塊的哈希和指向的塊的大校
西安郵電大學碩士學位論文8圖2.5IPFS對象的數(shù)據(jù)結(jié)構(gòu)2.1.4塊的交換-BitSwap協(xié)議DAG解決了IPFS對象的組織和定義問題,但是對于一個P2P存儲系統(tǒng)更重要的是解決對等方如何獲取和發(fā)布文件塊的問題。受到BitTorrent協(xié)議的啟發(fā),IPFS使用BitSwap協(xié)議來處理節(jié)點間的數(shù)據(jù)交換問題。BitSwap的主要工作是1)向其他的節(jié)點請求塊2)根據(jù)一些規(guī)則向其他節(jié)點發(fā)送數(shù)據(jù)塊。節(jié)點間的數(shù)據(jù)交換方式類似于一個交易市場,為了保證交易的公平,節(jié)點需要維護一個全局賬本。并且需要公開自己需要的塊的列表,在BitSwap中使用需求列表(wantlist)結(jié)構(gòu)表示節(jié)點請求的塊列表,使用havelist表示節(jié)點已經(jīng)存儲的文件。1)BitSwap賬本為了防止數(shù)據(jù)篡改,BitSwap會記錄節(jié)點交換的塊。當節(jié)點建立連接時,雙方會首先交換自己的賬本,然后開始核驗賬本的正確性。如果一方發(fā)現(xiàn)賬本有誤,會終止交換過程,并清空錯誤的賬本。圖2.6IPFS賬本結(jié)構(gòu)圖2.6是IPFS中用來表示賬本的結(jié)構(gòu)體,其中有表示賬本擁有者的owner和partner字段。發(fā)送和接收數(shù)據(jù)大小的byte_sent和byte_recv字段。2)BitSwap的核心結(jié)構(gòu)BitSwap和Peer結(jié)構(gòu)是比較核心的兩個結(jié)構(gòu)。BitSwap是一個全局數(shù)據(jù)結(jié)構(gòu),其中l(wèi)edgers和Active字段是兩個哈希表。ledgers鍵為節(jié)點ID值為賬本;Active鍵為
【參考文獻】:
期刊論文
[1]基于灰色關(guān)聯(lián)度分析和支持向量機回歸的瀝青路面使用性能預(yù)測[J]. 趙靜,王選倉,丁龍亭,房娜仁,李善強. 重慶大學學報. 2019(04)
[2]基于區(qū)塊鏈的檔案數(shù)據(jù)保護與共享方法[J]. 譚海波,周桐,趙赫,趙哲,王衛(wèi)東,張中賢,盛念祖,李曉風. 軟件學報. 2019(09)
[3]基于區(qū)塊鏈和IPFS技術(shù)實現(xiàn)糧食供應(yīng)鏈隱私信息保護[J]. 范賢麗,范春曉,吳岳辛. 應(yīng)用科學學報. 2019(02)
[4]一種基于可用性的動態(tài)云數(shù)據(jù)副本管理機制[J]. 陶永才,巴陽,石磊,衛(wèi)琳. 小型微型計算機系統(tǒng). 2018(03)
[5]HDFS動態(tài)副本因子的優(yōu)化研究[J]. 宗平,梁勝昔. 計算機技術(shù)與發(fā)展. 2018(07)
[6]基于免疫優(yōu)化策略的副本放置算法[J]. 羅四維,侯孟書,牛新征,呂孟婕. 電子科技大學學報. 2017(05)
[7]基于支持向量機的HDFS副本放置改進策略[J]. 羅軍,陳仕強. 計算機工程. 2015(11)
[8]對等網(wǎng)絡(luò)中一種優(yōu)化的副本分布方法[J]. 孫新,李慶洲,趙璞,王克祥,潘凡. 計算機學報. 2014(06)
[9]基于ARIMA與信息;疭VR組合模型的交通事故時序預(yù)測[J]. 孫軼軒,邵春福,計尋,朱亮. 清華大學學報(自然科學版). 2014(03)
[10]基于支持向量機回歸的短時交通流預(yù)測模型[J]. 傅貴,韓國強,逯峰,許子鑫. 華南理工大學學報(自然科學版). 2013(09)
碩士論文
[1]云環(huán)境下大數(shù)據(jù)存儲副本策略的優(yōu)化研究[D]. 梁勝昔.南京郵電大學 2018
[2]異構(gòu)Hadoop集群環(huán)境下數(shù)據(jù)副本動態(tài)管理研究[D]. 劉洋.西北大學 2018
[3]CSCloud云存儲系統(tǒng)副本管理方法研究與實現(xiàn)[D]. 趙彩云.長安大學 2018
[4]基于訪問熱度分類的元數(shù)據(jù)副本技術(shù)研究[D]. 李靜.華中科技大學 2016
[5]HDFS的副本管理策略研究[D]. 陳仕強.重慶大學 2015
本文編號:3327467
【文章來源】:西安郵電大學陜西省
【文章頁數(shù)】:71 頁
【學位級別】:碩士
【部分圖文】:
IPFS架構(gòu)圖
第2章相關(guān)技術(shù)7L1L2L3L4Hash(L1)Hash0-0Hash(L2)Hash0-1Hash(L3)Hash0-2Hash(L4)Hash0-3Hash(hash0-0,hash(0-1))Hash0Hash(hash0-2,hash0-3)Hash1Hash(hash0,hash1)TopHashDataBlocks圖2.3默克爾樹結(jié)構(gòu)默克爾有向無環(huán)圖也是一種類似于默克爾樹的結(jié)構(gòu),不同的是它是通過有向無環(huán)圖來組織節(jié)點的。因此,每個節(jié)點都可以有多個父節(jié)點,也可以有多個子節(jié)點。同時,不同于默克爾樹,默克爾DAG中每個節(jié)點都可以存儲數(shù)據(jù)塊的哈希。TopHashH0-3H0-2H0-1H0-0block4block3block1block0block2圖2.4默克爾DAG結(jié)構(gòu)示意圖通過DAG,IPFS實現(xiàn)了1)內(nèi)容可尋址,通過頂層哈希我們就可以獲取整個文件。2)內(nèi)容防篡改,文件中的每一塊被修改都會導致頂層哈希的改變。3)數(shù)據(jù)去重,兩個相同文件生成的DAG是完全相同的。IPFS中的每一個文件都會被表示為DAG的形式。如圖2.5所示,IPFSObject表示一個文件所創(chuàng)建的DAG中的節(jié)點,節(jié)點中有存儲具體數(shù)據(jù)的數(shù)組和指向子對象的指針。指針使用IPFSLink表示,每個指針中存在包含了指針名字,指向的文件塊的哈希和指向的塊的大校
西安郵電大學碩士學位論文8圖2.5IPFS對象的數(shù)據(jù)結(jié)構(gòu)2.1.4塊的交換-BitSwap協(xié)議DAG解決了IPFS對象的組織和定義問題,但是對于一個P2P存儲系統(tǒng)更重要的是解決對等方如何獲取和發(fā)布文件塊的問題。受到BitTorrent協(xié)議的啟發(fā),IPFS使用BitSwap協(xié)議來處理節(jié)點間的數(shù)據(jù)交換問題。BitSwap的主要工作是1)向其他的節(jié)點請求塊2)根據(jù)一些規(guī)則向其他節(jié)點發(fā)送數(shù)據(jù)塊。節(jié)點間的數(shù)據(jù)交換方式類似于一個交易市場,為了保證交易的公平,節(jié)點需要維護一個全局賬本。并且需要公開自己需要的塊的列表,在BitSwap中使用需求列表(wantlist)結(jié)構(gòu)表示節(jié)點請求的塊列表,使用havelist表示節(jié)點已經(jīng)存儲的文件。1)BitSwap賬本為了防止數(shù)據(jù)篡改,BitSwap會記錄節(jié)點交換的塊。當節(jié)點建立連接時,雙方會首先交換自己的賬本,然后開始核驗賬本的正確性。如果一方發(fā)現(xiàn)賬本有誤,會終止交換過程,并清空錯誤的賬本。圖2.6IPFS賬本結(jié)構(gòu)圖2.6是IPFS中用來表示賬本的結(jié)構(gòu)體,其中有表示賬本擁有者的owner和partner字段。發(fā)送和接收數(shù)據(jù)大小的byte_sent和byte_recv字段。2)BitSwap的核心結(jié)構(gòu)BitSwap和Peer結(jié)構(gòu)是比較核心的兩個結(jié)構(gòu)。BitSwap是一個全局數(shù)據(jù)結(jié)構(gòu),其中l(wèi)edgers和Active字段是兩個哈希表。ledgers鍵為節(jié)點ID值為賬本;Active鍵為
【參考文獻】:
期刊論文
[1]基于灰色關(guān)聯(lián)度分析和支持向量機回歸的瀝青路面使用性能預(yù)測[J]. 趙靜,王選倉,丁龍亭,房娜仁,李善強. 重慶大學學報. 2019(04)
[2]基于區(qū)塊鏈的檔案數(shù)據(jù)保護與共享方法[J]. 譚海波,周桐,趙赫,趙哲,王衛(wèi)東,張中賢,盛念祖,李曉風. 軟件學報. 2019(09)
[3]基于區(qū)塊鏈和IPFS技術(shù)實現(xiàn)糧食供應(yīng)鏈隱私信息保護[J]. 范賢麗,范春曉,吳岳辛. 應(yīng)用科學學報. 2019(02)
[4]一種基于可用性的動態(tài)云數(shù)據(jù)副本管理機制[J]. 陶永才,巴陽,石磊,衛(wèi)琳. 小型微型計算機系統(tǒng). 2018(03)
[5]HDFS動態(tài)副本因子的優(yōu)化研究[J]. 宗平,梁勝昔. 計算機技術(shù)與發(fā)展. 2018(07)
[6]基于免疫優(yōu)化策略的副本放置算法[J]. 羅四維,侯孟書,牛新征,呂孟婕. 電子科技大學學報. 2017(05)
[7]基于支持向量機的HDFS副本放置改進策略[J]. 羅軍,陳仕強. 計算機工程. 2015(11)
[8]對等網(wǎng)絡(luò)中一種優(yōu)化的副本分布方法[J]. 孫新,李慶洲,趙璞,王克祥,潘凡. 計算機學報. 2014(06)
[9]基于ARIMA與信息;疭VR組合模型的交通事故時序預(yù)測[J]. 孫軼軒,邵春福,計尋,朱亮. 清華大學學報(自然科學版). 2014(03)
[10]基于支持向量機回歸的短時交通流預(yù)測模型[J]. 傅貴,韓國強,逯峰,許子鑫. 華南理工大學學報(自然科學版). 2013(09)
碩士論文
[1]云環(huán)境下大數(shù)據(jù)存儲副本策略的優(yōu)化研究[D]. 梁勝昔.南京郵電大學 2018
[2]異構(gòu)Hadoop集群環(huán)境下數(shù)據(jù)副本動態(tài)管理研究[D]. 劉洋.西北大學 2018
[3]CSCloud云存儲系統(tǒng)副本管理方法研究與實現(xiàn)[D]. 趙彩云.長安大學 2018
[4]基于訪問熱度分類的元數(shù)據(jù)副本技術(shù)研究[D]. 李靜.華中科技大學 2016
[5]HDFS的副本管理策略研究[D]. 陳仕強.重慶大學 2015
本文編號:3327467
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3327467.html
最近更新
教材專著