本文關(guān)鍵詞：基于BT協(xié)議和Swift特性的分布式文件存儲系統(tǒng)的設(shè)計與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：分布式文件存儲系統(tǒng)是通過網(wǎng)絡(luò)技術(shù),將分散的、性能不強(qiáng)的、單個存儲空間有限的存儲服務(wù)器集合起來,經(jīng)過合理的資源調(diào)度管理和存儲策略應(yīng)用后,對外提供統(tǒng)一存儲功能的服務(wù)。雖然單個機(jī)器的處理能力喝存儲能力并不強(qiáng),但是如果經(jīng)過合理的任務(wù)分配和空間調(diào)度,每臺存儲服務(wù)器都可以得到高效的利用。由于如今信息的增長速度已經(jīng)日新月異,分布式存儲系統(tǒng)所要承載的數(shù)據(jù)量也呈指數(shù)趨勢增長,海量的數(shù)據(jù)對實(shí)現(xiàn)數(shù)據(jù)在存儲節(jié)點(diǎn)中的負(fù)載均衡分配,避免出現(xiàn)嚴(yán)重的數(shù)據(jù)傾斜等解決方案提出了新的挑戰(zhàn)。同時,隨著用戶對分布式存儲系統(tǒng)要求越來越高,系統(tǒng)是否可以提供高速的文件存入和讀取服務(wù),以及是否可以維持?jǐn)?shù)據(jù)的高可用性,也成為了對分布式文件存儲系統(tǒng)性能衡量的重要標(biāo)準(zhǔn)。 BitTorrent協(xié)議是傳統(tǒng)的P2P文件分發(fā)協(xié)議,它是將一個文件通過分片策略,分布到各個節(jié)點(diǎn)中去,然后再通過節(jié)點(diǎn)之間的協(xié)同作用共同提供文件傳輸服務(wù)。而Swift是OpenStack中的存儲模塊,主要由代理服務(wù)器和存儲服務(wù)器組成,整體上提供了分布式文件存儲的服務(wù)。 目前的分布式文件存儲系統(tǒng)或通過BT協(xié)議可以實(shí)現(xiàn)較高速的文件存入/讀取速度,但是當(dāng)一個文件需要存儲時,缺少有效的機(jī)制在海量的存儲服務(wù)器中選擇最合適的存儲節(jié)點(diǎn),導(dǎo)致負(fù)載均衡方面沒有很好的解決辦法；或通過類似與Swift存儲系統(tǒng)架構(gòu)的模式,對存儲節(jié)點(diǎn)整體有了更合理的負(fù)載分配,但沒有利用文件在分布式存儲系統(tǒng)中多副本存儲的特性,只是從一個存儲節(jié)點(diǎn)傳輸文件,對帶寬的利用并不充分,面臨著傳輸速度瓶頸的問題。因此,需要將二者的特性結(jié)合起來,在類似Swift分布式存儲服務(wù)的架構(gòu)上,加入BT協(xié)議的特性,充分發(fā)揮兩者互補(bǔ)的特性,構(gòu)建出一套具有高可用性和高傳輸速度特性的存儲服務(wù)。 本文提出了一套結(jié)合BT協(xié)議和具有Swift特性的分布式存儲系統(tǒng)的設(shè)計架構(gòu),其中主要包括一是對Swift存儲中的一致性哈希算法,在虛節(jié)點(diǎn)的生成策略和分配策略,以及對系統(tǒng)負(fù)載的動態(tài)反饋方面做出了改進(jìn)；二是改造存儲節(jié)點(diǎn),通過BT協(xié)議來傳輸文件,改善文件的傳輸速度。最后實(shí)現(xiàn)了系統(tǒng)的原型。最后通過實(shí)驗(yàn)數(shù)據(jù)來測試系統(tǒng)的性能表現(xiàn)。
【關(guān)鍵詞】：BT協(xié)議 Swift 分布式存儲 一致性哈希
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-6
• ABSTRACT6-11
• 第一章 緒論11-16
• 1.1 研究背景及意義11-12
• 1.2 課題研究目標(biāo)12-14
• 1.2.1 BitTorrent協(xié)議研究12
• 1.2.2 Swift研究12-14
• 1.2.3 分布式文件系統(tǒng)的設(shè)計14
• 1.3 課題研究創(chuàng)新點(diǎn)14-15
• 1.4 論文的組織結(jié)構(gòu)15-16
• 第二章 相關(guān)背景及算法16-26
• 2.1 BT協(xié)議16-18
• 2.1.1 BT協(xié)議的網(wǎng)路結(jié)構(gòu)16-17
• 2.1.2 BT協(xié)議的節(jié)點(diǎn)通信17-18
• 2.2 Swift架構(gòu)18-22
• 2.2.1 系統(tǒng)架構(gòu)19-20
• 2.2.2 命令調(diào)用流程20-21
• 2.2.3 系統(tǒng)特性21-22
• 2.3 一致性哈希算法22-24
• 2.4 Web Service概念24
• 2.5 本章小結(jié)24-26
• 第三章 系統(tǒng)設(shè)計目標(biāo)26-29
• 3.1 功能目標(biāo)26-27
• 3.1.1 用戶管理26
• 3.1.2 存儲服務(wù)器管理26
• 3.1.3 文件管理26-27
• 3.2 性能目標(biāo)27
• 3.3 本章小結(jié)27-29
• 第四章 分布式存儲系統(tǒng)的模塊設(shè)計29-39
• 4.1 系統(tǒng)架構(gòu)29-32
• 4.1.1 用戶管理模塊29-30
• 4.1.2 代理服務(wù)器30
• 4.1.3 一致性哈希算法模塊30-31
• 4.1.4 BT協(xié)議模塊31
• 4.1.5 存儲節(jié)點(diǎn)模塊31-32
• 4.1.6 底層硬件模塊32
• 4.2 系統(tǒng)模塊通信流程32-37
• 4.2.1 用戶賬戶行為流程32-33
• 4.2.2 文件行為流程33-35
• 4.2.3 BT協(xié)議流程35-36
• 4.2.4 存儲節(jié)點(diǎn)狀態(tài)維護(hù)流程36
• 4.2.5 副本策略流程36-37
• 4.3 本章小結(jié)37-39
• 第五章 分布式存儲系統(tǒng)的模塊實(shí)現(xiàn)39-60
• 5.1 請求URL構(gòu)建39-41
• 5.2 存儲節(jié)點(diǎn)的數(shù)據(jù)管理實(shí)現(xiàn)41-43
• 5.3 文件對象的寫入實(shí)現(xiàn)43-47
• 5.3.1 代理服務(wù)器43-44
• 5.3.2 BT協(xié)議模塊44-47
• 5.3.3 用戶端方法47
• 5.4 文件對象的讀取實(shí)現(xiàn)47-52
• 5.4.1 代理服務(wù)器48
• 5.4.2 用戶端方法48
• 5.4.3 P2P下載實(shí)現(xiàn)48-52
• 5.5 一致性哈希算法模塊的實(shí)現(xiàn)52-56
• 5.5.1 基于虛節(jié)點(diǎn)的一致性哈希算法52-53
• 5.5.2 虛節(jié)點(diǎn)的自我調(diào)整機(jī)制53-56
• 5.6 文件副本策略的實(shí)現(xiàn)56-58
• 5.7 文件一致性檢測實(shí)現(xiàn)58-59
• 5.8 本章小結(jié)59-60
• 第六章 系統(tǒng)性能測試與分析60-67
• 6.1 文件上傳功能測試60-62
• 6.2 文件下載速度測試62-63
• 6.3 文件負(fù)載反饋測試63-64
• 6.4 本章小結(jié)64-67
• 第七章 結(jié)論67-69
• 7.1 總結(jié)67-68
• 7.2 展望68-69
• 參考文獻(xiàn)69-71
• 致謝71-72
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄72

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前5條

1 聶榮;聶林;劉超慧;雷振明;蘭巨龍;;BitTorrent網(wǎng)絡(luò)特性的測量與研究[J];北京郵電大學(xué)學(xué)報;2012年03期

2 姚墨涵;謝紅薇;;一致性哈希算法在分布式系統(tǒng)中的應(yīng)用[J];電腦開發(fā)與應(yīng)用;2012年07期

3 楊_g劍;林波;;分布式存儲系統(tǒng)中一致性哈希算法的研究[J];電腦知識與技術(shù);2011年22期

4 李振宇;謝高崗;;基于DHT的P2P系統(tǒng)的負(fù)載均衡算法[J];計算機(jī)研究與發(fā)展;2006年09期

5 周敬利;周正達(dá);;改進(jìn)的云存儲系統(tǒng)數(shù)據(jù)分布策略[J];計算機(jī)應(yīng)用;2012年02期

  本文關(guān)鍵詞：基于BT協(xié)議和Swift特性的分布式文件存儲系統(tǒng)的設(shè)計與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號：485316