本文關(guān)鍵詞：大小文件跨網(wǎng)絡(luò)集群快速遷移協(xié)議

  更多相關(guān)文章： 網(wǎng)絡(luò)通信 海量數(shù)據(jù) 分布式 文件系統(tǒng)

【摘要】：近幾年來,計算機(jī)科學(xué)技術(shù)和網(wǎng)絡(luò)技術(shù)快速發(fā)展,產(chǎn)生了大量的數(shù)據(jù),并且產(chǎn)生數(shù)據(jù)的速度也在快速增長,經(jīng)過長年積累,系統(tǒng)后臺留下了海量數(shù)據(jù)。這對傳統(tǒng)的數(shù)據(jù)處理形式提出了挑戰(zhàn),數(shù)據(jù)的多節(jié)點(diǎn)復(fù)制同步和遷移成為了一個重要的問題。由于網(wǎng)絡(luò)的異構(gòu)性和網(wǎng)絡(luò)相關(guān)的應(yīng)用多樣性的特點(diǎn),最終在硬盤上形成的數(shù)據(jù)文件數(shù)量巨大,這些數(shù)據(jù)文件進(jìn)行同步復(fù)制和遷移到不同的處理節(jié)點(diǎn)上的效率在很大程度上限制了數(shù)據(jù)處理任務(wù)的總體進(jìn)度�，F(xiàn)有的文件數(shù)據(jù)遷移處理方法一般是通過差異傳輸方式減少數(shù)據(jù)量,通過壓縮技術(shù)來減少傳輸量,通過一些加密措施來保證傳輸安全性,并且一般通過B/S的結(jié)構(gòu)來實(shí)現(xiàn)文件傳輸服務(wù)。傳統(tǒng)的處理方式缺少有效的針對傳輸過程的速度優(yōu)化方式,特別是在最終的待傳輸數(shù)據(jù)的處理上,缺少高效的大規(guī)模傳播策略和措施,本協(xié)議的設(shè)計將針對最終數(shù)據(jù)的傳輸過程進(jìn)行改進(jìn)和優(yōu)化,通過分布式自主協(xié)商的算法和流程設(shè)計,實(shí)現(xiàn)動態(tài)源節(jié)點(diǎn)擴(kuò)張機(jī)制,通過自動協(xié)商選舉機(jī)制實(shí)現(xiàn)區(qū)域自治管理,通過集群代理角色機(jī)制實(shí)現(xiàn)數(shù)據(jù)的跨公網(wǎng)多集群間進(jìn)行同步和遷移。這些過程實(shí)現(xiàn)大量的不同類型的數(shù)據(jù)文件在多個集群之間進(jìn)行快速同步和遷移,提高各節(jié)點(diǎn)上的帶寬利用率。由于存在分布式協(xié)商,會有的額外開銷的代價,但是當(dāng)待傳輸?shù)臄?shù)據(jù)量巨大,以及待傳輸節(jié)點(diǎn)的規(guī)模巨大時,能夠很好的表現(xiàn)出該協(xié)議在性能和效率上有較大改進(jìn)和提升。該課題的研究內(nèi)容是在常見分布式文件系統(tǒng)理論基礎(chǔ)上,研究和設(shè)計新的分布式文件傳輸框架和協(xié)議以及協(xié)議中的分布式協(xié)商和傳輸算法。使之在復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)下自適應(yīng)和彈性擴(kuò)張,實(shí)現(xiàn)集群內(nèi)部同步,集群間同步以及單點(diǎn)對集群的跨網(wǎng)同步效率的提升。本文首先對協(xié)議進(jìn)行設(shè)計與實(shí)現(xiàn),然后在實(shí)驗環(huán)節(jié)通過與幾個主流使用的傳輸協(xié)議進(jìn)行性能上的對比測試,來驗證協(xié)議在性能效率上有較大的改進(jìn)和提升。
【關(guān)鍵詞】：網(wǎng)絡(luò)通信 海量數(shù)據(jù) 分布式 文件系統(tǒng)
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP393.04
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 緒論10-14
• 1.1 課題的背景與意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-12
• 1.3 主要工作12-13
• 1.4 本文的章節(jié)安排13-14
• 第二章 相關(guān)技術(shù)介紹與研究14-18
• 2.1 分布式文件系統(tǒng)介紹14-15
• 2.2 常用網(wǎng)絡(luò)文件傳輸協(xié)議介紹15-16
• 2.3 分布式文件系統(tǒng)的可靠性介紹16-17
• 2.4 本章小結(jié)17-18
• 第三章 大小文件跨網(wǎng)絡(luò)集群快速遷移協(xié)議的總體設(shè)計18-32
• 3.1 總體設(shè)計結(jié)構(gòu)概述18-20
• 3.2 協(xié)議的主要狀態(tài)20-21
• 3.3 協(xié)議狀態(tài)轉(zhuǎn)換圖21-25
• 3.4 各個模塊的設(shè)計25-28
• 3.5 角色的分布式選舉算法28-30
• 3.6 實(shí)現(xiàn)動態(tài)傳輸路徑生成算法30-31
• 3.7 本章小結(jié)31-32
• 第四章 遷移協(xié)議的詳細(xì)設(shè)計與實(shí)現(xiàn)32-53
• 4.1 節(jié)點(diǎn)角色選舉的設(shè)計與實(shí)現(xiàn)33-39
• 4.2 文件的智能處理的詳細(xì)設(shè)計與實(shí)現(xiàn)39-41
• 4.3 數(shù)據(jù)的傳輸模塊的詳細(xì)設(shè)計與實(shí)現(xiàn)41-43
• 4.4 傳輸任務(wù)的控制的設(shè)計與實(shí)現(xiàn)43-46
• 4.5 提交任務(wù)客戶端的設(shè)計與實(shí)現(xiàn)46-51
• 4.6 本章小結(jié)51-53
• 第五章 遷移協(xié)議的性能測試53-64
• 5.1 遷移協(xié)議的測試環(huán)境53-55
• 5.2 遷移協(xié)議的測試用例55-56
• 5.3 遷移協(xié)議的測試過程56-62
• 5.4 遷移協(xié)議的測試結(jié)果分析及結(jié)論總結(jié)62-64
• 第六章 大小文件跨網(wǎng)絡(luò)集群快速遷移協(xié)議的應(yīng)用64-72
• 6.1 網(wǎng)盤數(shù)據(jù)備份系統(tǒng)的需求分析64-65
• 6.2 網(wǎng)盤數(shù)據(jù)備份系統(tǒng)設(shè)計與實(shí)現(xiàn)65-69
• 6.3 網(wǎng)盤備份系統(tǒng)的實(shí)際應(yīng)用69-71
• 6.4 本章小結(jié)71-72
• 第七章 總結(jié)72-74
• 致謝74-75
• 參考文獻(xiàn)75-78

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前2條

1 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲平臺設(shè)計與開發(fā)[J];計算機(jī)研究與發(fā)展;2012年S1期

2 趙洋;;淘寶TFS深度剖析[J];數(shù)字化用戶;2013年03期

，

本文編號：850070