本文關(guān)鍵詞：云同步系統(tǒng)的設(shè)計與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著云計算的到來,用戶的數(shù)據(jù)會保存在多種不同的設(shè)備上,實現(xiàn)不同設(shè)備間的文件高效安全的同步是目前云存儲研究的重點。為了實現(xiàn)云同步存儲,目前國內(nèi)出現(xiàn)了百度云盤,金山快盤,360云盤等提供云同步服務(wù)的產(chǎn)品。本文在重點研究了目前流行的幾個云盤后,設(shè)計出了一款改進型的快速安全的云同步存儲系統(tǒng)。本文的主要工作首先是對目前存在的云同步系統(tǒng)進行了系統(tǒng)的研究,對目前云盤存在的問題進行了分析。從文件監(jiān)控開始入手,舍棄了傳統(tǒng)的多輪輪詢的查詢方式,采用基于事件監(jiān)控的jpathwatch庫監(jiān)控文件的新建,刪除,重命名,修改,從而快速的檢測到文件的變化。在檢測到文件變化后,接下來將分析計算需要同步的文件塊,根據(jù)分析結(jié)果判斷是對文件重傳還是只傳輸差異數(shù)據(jù),以及如何快速高效的傳輸差異塊。針對這個問題,本系統(tǒng)在計算出要傳輸?shù)奈募䦃K以后,采用所設(shè)計的壓縮模塊對文件塊數(shù)據(jù)進行壓縮。該壓縮模塊采用java語言實現(xiàn)了哈夫曼壓縮算法。為了對文件進行高效傳輸,在本系統(tǒng)中設(shè)計了多線程同步傳輸模塊,使得文件塊能夠得到快速的傳輸。在傳輸后接下來需要在服務(wù)器端進行文件的重建和存儲,本系統(tǒng)采用Hadoop下的HDFS分布式文件系統(tǒng)進行存儲,并優(yōu)化小文件的分散存儲。系統(tǒng)設(shè)計實現(xiàn)過程中采用分層模塊化的思想對各個模塊進行編程,在第五章對系統(tǒng)的各個子模塊進行了測試和分析,測試了系統(tǒng)的整體性能并和當(dāng)前流行的云盤進行了比較,總結(jié)了系統(tǒng)的研究成果和需要改進的地方。在最后展望下一步的工作。
【關(guān)鍵詞】：云同步 jpathwatch 兩輪同步算法 分布式文件系統(tǒng) 哈夫曼編碼
【學(xué)位授予單位】：杭州電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 緒論11-15
• 1.1 研究背景11
• 1.2 研究現(xiàn)狀11-13
• 1.3 課題研究內(nèi)容13-14
• 1.4 論文結(jié)構(gòu)和章節(jié)安排14-15
• 第二章 云同步存儲相關(guān)理論介紹和關(guān)鍵技術(shù)研究15-26
• 2.1 jpathwatch的簡介15
• 2.2 jpatwatch的使用15-16
• 2.3 幾種文件切塊同步算法16-19
• 2.3.1 基于滑動快的同步算法16-17
• 2.3.2 基于固定大小切塊的同步算法17
• 2.3.3 基于可變大小的切塊同步算法17-18
• 2.3.4 MD5算法18-19
• 2.4 數(shù)據(jù)壓縮算法19-20
• 2.4.1 行程長度壓縮19
• 2.4.2 霍夫曼編碼壓縮19-20
• 2.4.3 算術(shù)壓縮算法20
• 2.4.4 LZW壓縮方法20
• 2.4.5 Rice壓縮方法20
• 2.4.6 Lempel-Ziv (LZ77)壓縮方法20
• 2.5 多線程編程20-22
• 2.6 Hadoop簡介以及HDFS分布式文件系統(tǒng)使用22-26
• 第三章 云同步系統(tǒng)的設(shè)計26-39
• 3.1 需求分析26-27
• 3.2 系統(tǒng)的總體框架圖27-28
• 3.3 客戶端系統(tǒng)各個模塊的設(shè)計28-34
• 3.3.1 用戶登陸注冊模塊28-29
• 3.3.2 文件監(jiān)控模塊29-30
• 3.3.3 傳輸數(shù)據(jù)計算模塊30-31
• 3.3.4 文件壓縮模塊31-32
• 3.3.5 數(shù)據(jù)傳輸模塊32-33
• 3.3.6 系統(tǒng)控制模塊33
• 3.3.7 異常處理模塊33-34
• 3.4 服務(wù)器端系統(tǒng)的設(shè)計34-38
• 3.4.1 用戶登錄注冊模塊34-36
• 3.4.2 數(shù)據(jù)處理模塊36
• 3.4.3 數(shù)據(jù)傳輸模塊36-37
• 3.4.4 系統(tǒng)存儲模塊37
• 3.4.5 系統(tǒng)控制模塊37
• 3.4.6 系統(tǒng)異常處理模塊37-38
• 3.5 系統(tǒng)協(xié)議的設(shè)定38
• 3.6 本章小結(jié)38-39
• 第四章 云同步系統(tǒng)的實現(xiàn)39-53
• 4.1 開發(fā)的環(huán)境的介紹39
• 4.2 HADOOP環(huán)境的搭建39-44
• 4.2.1 各個節(jié)點的基本配置39-42
• 4.2.2 Hadoop環(huán)境的安裝42-44
• 4.3 文件的兩輪同步算法設(shè)計與實現(xiàn)44-47
• 4.3.1 Rsync的基本原理44
• 4.3.2 Rsync算法的性能分析與討論44
• 4.3.3 兩輪差異數(shù)據(jù)同步算法44-47
• 4.4 數(shù)據(jù)壓縮和解壓縮的實現(xiàn)47-48
• 4.4.1 壓縮模塊實現(xiàn)步驟47-48
• 4.4.2 解壓縮過程48
• 4.5 系統(tǒng)文件監(jiān)控的實現(xiàn)48-49
• 4.6 HDFS文件存儲的實現(xiàn)49-52
• 4.6.1 配置環(huán)境的安裝50
• 4.6.2 分布式文件處理存儲用到的類和方法50-52
• 4.7 本章總結(jié)52-53
• 第五章 系統(tǒng)測試和分析53-59
• 5.1 文件登陸模塊的測試53
• 5.2 系統(tǒng)文件監(jiān)控模塊的測試53-54
• 5.3 系統(tǒng)傳輸數(shù)據(jù)計算模塊的測試54
• 5.4 系統(tǒng)壓縮模塊的測試54-56
• 5.5 系統(tǒng)傳輸模塊的測試56-57
• 5.6 兩輪同步算法和Rsync同步算法對比測試57
• 5.7 本系統(tǒng)和金山網(wǎng)盤同步速度測試對比57-58
• 5.8 本章小結(jié)58-59
• 第六章 總結(jié)和展望59-61
• 6.1 論文的主要工作與特點59-60
• 6.2 下一步的工作展望60-61
• 致謝61-62
• 參考文獻62-64

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前1條

1 董旭;高允翔;褚衛(wèi)艷;;面向云計算的業(yè)務(wù)支撐系統(tǒng)數(shù)據(jù)架構(gòu)實施策略[J];郵電設(shè)計技術(shù);2014年01期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 李燁;云計算的發(fā)展研究[D];北京郵電大學(xué);2011年

  本文關(guān)鍵詞：云同步系統(tǒng)的設(shè)計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：286240