【摘要】：隨著金山快盤、Dropbox、EverNote等云存儲(chǔ)應(yīng)用快速興起，云計(jì)算開始真正融入人們的日常生活。實(shí)現(xiàn)高可用的云存儲(chǔ)應(yīng)用的關(guān)鍵技術(shù)之一，是如何解決用戶數(shù)據(jù)在多個(gè)設(shè)備之間的同步問題。隨著用戶規(guī)模的逐漸擴(kuò)大，并發(fā)訪問量遞增，存儲(chǔ)容量需求爆炸式增長(zhǎng)，云存儲(chǔ)系統(tǒng)勢(shì)必面臨極其嚴(yán)峻的考驗(yàn)。開發(fā)與合作是當(dāng)今互聯(lián)網(wǎng)的主題之一，云存儲(chǔ)系統(tǒng)對(duì)外開放亦是大勢(shì)所趨。 本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)安全可靠、可擴(kuò)展的云存儲(chǔ)子系統(tǒng)，稱為云文件同步系統(tǒng)。并為該系統(tǒng)開發(fā)了云網(wǎng)盤客戶端程序和設(shè)計(jì)了REST架構(gòu)風(fēng)格的開放API。此外，還對(duì)云環(huán)境下的文件同步算法這一關(guān)鍵技術(shù)做了深入的研究，提出了一種基于文件元數(shù)據(jù)集合的多設(shè)備文件同步算法。本文主要工作包含以下四部分。 云文件同步系統(tǒng)的整體設(shè)計(jì)。通過引入負(fù)載均衡技術(shù)和MongoDB分布式集群技術(shù)，提高了該系統(tǒng)并發(fā)處理能力和帶故障正常運(yùn)行能力。整體設(shè)計(jì)能夠滿足安全可靠、可擴(kuò)展的基本要求。 多設(shè)備文件同步算法實(shí)現(xiàn)。在云環(huán)境下，文件同步參與者之間呈現(xiàn)星形的拓?fù)浣Y(jié)構(gòu)，中央節(jié)點(diǎn)是提供文件存儲(chǔ)服務(wù)的云端，連接中央節(jié)點(diǎn)的是各種客戶端。假設(shè)僅有一個(gè)客戶端，那么通過比對(duì)該客戶端或云端上次同步完成和本次同步開始這兩個(gè)時(shí)間點(diǎn)的文件元數(shù)據(jù)集合，可以得到云端和客戶端的文件變化，進(jìn)而合并云端和客戶端文件變化得到最終的文件變化，最后應(yīng)用文件變化即可實(shí)現(xiàn)該客戶端與云端的文件同步。此處的獲取文件變化的過程描述起來很簡(jiǎn)單，實(shí)際情況處理起來卻是異常棘手。不過，經(jīng)過一些巧妙的抽象和反抽象后，整個(gè)獲取文件變化的過程變得非常簡(jiǎn)便。進(jìn)一步將情景抽象為同步時(shí)間獨(dú)占、客戶端與客戶端關(guān)系確定為松耦合，使得每個(gè)客戶端和云端的同步操作看起來都是獨(dú)立的，從而可以將多個(gè)客戶端與云端的文件同步問題都看成是之前假設(shè)的單個(gè)客戶端與云端的文件同步問題。 云文件同步系統(tǒng)的工程實(shí)現(xiàn)。主要工作包括基于Jersey框架的REST架構(gòu)風(fēng)格Web服務(wù)程序的開發(fā)和供用戶使用的的云網(wǎng)盤Windows客戶端程序的開發(fā)。 云文件同步系統(tǒng)的部署與測(cè)試。部署指的是將該系統(tǒng)部署到實(shí)際生產(chǎn)環(huán)境曙光6000超級(jí)計(jì)算機(jī)上。該系統(tǒng)的所有數(shù)據(jù)最終都保存在ParaStor上，測(cè)試則指的是用基準(zhǔn)測(cè)試工具YCSB對(duì)MongoDB和ParaStor協(xié)同工作時(shí)的性能測(cè)試。 經(jīng)過工程應(yīng)用的實(shí)際檢驗(yàn)，，該云文件同步系統(tǒng)基本上可以正常工作。
[Abstract]:With the rapid rise of cloud storage applications such as Jinshan disk, Dropbox,EverNote and so on, cloud computing begins to truly integrate into people's daily life. One of the key technologies to implement high availability cloud storage applications is how to solve the problem of synchronization of user data between multiple devices. With the expansion of the scale of users, the increasing number of concurrent visits and the explosive growth of storage capacity, cloud storage system is bound to face a severe test. Development and cooperation is one of the themes of the Internet today, cloud storage system opening to the outside world is also the trend. This paper designs and implements a secure and extensible cloud storage subsystem called cloud file synchronization system. The client program of cloud network disk and the open API. with REST architecture style are developed for the system. In addition, the key technology of file synchronization algorithm in cloud environment is deeply studied, and a multi-device file synchronization algorithm based on file metadata set is proposed. The main work of this paper consists of the following four parts. The whole design of cloud file synchronization system. By introducing load balancing technology and MongoDB distributed cluster technology, the ability of concurrent processing and normal operation with faults is improved. The whole design can meet the basic requirements of safety, reliability and extensibility. Implementation of multi-device file synchronization algorithm. In the cloud environment, the file synchronization participants present star topology. The central node is the cloud that provides file storage service, and the central node is connected by various clients. Assuming that there is only one client, you can get the file changes between the cloud and the client by comparing the collection of file metadata between the last synchronization completion of that client or cloud and the start of this synchronization Then the final file changes can be obtained by merging the changes of the cloud and client files. Finally, the file synchronization between the client and the cloud can be realized by applying the file changes. The process of obtaining a file change here is simple to describe, but difficult to handle in practice. However, after some clever abstractions and anti-abstractions, the whole process of getting file changes becomes very easy. The scenario is further abstracted as synchronization time exclusivity, and the client-client relationship is determined to be loosely coupled, making synchronization operations on each client and cloud look independent. Therefore, the problem of file synchronization between multiple clients and the cloud can be regarded as the previously assumed problem of file synchronization between a single client and a cloud. The project implementation of cloud file synchronization system. The main work includes the development of REST architecture style Web service program based on Jersey framework and the development of cloud disk Windows client program for users. Deploy and test the cloud file synchronization system. Deployment refers to the deployment of the system to the actual production environment dawning 6000 supercomputer. All the data of the system are stored on ParaStor, and the test refers to the performance test of MongoDB and ParaStor when the benchmark tool YCSB is used to work together. After the practical test of engineering application, the cloud file synchronization system can basically work normally.
【學(xué)位授予單位】：重慶大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 伍文城,羅洪,鄒思軼,肖建;文件同步理論在電力系統(tǒng)數(shù)據(jù)備份中的應(yīng)用[J];電力系統(tǒng)自動(dòng)化;2003年13期

2 李桂祥,王放,李剛榮;基于文件同步的ORACLE數(shù)據(jù)庫備份與恢復(fù)方法[J];重慶醫(yī)學(xué);2004年09期

3 痛并快樂著;;文件同步 我用金山快盤[J];電腦迷;2010年12期

4 李桂祥,王放,李剛榮;基于文件同步的ORACLE數(shù)據(jù)庫備份與恢復(fù)方法[J];醫(yī)療設(shè)備信息;2004年08期

5 陸紅縵;;Unison實(shí)現(xiàn)跨平臺(tái)的數(shù)據(jù)傳輸和同步方法[J];電腦知識(shí)與技術(shù);2008年03期

6 于澤德;;SQL Server數(shù)據(jù)庫的自動(dòng)化遠(yuǎn)程備份[J];實(shí)驗(yàn)科學(xué)與技術(shù);2008年05期

7 張玉才;;基于PB遞歸算法和API函數(shù)的文件雙向智能同步的實(shí)現(xiàn)[J];嘉興學(xué)院學(xué)報(bào);2008年06期

8 堅(jiān)如磐石;;我要同步my dropbox外的文件[J];電腦迷;2010年06期

9 趙江;簡(jiǎn)簡(jiǎn)單單讓文件同步[J];電腦應(yīng)用文萃;2005年10期

10 戴洪玲;;U盤文件隨時(shí)同步[J];電腦愛好者(普及版);2007年07期

相關(guān)會(huì)議論文 前10條

1 高偉;李艷梅;陳維花;;基于P2P的文件同步更新的研究與實(shí)現(xiàn)[A];黑龍江省計(jì)算機(jī)學(xué)會(huì)2007年學(xué)術(shù)交流年會(huì)論文集[C];2007年

2 秦燕峰;劉亞軍;;基于多文檔和動(dòng)態(tài)鏈接庫技術(shù)的軟件開發(fā)方法研究與實(shí)現(xiàn)[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2001年

3 張鵬;李昭原;;基于組件技術(shù)的事務(wù)處理研究與實(shí)現(xiàn)[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

4 唐揚(yáng);熊偉;趙鋒銳;景寧;;數(shù)據(jù)庫功能擴(kuò)展技術(shù)研究與實(shí)現(xiàn)[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

5 王靖宇;李素梅;汪清;;基于PIC的USB通信板的研究與實(shí)現(xiàn)[A];2010年通信理論與信號(hào)處理學(xué)術(shù)年會(huì)論文集[C];2010年

6 齊智平;;具有開放式體系結(jié)構(gòu)的數(shù)控系統(tǒng)軟件平臺(tái)的研究與實(shí)現(xiàn)[A];西部大開發(fā) 科教先行與可持續(xù)發(fā)展——中國科協(xié)2000年學(xué)術(shù)年會(huì)文集[C];2000年

7 童小華;張錦;田根;;基于PDA的嵌入式GIS研究與實(shí)現(xiàn)[A];中國地理信息系統(tǒng)協(xié)會(huì)第三次代表大會(huì)暨第七屆年會(huì)論文集[C];2003年

8 林琦;王麗娜;董曉梅;于戈;申德榮;;MPEG視頻信息中的數(shù)字水印研究與實(shí)現(xiàn)[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

9 黃立平;馮玉才;肖偉器;;一種多媒體數(shù)據(jù)庫數(shù)據(jù)模型的研究與實(shí)現(xiàn)[A];第十屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1992年

10 馬繼峰;彭曉源;馮勤;;基于微機(jī)的圖形圖象系統(tǒng)的研究與實(shí)現(xiàn)[A];二○○一年中國系統(tǒng)仿真學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2001年

相關(guān)重要報(bào)紙文章 前10條

1 山東 劉榮;文件同步的幾種方法[N];電腦報(bào);2001年

2 劉曉輝;四步搞定文件同步[N];中國計(jì)算機(jī)報(bào);2007年

3 天津 武金剛;多點(diǎn)辦公，同步更新最重要[N];電腦報(bào);2005年

4 王曉民;VERITAS NetBackup 5.0備份更快、功能更強(qiáng)[N];電腦商報(bào);2004年

5 劉宗凡;實(shí)現(xiàn)服務(wù)器和客戶機(jī)文件夾同步更新[N];中國電腦教育報(bào);2003年

6 ;思杰更新GoToMyPC[N];計(jì)算機(jī)世界;2007年

7 劉建武;船岸之間的數(shù)據(jù)庫同步[N];計(jì)算機(jī)世界;2007年

8 黃鳴　趙s

本文編號(hào)：2400628