本文選題：分布式文件系統(tǒng)　切入點：副本管理　出處：《浙江大學》2013年碩士論文　論文類型：學位論文

【摘要】：隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等新型應用的蓬勃發(fā)展,全球數(shù)據(jù)呈現(xiàn)爆炸式增長,大數(shù)據(jù)成為應用系統(tǒng)的特點。分布式文件存儲系統(tǒng)通過分布式的架構支持海量文件數(shù)據(jù)的存儲,是非結構化大數(shù)據(jù)存儲的核心技術。而副本管理可增強系統(tǒng)的可靠性和容錯性、方便進行系統(tǒng)負載均衡和服務性能調優(yōu),是分布式文件存儲系統(tǒng)的關鍵技術之一。論文分析分布式文件存儲系統(tǒng)中副本管理的功能和流程,綜合考慮了用戶訪問行為、負載均衡、系統(tǒng)代價等方面,提出一種新型的副本管理方法。 論文提出一種基于文件熱度的動態(tài)副本管理方法。首先提出了一種多頻率的文件熱度算法,對文件多個周期的訪問頻率進行綜合考慮來定量描述文件熱度。同時,對于不同熱度的文件,采用不同頻率的熱度更新策略。基于文件熱度值,提出了包括副本數(shù)的調整方法,多頻率的副本執(zhí)行機制,副本放置位置的策略以及副本的一致性保證的副本管理方法。實驗表明熱度算法有效的解決了文件熱度的統(tǒng)計周期與統(tǒng)計熱度準確性之間的矛盾和用戶的突發(fā)性訪問問題,使得副本管理方法更加合理。 論文提出考慮負載均衡的實時副本策略。首先通過動態(tài)調整負載指標權重,設計了一種可動態(tài)自適應應用程序的負載均衡算法,然后提出了與負載均衡算法相結合的實時副本策略,增加了高熱度副本的緩存機制和實時副本調度機制。最后通過實驗測試驗證了應用程序自適應的動態(tài)負載均衡算法中的合理性以及實時副本策略的有效性；兩者配合使用對于系統(tǒng)性能有較大提升。 論文在錢塘分布式文件存儲系統(tǒng)中實現(xiàn)了本文提出的副本管理方法,使系統(tǒng)在吞吐率、響應時間、負載均衡等方面都有了一定的提升。基于此存儲系統(tǒng)的應用在JTang云盤,已被100多家企事業(yè)單位投入使用,效果良好。
[Abstract]:With the rapid development of new applications such as the Internet of things and the Internet of things, the global data is explosively growing. Big data has become the characteristic of the application system. Distributed file storage system supports the storage of massive file data through the distributed architecture. Replica management can enhance the reliability and fault tolerance of the system, facilitate system load balancing and service performance tuning. It is one of the key technologies of distributed file storage system. This paper analyzes the function and flow of replica management in distributed file storage system, and synthetically considers user access behavior, load balance, system cost, etc. A new replica management method is proposed. In this paper, a dynamic copy management method based on file heat is proposed. Firstly, a multi-frequency algorithm is proposed to quantitatively describe the heat of the file by synthetically considering the access frequency of multiple periods. For the files with different heat degrees, different frequency heat updating strategies are adopted. Based on the file calorific values, an adjustment method including the number of replicas is proposed, and a replica execution mechanism with multiple frequencies is proposed. The experiment shows that the heat algorithm can effectively solve the contradiction between the statistical cycle of document heat and the accuracy of statistical heat and the problem of user's sudden access. Make the copy management method more reasonable. In this paper, a real-time replica strategy considering load balancing is proposed. Firstly, a dynamic adaptive load balancing algorithm is designed by adjusting the load index weight dynamically. Then a real-time replica strategy combined with load balancing algorithm is proposed. The cache mechanism and real-time copy scheduling mechanism of high thermal copy are added. Finally, the rationality of the application adaptive dynamic load balancing algorithm and the effectiveness of the real-time replica strategy are verified by experimental tests. The combination of the two can improve the performance of the system. This paper implements the replica management method in the Qiantang distributed file storage system, which improves the throughput, response time and load balance of the system. The application of this storage system in JTang cloud disk. Has been more than 100 enterprises and institutions put into use, the effect is good.
【學位授予單位】：浙江大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 周濤,邱元杰,何進;LINUX下分布式文件系統(tǒng)的設計與實現(xiàn)[J];福建電腦;2005年01期

2 王迪;薛巍;舒繼武;沈美明;;海量存儲網(wǎng)絡中的虛擬盤副本容錯技術[J];計算機研究與發(fā)展;2006年10期

3 從零開始;;《完美國際》之動態(tài)副本——探秘黃昏圣殿[J];電腦知識與技術(經(jīng)驗技巧);2007年06期

4 噬天;;超炫頂級裝備,成就強者夢想——完《完美國際》“黃昏圣殿”頂級裝備面面觀[J];電腦知識與技術(經(jīng)驗技巧);2007年08期

5 亓雪冬;李霞;梁鴻;邢常振;仝兆岐;;一種新型的數(shù)據(jù)網(wǎng)格動態(tài)副本策略(英文)[J];北京交通大學學報;2008年06期

6 趙燕;劉心松;邱元杰;周正娟;;基于數(shù)字有機體存儲系統(tǒng)配額機制的設計與實現(xiàn)[J];成都信息工程學院學報;2009年01期

7 曾福蘭;;什么叫草稿、定稿、正本、副本[J];中國檔案;1981年01期

8 張升;《永樂大典》副本流散史[J];中國典籍與文化;2004年04期

9 亓雪冬;仝兆岐;何潮觀;;快速瀑布模型動態(tài)副本創(chuàng)建策略研究[J];系統(tǒng)仿真學報;2008年15期

10 李靜;;遠程教育中資源副本創(chuàng)建時機決策機制[J];計算機工程與應用;2009年05期

相關會議論文 前10條

1 付偉;肖儂;盧錫城;;QoS感知的副本放置問題研究綜述[A];第15屆全國信息存儲技術學術會議論文集[C];2008年

2 張?zhí)抑?;沒有詩——一首詩的副本[A];詩歌與社會學術研討會論文集[C];2009年

3 趙武清;許先斌;王卓薇;;一種基于權重的數(shù)據(jù)網(wǎng)格副本替換策略[A];第15屆全國信息存儲技術學術會議論文集[C];2008年

4 張德明;;構建分布式聲納信號處理系統(tǒng)[A];中國聲學學會2002年全國聲學學術會議論文集[C];2002年

5 劉輝蘭;李陶深;葛志輝;;基于代理的分布式入侵檢測系統(tǒng)中網(wǎng)絡代理的相關技術研究[A];廣西計算機學會2005年學術年會論文集[C];2005年

6 韓希先;李建中;;分布式有序表中一種有效的在線計劃批量插入方法[A];第26屆中國數(shù)據(jù)庫學術會議論文集（B輯）[C];2009年

7 郭柯;代璐;周林;;分布式并網(wǎng)發(fā)電系統(tǒng)孤島檢測方法綜述[A];重慶市電機工程學會2010年學術會議論文集[C];2010年

8 李其瑩;張洪霞;;配電網(wǎng)中實現(xiàn)小電流接地選線一種方案[A];華東六省一市電機工程（電力）學會輸配電技術研討會2002年年會山東電機工程學會交流論文集[C];2002年

9 周詳;王龍明;;建立分布式防護的安全體系[A];中國煙草行業(yè)信息化研討會論文集[C];2004年

10 高長壽;陳定方;郭蘊華;周麗琨;;分布式路由器級拓撲發(fā)現(xiàn)技術研究[A];2005年十二省區(qū)市機械工程學會學術年會論文集（湖北專集）[C];2005年

相關重要報紙文章 前10條

1 記者 劉賦 李俊;大多坦然亮副本[N];重慶商報;2000年

2 顧仁達;營業(yè)執(zhí)照副本（網(wǎng)絡版）的原理及使用[N];中國工商報;2000年

3 容若 譯;美學者在英發(fā)現(xiàn)海地《獨立宣言》唯一已知印刷副本[N];中國檔案報;2010年

4 王家壩守堤者;尋找失落的世界[N];中國電腦教育報;2004年

5 北京市石景山區(qū)地稅局 王圓圓;營業(yè)執(zhí)照正副本是否應納印花稅[N];中國財經(jīng)報;2002年

6 江西財經(jīng)大學國際經(jīng)貿(mào)學院 王善論;單據(jù)的頁數(shù)與附件、正本與副本[N];國際商報;2003年

7 程鴻;昆騰數(shù)據(jù)管理軟件StorNext3.0[N];計算機世界;2007年

8 曉京;做分布式呼叫中心[N];中國計算機報;2003年

9 記者 張磊;分布式能源技術研討會在京召開[N];中國電力報;2004年

10 蓋俊飛 林楠;分布式ISA防火墻與服務器的配置[N];電腦報;2003年

相關博士學位論文 前10條

1 劉曉茜;云計算數(shù)據(jù)中心結構及其調度機制研究[D];中國科學技術大學;2011年

2 魏青松;大規(guī)模分布式存儲技術研究[D];電子科技大學;2004年

3 林琳;基于網(wǎng)格數(shù)據(jù)交換區(qū)的網(wǎng)格作業(yè)性能優(yōu)化[D];吉林大學;2011年

4 李靜;數(shù)據(jù)網(wǎng)格的資源管理相關策略及算法研究[D];重慶大學;2007年

5 王宇翔;分布式網(wǎng)絡地理信息系統(tǒng)研究[D];中國科學院研究生院（遙感應用研究所）;2002年

6 董紅軍;基于多Agent的分布式CAPP及工藝信息管理研究[D];西北工業(yè)大學;2000年

7 婁淵勝;基于構件的分布式防汛信息系統(tǒng)框架研究[D];河海大學;2002年

8 劉峰;儀用主從耦合分布式并行處理容錯系統(tǒng)體系結構研究[D];浙江大學;2003年

9 王加虎;分布式水文模型理論與方法研究[D];河海大學;2006年

10 傅濤;基于數(shù)據(jù)挖掘的分布式網(wǎng)絡入侵協(xié)同檢測系統(tǒng)研究及實現(xiàn)[D];南京理工大學;2008年

相關碩士學位論文 前10條

1 蔣浩;分布式文件存儲系統(tǒng)副本管理方法研究[D];浙江大學;2013年

2 鄭碩;一種新的非集中副本一致性服務模型[D];大連理工大學;2010年

3 黃愷翔;云存儲環(huán)境下副本管理策略研究[D];解放軍信息工程大學;2012年

4 石飛燕;數(shù)據(jù)密集型計算中副本優(yōu)化機制研究[D];武漢理工大學;2011年

5 李亮;基于域索引的P2P網(wǎng)絡副本管理策略[D];大連理工大學;2013年

6 吳畏;面向云存儲系統(tǒng)的副本策略研究[D];華中科技大學;2012年

7 匡士杰;云存儲環(huán)境下分布式文件系統(tǒng)的副本策略研究[D];電子科技大學;2013年

8 王慧娟;數(shù)據(jù)網(wǎng)格中副本淘汰策略的研究[D];湖南大學;2010年

9 張昌遠;基于蟻群的P2P網(wǎng)絡副本一致性維護策略[D];大連理工大學;2013年

10 岑文峰;海量數(shù)據(jù)環(huán)境中副本動態(tài)一致性策略研究[D];華中科技大學;2012年

，

本文編號：1610994