本文選題：分布式文件系統(tǒng)　切入點(diǎn)：副本管理　出處：《浙江大學(xué)》2013年碩士論文　論文類型：學(xué)位論文

【摘要】：隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等新型應(yīng)用的蓬勃發(fā)展,全球數(shù)據(jù)呈現(xiàn)爆炸式增長,大數(shù)據(jù)成為應(yīng)用系統(tǒng)的特點(diǎn)。分布式文件存儲(chǔ)系統(tǒng)通過分布式的架構(gòu)支持海量文件數(shù)據(jù)的存儲(chǔ),是非結(jié)構(gòu)化大數(shù)據(jù)存儲(chǔ)的核心技術(shù)。而副本管理可增強(qiáng)系統(tǒng)的可靠性和容錯(cuò)性、方便進(jìn)行系統(tǒng)負(fù)載均衡和服務(wù)性能調(diào)優(yōu),是分布式文件存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)之一。論文分析分布式文件存儲(chǔ)系統(tǒng)中副本管理的功能和流程,綜合考慮了用戶訪問行為、負(fù)載均衡、系統(tǒng)代價(jià)等方面,提出一種新型的副本管理方法。 論文提出一種基于文件熱度的動(dòng)態(tài)副本管理方法。首先提出了一種多頻率的文件熱度算法,對(duì)文件多個(gè)周期的訪問頻率進(jìn)行綜合考慮來定量描述文件熱度。同時(shí),對(duì)于不同熱度的文件,采用不同頻率的熱度更新策略�；谖募䶮岫戎�,提出了包括副本數(shù)的調(diào)整方法,多頻率的副本執(zhí)行機(jī)制,副本放置位置的策略以及副本的一致性保證的副本管理方法。實(shí)驗(yàn)表明熱度算法有效的解決了文件熱度的統(tǒng)計(jì)周期與統(tǒng)計(jì)熱度準(zhǔn)確性之間的矛盾和用戶的突發(fā)性訪問問題,使得副本管理方法更加合理。 論文提出考慮負(fù)載均衡的實(shí)時(shí)副本策略。首先通過動(dòng)態(tài)調(diào)整負(fù)載指標(biāo)權(quán)重,設(shè)計(jì)了一種可動(dòng)態(tài)自適應(yīng)應(yīng)用程序的負(fù)載均衡算法,然后提出了與負(fù)載均衡算法相結(jié)合的實(shí)時(shí)副本策略,增加了高熱度副本的緩存機(jī)制和實(shí)時(shí)副本調(diào)度機(jī)制。最后通過實(shí)驗(yàn)測(cè)試驗(yàn)證了應(yīng)用程序自適應(yīng)的動(dòng)態(tài)負(fù)載均衡算法中的合理性以及實(shí)時(shí)副本策略的有效性；兩者配合使用對(duì)于系統(tǒng)性能有較大提升。 論文在錢塘分布式文件存儲(chǔ)系統(tǒng)中實(shí)現(xiàn)了本文提出的副本管理方法,使系統(tǒng)在吞吐率、響應(yīng)時(shí)間、負(fù)載均衡等方面都有了一定的提升�；诖舜鎯�(chǔ)系統(tǒng)的應(yīng)用在JTang云盤,已被100多家企事業(yè)單位投入使用,效果良好。
[Abstract]:With the rapid development of new applications such as the Internet of things and the Internet of things, the global data is explosively growing. Big data has become the characteristic of the application system. Distributed file storage system supports the storage of massive file data through the distributed architecture. Replica management can enhance the reliability and fault tolerance of the system, facilitate system load balancing and service performance tuning. It is one of the key technologies of distributed file storage system. This paper analyzes the function and flow of replica management in distributed file storage system, and synthetically considers user access behavior, load balance, system cost, etc. A new replica management method is proposed. In this paper, a dynamic copy management method based on file heat is proposed. Firstly, a multi-frequency algorithm is proposed to quantitatively describe the heat of the file by synthetically considering the access frequency of multiple periods. For the files with different heat degrees, different frequency heat updating strategies are adopted. Based on the file calorific values, an adjustment method including the number of replicas is proposed, and a replica execution mechanism with multiple frequencies is proposed. The experiment shows that the heat algorithm can effectively solve the contradiction between the statistical cycle of document heat and the accuracy of statistical heat and the problem of user's sudden access. Make the copy management method more reasonable. In this paper, a real-time replica strategy considering load balancing is proposed. Firstly, a dynamic adaptive load balancing algorithm is designed by adjusting the load index weight dynamically. Then a real-time replica strategy combined with load balancing algorithm is proposed. The cache mechanism and real-time copy scheduling mechanism of high thermal copy are added. Finally, the rationality of the application adaptive dynamic load balancing algorithm and the effectiveness of the real-time replica strategy are verified by experimental tests. The combination of the two can improve the performance of the system. This paper implements the replica management method in the Qiantang distributed file storage system, which improves the throughput, response time and load balance of the system. The application of this storage system in JTang cloud disk. Has been more than 100 enterprises and institutions put into use, the effect is good.
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 周濤,邱元杰,何進(jìn);LINUX下分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];福建電腦;2005年01期

2 王迪;薛巍;舒繼武;沈美明;;海量存儲(chǔ)網(wǎng)絡(luò)中的虛擬盤副本容錯(cuò)技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2006年10期

3 從零開始;;《完美國際》之動(dòng)態(tài)副本——探秘黃昏圣殿[J];電腦知識(shí)與技術(shù)(經(jīng)驗(yàn)技巧);2007年06期

4 噬天;;超炫頂級(jí)裝備,成就強(qiáng)者夢(mèng)想——完《完美國際》“黃昏圣殿”頂級(jí)裝備面面觀[J];電腦知識(shí)與技術(shù)(經(jīng)驗(yàn)技巧);2007年08期

5 亓雪冬;李霞;梁鴻;邢常振;仝兆岐;;一種新型的數(shù)據(jù)網(wǎng)格動(dòng)態(tài)副本策略(英文)[J];北京交通大學(xué)學(xué)報(bào);2008年06期

6 趙燕;劉心松;邱元杰;周正娟;;基于數(shù)字有機(jī)體存儲(chǔ)系統(tǒng)配額機(jī)制的設(shè)計(jì)與實(shí)現(xiàn)[J];成都信息工程學(xué)院學(xué)報(bào);2009年01期

7 曾福蘭;;什么叫草稿、定稿、正本、副本[J];中國檔案;1981年01期

8 張升;《永樂大典》副本流散史[J];中國典籍與文化;2004年04期

9 亓雪冬;仝兆岐;何潮觀;;快速瀑布模型動(dòng)態(tài)副本創(chuàng)建策略研究[J];系統(tǒng)仿真學(xué)報(bào);2008年15期

10 李靜;;遠(yuǎn)程教育中資源副本創(chuàng)建時(shí)機(jī)決策機(jī)制[J];計(jì)算機(jī)工程與應(yīng)用;2009年05期

相關(guān)會(huì)議論文 前10條

1 付偉;肖儂;盧錫城;;QoS感知的副本放置問題研究綜述[A];第15屆全國信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

2 張?zhí)抑?;沒有詩——一首詩的副本[A];詩歌與社會(huì)學(xué)術(shù)研討會(huì)論文集[C];2009年

3 趙武清;許先斌;王卓薇;;一種基于權(quán)重的數(shù)據(jù)網(wǎng)格副本替換策略[A];第15屆全國信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

4 張德明;;構(gòu)建分布式聲納信號(hào)處理系統(tǒng)[A];中國聲學(xué)學(xué)會(huì)2002年全國聲學(xué)學(xué)術(shù)會(huì)議論文集[C];2002年

5 劉輝蘭;李陶深;葛志輝;;基于代理的分布式入侵檢測(cè)系統(tǒng)中網(wǎng)絡(luò)代理的相關(guān)技術(shù)研究[A];廣西計(jì)算機(jī)學(xué)會(huì)2005年學(xué)術(shù)年會(huì)論文集[C];2005年

6 韓希先;李建中;;分布式有序表中一種有效的在線計(jì)劃批量插入方法[A];第26屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（B輯）[C];2009年

7 郭柯;代璐;周林;;分布式并網(wǎng)發(fā)電系統(tǒng)孤島檢測(cè)方法綜述[A];重慶市電機(jī)工程學(xué)會(huì)2010年學(xué)術(shù)會(huì)議論文集[C];2010年

8 李其瑩;張洪霞;;配電網(wǎng)中實(shí)現(xiàn)小電流接地選線一種方案[A];華東六省一市電機(jī)工程（電力）學(xué)會(huì)輸配電技術(shù)研討會(huì)2002年年會(huì)山東電機(jī)工程學(xué)會(huì)交流論文集[C];2002年

9 周詳;王龍明;;建立分布式防護(hù)的安全體系[A];中國煙草行業(yè)信息化研討會(huì)論文集[C];2004年

10 高長壽;陳定方;郭蘊(yùn)華;周麗琨;;分布式路由器級(jí)拓?fù)浒l(fā)現(xiàn)技術(shù)研究[A];2005年十二省區(qū)市機(jī)械工程學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（湖北專集）[C];2005年

相關(guān)重要報(bào)紙文章 前10條

1 記者 劉賦 李俊;大多坦然亮副本[N];重慶商報(bào);2000年

2 顧仁達(dá);營業(yè)執(zhí)照副本（網(wǎng)絡(luò)版）的原理及使用[N];中國工商報(bào);2000年

3 容若 譯;美學(xué)者在英發(fā)現(xiàn)海地《獨(dú)立宣言》唯一已知印刷副本[N];中國檔案報(bào);2010年

4 王家壩守堤者;尋找失落的世界[N];中國電腦教育報(bào);2004年

5 北京市石景山區(qū)地稅局 王圓圓;營業(yè)執(zhí)照正副本是否應(yīng)納印花稅[N];中國財(cái)經(jīng)報(bào);2002年

6 江西財(cái)經(jīng)大學(xué)國際經(jīng)貿(mào)學(xué)院 王善論;單據(jù)的頁數(shù)與附件、正本與副本[N];國際商報(bào);2003年

7 程鴻;昆騰數(shù)據(jù)管理軟件StorNext3.0[N];計(jì)算機(jī)世界;2007年

8 曉京;做分布式呼叫中心[N];中國計(jì)算機(jī)報(bào);2003年

9 記者 張磊;分布式能源技術(shù)研討會(huì)在京召開[N];中國電力報(bào);2004年

10 蓋俊飛 林楠;分布式ISA防火墻與服務(wù)器的配置[N];電腦報(bào);2003年

相關(guān)博士學(xué)位論文 前10條

1 劉曉茜;云計(jì)算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究[D];中國科學(xué)技術(shù)大學(xué);2011年

2 魏青松;大規(guī)模分布式存儲(chǔ)技術(shù)研究[D];電子科技大學(xué);2004年

3 林琳;基于網(wǎng)格數(shù)據(jù)交換區(qū)的網(wǎng)格作業(yè)性能優(yōu)化[D];吉林大學(xué);2011年

4 李靜;數(shù)據(jù)網(wǎng)格的資源管理相關(guān)策略及算法研究[D];重慶大學(xué);2007年

5 王宇翔;分布式網(wǎng)絡(luò)地理信息系統(tǒng)研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2002年

6 董紅軍;基于多Agent的分布式CAPP及工藝信息管理研究[D];西北工業(yè)大學(xué);2000年

7 婁淵勝;基于構(gòu)件的分布式防汛信息系統(tǒng)框架研究[D];河海大學(xué);2002年

8 劉峰;儀用主從耦合分布式并行處理容錯(cuò)系統(tǒng)體系結(jié)構(gòu)研究[D];浙江大學(xué);2003年

9 王加虎;分布式水文模型理論與方法研究[D];河海大學(xué);2006年

10 傅濤;基于數(shù)據(jù)挖掘的分布式網(wǎng)絡(luò)入侵協(xié)同檢測(cè)系統(tǒng)研究及實(shí)現(xiàn)[D];南京理工大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 蔣浩;分布式文件存儲(chǔ)系統(tǒng)副本管理方法研究[D];浙江大學(xué);2013年

2 鄭碩;一種新的非集中副本一致性服務(wù)模型[D];大連理工大學(xué);2010年

3 黃愷翔;云存儲(chǔ)環(huán)境下副本管理策略研究[D];解放軍信息工程大學(xué);2012年

4 石飛燕;數(shù)據(jù)密集型計(jì)算中副本優(yōu)化機(jī)制研究[D];武漢理工大學(xué);2011年

5 李亮;基于域索引的P2P網(wǎng)絡(luò)副本管理策略[D];大連理工大學(xué);2013年

6 吳畏;面向云存儲(chǔ)系統(tǒng)的副本策略研究[D];華中科技大學(xué);2012年

7 匡士杰;云存儲(chǔ)環(huán)境下分布式文件系統(tǒng)的副本策略研究[D];電子科技大學(xué);2013年

8 王慧娟;數(shù)據(jù)網(wǎng)格中副本淘汰策略的研究[D];湖南大學(xué);2010年

9 張昌遠(yuǎn);基于蟻群的P2P網(wǎng)絡(luò)副本一致性維護(hù)策略[D];大連理工大學(xué);2013年

10 岑文峰;海量數(shù)據(jù)環(huán)境中副本動(dòng)態(tài)一致性策略研究[D];華中科技大學(xué);2012年

，

本文編號(hào)：1610994