本文選題：分布式存儲(chǔ)系統(tǒng) + 散列　； 參考：《電子科技大學(xué)》2013年碩士論文

【摘要】：隨著互聯(lián)網(wǎng)的不斷發(fā)展，全球網(wǎng)絡(luò)化的不斷普及，海量信息的不斷聚合，數(shù)據(jù)量保持指數(shù)級增長。面對當(dāng)前的海量數(shù)據(jù)，傳統(tǒng)的單機(jī)文件存儲(chǔ)系統(tǒng)并不能提供其所需要的存儲(chǔ)能力和高性能讀、寫需求，同時(shí)，傳統(tǒng)文件系統(tǒng)的擴(kuò)展性不佳也使得當(dāng)數(shù)據(jù)業(yè)務(wù)需求發(fā)生變化時(shí)服務(wù)能力不足。鑒于此，本文中提出了一種新型的分布式鍵值存儲(chǔ)系統(tǒng)的架構(gòu)模型，該模型通過結(jié)合散列算法和一致性哈希算法，不僅解決了已有分布式系統(tǒng)中存在的擴(kuò)展性問題和節(jié)點(diǎn)負(fù)載均衡問題，同時(shí)有效的避免了當(dāng)機(jī)器數(shù)目發(fā)生改變時(shí)，數(shù)據(jù)移動(dòng)代價(jià)過高的問題。本文的主要工作有： 第一，介紹了當(dāng)前管理海量數(shù)據(jù)的主要問題，以及本文的研究動(dòng)機(jī)。 第二，詳細(xì)分析了已有的分布式存儲(chǔ)系統(tǒng)，包括NFS系統(tǒng)，HDFS系統(tǒng)，DYNAMO系統(tǒng)等當(dāng)前比較主流的分布式文件存儲(chǔ)系統(tǒng)，這些系統(tǒng)的相關(guān)核心技術(shù)對于本文中設(shè)計(jì)的分布式存儲(chǔ)系統(tǒng)具有良好的借鑒性和參考性。 第三，在相關(guān)技術(shù)準(zhǔn)備完成后，本文設(shè)計(jì)了一種新的大規(guī)模鍵值分布式存儲(chǔ)系統(tǒng)的架構(gòu)方式，該系統(tǒng)使用三層的架構(gòu)模式，同時(shí)在三層中都設(shè)計(jì)了良好的災(zāi)備方案，從前端服務(wù)器層，到最底層的數(shù)據(jù)節(jié)點(diǎn)層，都盡可能的在保證高效性的前提下設(shè)計(jì)了良好的災(zāi)備機(jī)制，雖然數(shù)據(jù)備份犧牲了一定的數(shù)據(jù)一致性，但仍可以很好的滿足應(yīng)用需求。 第四，完成系統(tǒng)設(shè)計(jì)后，本文中使用python語言對系統(tǒng)進(jìn)行了仿真，將三層架構(gòu)分解為三個(gè)實(shí)現(xiàn)模塊，并將每一個(gè)模塊再次詳細(xì)拆分為不同功能的子模塊，使得整個(gè)系統(tǒng)的耦合性降到最低。 第五，為了保證系統(tǒng)的功能完備性和可靠性，本文對該系統(tǒng)做了細(xì)致的測試，包括功能測試和性能測試，測試結(jié)果完全符合預(yù)期的設(shè)計(jì)目標(biāo)。 第六，在論文的結(jié)束部分分析了一些可以優(yōu)化本系統(tǒng)的技術(shù)和實(shí)現(xiàn)方式，并展望了分布式存儲(chǔ)系統(tǒng)良好的發(fā)展前景。 本文中成功的設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)新型的大規(guī)模分布式存儲(chǔ)系統(tǒng)，，對分布式存儲(chǔ)系統(tǒng)的發(fā)展具有良好的探索和實(shí)踐意義。
[Abstract]:With the development of the Internet, the popularization of the global network and the continuous aggregation of massive information, the amount of data keeps increasing exponentially. In the face of the current massive data, the traditional single-machine file storage system can not provide the required storage capacity and high performance read and write requirements, at the same time, The poor scalability of traditional file systems also leads to inadequate service capacity when data business requirements change. In view of this, a new architecture model of distributed key-value storage system is proposed in this paper, which combines hash algorithm and consistent hash algorithm. It not only solves the problem of scalability and node load balancing in existing distributed systems, but also effectively avoids the problem of excessive cost of data movement when the number of machines changes. The main work of this paper is as follows: First, it introduces the main problems of managing massive data and the motivation of this paper. Secondly, the existing distributed storage system, including NFS system and DYNAMO system, are analyzed in detail. The core technologies of these systems have good reference and reference for the distributed storage system designed in this paper. Third, after the completion of the related technology preparation, this paper designs a new large-scale key-value distributed storage system architecture, the system uses a three-tier architecture model, at the same time in the three-tier design of a good disaster preparedness scheme. From the front-end server layer to the bottom layer of the data node layer, we have designed a good disaster preparedness mechanism under the premise of high efficiency. Although the data backup sacrifices some data consistency, it can still meet the application requirements very well. Fourth, after completing the system design, this paper uses python language to simulate the system, decomposing the three-tier architecture into three implementation modules, and dividing each module into sub-modules with different functions in detail. The coupling of the whole system is minimized. Fifthly, in order to ensure the functional completeness and reliability of the system, the system is tested in detail, including function test and performance test, and the test results are in line with the expected design objectives. Sixth, at the end of the thesis, we analyze some technologies and implementation methods that can optimize the system, and look forward to the future of distributed storage system. In this paper, a new large-scale distributed storage system is successfully designed and implemented, which has a good exploration and practical significance for the development of distributed storage system.
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳],殷新春;并行程序設(shè)計(jì)中的消息傳遞機(jī)制[J];揚(yáng)州大學(xué)學(xué)報(bào)(自然科學(xué)版);2001年04期

2 楊_g劍;林波;;分布式存儲(chǔ)系統(tǒng)中一致性哈希算法的研究[J];電腦知識與技術(shù);2011年22期

3 李愛華,張衍杰;Windows98注冊表使用探討[J];山東工程學(xué)院學(xué)報(bào);2001年04期

4 楊小小;;在重啟中被替換的鍵值[J];辦公自動(dòng)化;2007年01期

5 張金蘭,姚根龍;WINDOWS注冊表簡介[J];通信世界;1999年03期

6 劉躍軍,李震;WINDOWS98注冊表的研究[J];安陽師范學(xué)院學(xué)報(bào);2000年04期

7 陳語林,曹堯謙,曹剛;中心機(jī)房軟件環(huán)境的優(yōu)化[J];實(shí)驗(yàn)室研究與探索;2001年05期

8 任潤姣,吳潔;淺談Windows注冊表及其優(yōu)化[J];河南商業(yè)高等�？茖W(xué)校學(xué)報(bào);2002年06期

9 王治,虞芬;用VB編寫自定義過程修改注冊表[J];九江職業(yè)技術(shù)學(xué)院學(xué)報(bào);2003年02期

10 孫孟樂,彭作華,劉孟賀;WINDOWS注冊表進(jìn)一步探索[J];洛陽工業(yè)高等專科學(xué)校學(xué)報(bào);2001年02期

相關(guān)會(huì)議論文 前10條

1 趙輝;何連躍;;基于異構(gòu)分布式存儲(chǔ)系統(tǒng)的動(dòng)態(tài)反饋負(fù)載均衡技術(shù)[A];第15屆全國信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

2 周天彤;薛磊;鄭東;童天浩;;基于Reed-Solomon編碼的容災(zāi)存儲(chǔ)系統(tǒng)性能分析[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

3 周松;王意潔;;EXPyramid:一種靈活的基于陣列結(jié)構(gòu)的高容錯(cuò)低修復(fù)成本編碼方案[A];2010年第16屆全國信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

4 王國仁;葉峰;王欣暉;于戈;鄭懷遠(yuǎn);;NOW環(huán)境下并行哈希連接算法的設(shè)計(jì)與實(shí)現(xiàn)[A];第十五屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1998年

5 朱鑒;張建;李淼;強(qiáng)靜;楊攀;;面向民族語言信息處理的漢語分詞方法[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學(xué)術(shù)研討會(huì)論文集[C];2007年

6 劉群;馮丹;;基于層次結(jié)構(gòu)的元數(shù)據(jù)動(dòng)態(tài)管理方法的研究[A];第15屆全國信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

7 韓麗;雷振明;;對等網(wǎng)絡(luò)的資源查找機(jī)制[A];通信理論與信號處理新進(jìn)展——2005年通信理論與信號處理年會(huì)論文集[C];2005年

8 嚴(yán)哲南;樓榮生;;窗口算法問題的解決方案[A];第十六屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1999年

9 范紀(jì)松;武欣嶸;;基于P2P的分布式哈希表算法優(yōu)化分析[A];中國電子學(xué)會(huì)第十五屆信息論學(xué)術(shù)年會(huì)暨第一屆全國網(wǎng)絡(luò)編碼學(xué)術(shù)年會(huì)論文集（上冊）[C];2008年

10 樓榮生;施伯樂;;自調(diào)整的有序散列函數(shù)[A];第十屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1992年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 黃偉敏;帶給你驚喜和快樂[N];計(jì)算機(jī)世界;2002年

2 ;開源和SaaS產(chǎn)品著手重構(gòu)數(shù)據(jù)庫[N];網(wǎng)絡(luò)世界;2009年

3 林明;斬?cái)鄲阂獯鄹臑g覽器主頁的利益鏈[N];人民郵電;2009年

4 ;寬帶WLAN制約因素分析[N];中國計(jì)算機(jī)報(bào);2002年

5 ;反垃圾郵件 技術(shù)介紹和部署思路[N];中國電腦教育報(bào);2005年

6 本報(bào)記者 朱曄;防火墻：網(wǎng)絡(luò)安全第一關(guān)[N];計(jì)算機(jī)世界;2004年

7 浙江 裘文鋒;BT下載攻防戰(zhàn)[N];電腦報(bào);2007年

8 ;“實(shí)現(xiàn)繼承”是有害的[N];計(jì)算機(jī)世界;2007年

9 福建 俞木發(fā);沒有組策略Win7家庭版優(yōu)化照做不誤[N];電腦報(bào);2010年

10 實(shí)習(xí)生 顏偉杰;如何應(yīng)對“黑屏”引來的病毒侵襲？[N];科技日報(bào);2008年

相關(guān)博士學(xué)位論文 前10條

1 王禹;分布式存儲(chǔ)系統(tǒng)中的數(shù)據(jù)冗余與維護(hù)技術(shù)研究[D];華南理工大學(xué);2011年

2 劉霖;分布式存儲(chǔ)系統(tǒng)中的能耗管理策略研究[D];華南理工大學(xué);2013年

3 萬亞平;基于P2P的分布式存儲(chǔ)系統(tǒng)可靠性及故障檢測研究[D];華中科技大學(xué);2010年

4 姚杰;分布式存儲(chǔ)系統(tǒng)文件級連續(xù)數(shù)據(jù)保護(hù)技術(shù)研究[D];華中科技大學(xué);2009年

5 宋瑋;分布式存儲(chǔ)系統(tǒng)中的節(jié)點(diǎn)自主性問題研究[D];華南理工大學(xué);2010年

6 趙杠;對偶連接問題的哈希算法研究[D];復(fù)旦大學(xué);2010年

7 宋建濤;對等計(jì)算中的若干問題研究[D];復(fù)旦大學(xué);2004年

8 牛中盈;并行文件系統(tǒng)安全性研究[D];華中科技大學(xué);2010年

9 李林;防火墻規(guī)則集關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2009年

10 王寧;網(wǎng)絡(luò)編碼在無線通信中的應(yīng)用研究[D];北京郵電大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 邢屹;大規(guī)模鍵值分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

2 劉飛;基于云計(jì)算的分布式存儲(chǔ)系統(tǒng)的研究和應(yīng)用[D];西安工業(yè)大學(xué);2012年

3 王偉娜;分布式存儲(chǔ)系統(tǒng)中容錯(cuò)子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東北大學(xué);2008年

4 王秀芬;對等網(wǎng)絡(luò)分布式存儲(chǔ)系統(tǒng)的研究[D];天津大學(xué);2010年

5 張凱;分布式存儲(chǔ)系統(tǒng)中節(jié)點(diǎn)修復(fù)問題研究[D];西南交通大學(xué);2012年

6 馮光曦;分布式存儲(chǔ)系統(tǒng)安全關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

7 王怡豐;面向非結(jié)構(gòu)化分布式存儲(chǔ)系統(tǒng)的性能分析系統(tǒng)研究[D];復(fù)旦大學(xué);2012年

8 張明;基于網(wǎng)絡(luò)編碼的一種分布式存儲(chǔ)系統(tǒng)應(yīng)用設(shè)計(jì)[D];南京理工大學(xué);2013年

9 孫程;基于糾刪碼的分布式存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2010年

10 舒敏;分布式數(shù)據(jù)存儲(chǔ)機(jī)制與優(yōu)化方法研究[D];西安電子科技大學(xué);2013年

本文編號：1784219