本文關(guān)鍵詞：一種云存儲(chǔ)名字空間架構(gòu)的研究與設(shè)計(jì)，，由筆耕文化傳播整理發(fā)布。

【摘要】：互聯(lián)網(wǎng)的發(fā)展引領(lǐng)IT領(lǐng)域進(jìn)入到大數(shù)據(jù)時(shí)代。在這樣的背景下,海量數(shù)據(jù)呈現(xiàn)爆炸性增長(zhǎng),無論是個(gè)人還是企業(yè),對(duì)廉價(jià)優(yōu)質(zhì)的海量存儲(chǔ)空間的需求都在與日俱增。個(gè)云存儲(chǔ)系統(tǒng)的名字空間架構(gòu)設(shè)計(jì)好壞直接決定著一個(gè)系統(tǒng)的擴(kuò)展能力、存儲(chǔ)空間、服務(wù)質(zhì)量和管理成本等。現(xiàn)有的云存儲(chǔ)產(chǎn)品普遍使用構(gòu)建具有集中性質(zhì)的大規(guī)模數(shù)據(jù)中心來實(shí)現(xiàn)“云”的理念,但是在數(shù)據(jù)量過快增長(zhǎng)的趨勢(shì)下也將面對(duì)管理復(fù)雜度增加、擴(kuò)展受限制、成本過高且服務(wù)質(zhì)量下降等問題。 本文對(duì)目前各類經(jīng)典的大規(guī)模數(shù)據(jù)存儲(chǔ)系統(tǒng)的名字空間進(jìn)行了深入的學(xué)習(xí)和研究,發(fā)現(xiàn)易管理的系統(tǒng)普遍存在物理或邏輯主控結(jié)構(gòu)而擴(kuò)展性受限的問題,而理論上擴(kuò)展性良好的系統(tǒng)卻又因?yàn)榫S護(hù)成本過高而實(shí)用性不強(qiáng)。本文通過權(quán)衡各類方案的優(yōu)缺點(diǎn),設(shè)計(jì)了一個(gè)可以自由伸縮、無限擴(kuò)展、提供快速存儲(chǔ)和檢索文件服務(wù)的云存儲(chǔ)架構(gòu)。 為了以較低的成本充分整合互聯(lián)網(wǎng)上的存儲(chǔ)資源以獲得可無限擴(kuò)展的透明存儲(chǔ)空間,本文的私有文件管理子層利用IPv6地址前綴自動(dòng)聚類的性質(zhì)將分布廣泛、數(shù)目較多的存儲(chǔ)單元聚合為獨(dú)立的子域,子域之間通過一致性哈希維護(hù)。用戶將文件就近存放在子域中可以獲得較小的網(wǎng)絡(luò)延時(shí)；每個(gè)獨(dú)立子域之間的文件存儲(chǔ)并行執(zhí)行,可以有效提高系統(tǒng)吞吐量。為了對(duì)海量的私有文件管理子層中的文件提供高效索引,本文中的共享文件管理子層設(shè)計(jì)了一種分布式多維索引LSH-K-D Forest。該索引首先通過基于地址敏感哈希LSH的方法對(duì)海量數(shù)據(jù)的文件名相似度分類成Bucket,然后再對(duì)Bucket按文件屬性構(gòu)建多維索引進(jìn)一步劃分Bucket中的文件。通過上述兩級(jí)的數(shù)據(jù)劃分可以為每一個(gè)文件檢索過濾掉大部分無關(guān)文件,大幅收斂文件檢索空間,提升文件檢索效率。并且,多維檢索樹的使用還使得共享文件管理子層支持各種海量數(shù)據(jù)高效多維檢索方式。經(jīng)過算法分析和實(shí)驗(yàn)驗(yàn)證,證明本文設(shè)計(jì)的名字空間架構(gòu)具有一定的優(yōu)勢(shì)和實(shí)用性。
【關(guān)鍵詞】：云存儲(chǔ) IPv6 一致性哈希 地址敏感哈希 多維檢索 高擴(kuò)展
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要4-5
• Abstract5-9
• 1 緒論9-12
• 1.1 課題背景及意義9-10
• 1.1.1 國(guó)內(nèi)外研究現(xiàn)狀9
• 1.1.2 研究意義9-10
• 1.2 本文主要工作10-11
• 1.3 本文結(jié)構(gòu)11-12
• 2 相關(guān)技術(shù)研究12-22
• 2.1 大規(guī)模數(shù)據(jù)存儲(chǔ)系統(tǒng)介紹12-14
• 2.1.1 Google File System12-13
• 2.1.2 Gluster File System13-14
• 2.1.3 OpenStack Swift14
• 2.2 存儲(chǔ)的類型14-15
• 2.2.1 基于塊的存儲(chǔ)14-15
• 2.2.2 基于文件的存儲(chǔ)15
• 2.2.3 基于對(duì)象的存儲(chǔ)15
• 2.3 一致性哈希算法15-18
• 2.3.1 基本一致性哈希算法16-18
• 2.3.2 改進(jìn)一致性哈希算法18
• 2.4 地址敏感哈希18-20
• 2.5 多維檢索樹20-22
• 3 EndlessStore的總體設(shè)計(jì)22-33
• 3.1 EndlessStore設(shè)計(jì)目標(biāo)22-23
• 3.2 EndlessStore架構(gòu)設(shè)計(jì)23-33
• 3.2.1 總體架構(gòu)概述23-26
• 3.2.2 私有文件管理子層26-28
• 3.2.3 共享文件管理子層28-30
• 3.2.4 總體關(guān)系構(gòu)建30-33
• 4 EndlessStore的詳細(xì)設(shè)計(jì)33-49
• 4.1 數(shù)據(jù)存儲(chǔ)管理層的實(shí)現(xiàn)33-37
• 4.1.1 PNN的管理33-35
• 4.1.2 數(shù)據(jù)存儲(chǔ)關(guān)系構(gòu)建35-37
• 4.2 共享文件名字空間的實(shí)現(xiàn)37-44
• 4.2.1 SNN的管理37-38
• 4.2.2 LSH-K-D Forest索引構(gòu)建38-44
• 4.3 算法性能分析44-46
• 4.3.1 物理架構(gòu)算法性能44-45
• 4.3.2 邏輯架構(gòu)算法性能45-46
• 4.4 EndlessStore的讀寫流程46-49
• 5 實(shí)驗(yàn)及結(jié)果分析49-53
• 5.1 實(shí)驗(yàn)環(huán)境49
• 5.2 實(shí)驗(yàn)結(jié)果分析及系統(tǒng)性能49-53
• 5.2.1 存儲(chǔ)節(jié)點(diǎn)聚類優(yōu)化分析49-51
• 5.2.2 LSH-K-D Forest索引性能分析51-53
• 結(jié)論53-54
• 參考文獻(xiàn)54-57
• 致謝57-58

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 胡波;;空間索引技術(shù)及其應(yīng)用研究[J];赤峰學(xué)院學(xué)報(bào)(自然科學(xué)版);2009年11期

2 單國(guó)慧;鄧偉群;華一新;龐園園;;IMPWPT運(yùn)動(dòng)目標(biāo)時(shí)空索引的設(shè)計(jì)與實(shí)現(xiàn)[J];測(cè)繪科學(xué);2011年03期

3 左小清;李清泉;;一種面向道路網(wǎng)3維數(shù)據(jù)的空間索引方法[J];測(cè)繪學(xué)報(bào);2006年01期

4 閻超德,趙學(xué)勝;GIS空間索引方法述評(píng)[J];地理與地理信息科學(xué);2004年04期

5 趙元;張新長(zhǎng);康停軍;;多叉樹蟻群算法及在區(qū)位選址中的應(yīng)用研究[J];地理學(xué)報(bào);2011年02期

6 別志銘;辛勇軍;;智能配網(wǎng)3D監(jiān)控系統(tǒng)[J];電氣技術(shù);2010年08期

7 李明海;陳宜金;;基于WebGIS的銀行自助設(shè)備管理系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J];地理空間信息;2006年05期

8 章斌全;;基于四叉樹的平面矢量圖對(duì)比方法優(yōu)化[J];電腦開發(fā)與應(yīng)用;2013年01期

9 李紅;;基于Google Bigtable的海量數(shù)據(jù)存儲(chǔ)探索[J];鞍山師范學(xué)院學(xué)報(bào);2013年04期

10 唐宏;;基于MapReduce的大規(guī)模流量分析系統(tǒng)的設(shè)計(jì)[J];電信科學(xué);2013年12期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 涂丹丹;向琳;左德承;楊孝宗;;移動(dòng)對(duì)象數(shù)據(jù)庫(kù)管理技術(shù)[A];黑龍江省計(jì)算機(jī)學(xué)會(huì)2007年學(xué)術(shù)交流年會(huì)論文集[C];2007年

2 于利勝;張倩;王珊;張延松;;RR_tree:多維索引的關(guān)系模式實(shí)現(xiàn)新方法[A];第26屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（A輯）[C];2009年

3 李佳佳;王波濤;陳東;喜連川優(yōu);王國(guó)仁;;分組移動(dòng)對(duì)象的區(qū)域偏離監(jiān)視算法[A];NDBC2010第27屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集A輯二[C];2010年

4 祁昊穎;;大數(shù)據(jù)時(shí)代電信運(yùn)營(yíng)商文件系統(tǒng)新思考[A];2013年中國(guó)信息通信研究新進(jìn)展論文集[C];2014年

5 徐子偉;張陳斌;陳宗海;;大數(shù)據(jù)技術(shù)概述[A];系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)論文集（第15卷）[C];2014年

6 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國(guó)控制與決策會(huì)議論文集[C];2014年

7 汪中琳;喬自知;郭景贊;;移動(dòng)運(yùn)維支撐系統(tǒng)的互聯(lián)網(wǎng)思維重構(gòu)[A];2014全國(guó)無線及移動(dòng)通信學(xué)術(shù)大會(huì)論文集[C];2014年

8 鄭誠(chéng);張堅(jiān)盛;林淳;蔡永全;;基于NAS的企業(yè)數(shù)據(jù)存儲(chǔ)平臺(tái)研究與應(yīng)用[A];2014電力行業(yè)信息化年會(huì)論文集[C];2014年

9 祁昊穎;;大數(shù)據(jù)時(shí)代電信運(yùn)營(yíng)商文件系統(tǒng)新思考[A];2013年中國(guó)信息通信研究新進(jìn)展論文集[C];2014年

10 鄭誠(chéng);張堅(jiān)盛;林淳;蔡永全;;基于NAS的企業(yè)數(shù)據(jù)存儲(chǔ)平臺(tái)研究與應(yīng)用[A];軟件定義 面向未來——2014電力行業(yè)信息化年會(huì)論文集[C];2014年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 許滸;時(shí)空數(shù)據(jù)庫(kù)聚集查詢算法研究[D];華中科技大學(xué);2010年

2 劉潤(rùn)濤;基于序的空間數(shù)據(jù)索引及查詢算法研究[D];哈爾濱理工大學(xué);2009年

3 張

本文編號(hào)：337961