發(fā)布時間：2017-05-01 01:11

  本文關(guān)鍵詞：一種云存儲名字空間架構(gòu)的研究與設(shè)計，，由筆耕文化傳播整理發(fā)布。

【摘要】：互聯(lián)網(wǎng)的發(fā)展引領(lǐng)IT領(lǐng)域進入到大數(shù)據(jù)時代。在這樣的背景下,海量數(shù)據(jù)呈現(xiàn)爆炸性增長,無論是個人還是企業(yè),對廉價優(yōu)質(zhì)的海量存儲空間的需求都在與日俱增。個云存儲系統(tǒng)的名字空間架構(gòu)設(shè)計好壞直接決定著一個系統(tǒng)的擴展能力、存儲空間、服務(wù)質(zhì)量和管理成本等�，F(xiàn)有的云存儲產(chǎn)品普遍使用構(gòu)建具有集中性質(zhì)的大規(guī)模數(shù)據(jù)中心來實現(xiàn)“云”的理念,但是在數(shù)據(jù)量過快增長的趨勢下也將面對管理復(fù)雜度增加、擴展受限制、成本過高且服務(wù)質(zhì)量下降等問題。 本文對目前各類經(jīng)典的大規(guī)模數(shù)據(jù)存儲系統(tǒng)的名字空間進行了深入的學(xué)習(xí)和研究,發(fā)現(xiàn)易管理的系統(tǒng)普遍存在物理或邏輯主控結(jié)構(gòu)而擴展性受限的問題,而理論上擴展性良好的系統(tǒng)卻又因為維護成本過高而實用性不強。本文通過權(quán)衡各類方案的優(yōu)缺點,設(shè)計了一個可以自由伸縮、無限擴展、提供快速存儲和檢索文件服務(wù)的云存儲架構(gòu)。 為了以較低的成本充分整合互聯(lián)網(wǎng)上的存儲資源以獲得可無限擴展的透明存儲空間,本文的私有文件管理子層利用IPv6地址前綴自動聚類的性質(zhì)將分布廣泛、數(shù)目較多的存儲單元聚合為獨立的子域,子域之間通過一致性哈希維護。用戶將文件就近存放在子域中可以獲得較小的網(wǎng)絡(luò)延時；每個獨立子域之間的文件存儲并行執(zhí)行,可以有效提高系統(tǒng)吞吐量。為了對海量的私有文件管理子層中的文件提供高效索引,本文中的共享文件管理子層設(shè)計了一種分布式多維索引LSH-K-D Forest。該索引首先通過基于地址敏感哈希LSH的方法對海量數(shù)據(jù)的文件名相似度分類成Bucket,然后再對Bucket按文件屬性構(gòu)建多維索引進一步劃分Bucket中的文件。通過上述兩級的數(shù)據(jù)劃分可以為每一個文件檢索過濾掉大部分無關(guān)文件,大幅收斂文件檢索空間,提升文件檢索效率。并且,多維檢索樹的使用還使得共享文件管理子層支持各種海量數(shù)據(jù)高效多維檢索方式。經(jīng)過算法分析和實驗驗證,證明本文設(shè)計的名字空間架構(gòu)具有一定的優(yōu)勢和實用性。
【關(guān)鍵詞】：云存儲 IPv6 一致性哈希 地址敏感哈希 多維檢索 高擴展
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要4-5
• Abstract5-9
• 1 緒論9-12
• 1.1 課題背景及意義9-10
• 1.1.1 國內(nèi)外研究現(xiàn)狀9
• 1.1.2 研究意義9-10
• 1.2 本文主要工作10-11
• 1.3 本文結(jié)構(gòu)11-12
• 2 相關(guān)技術(shù)研究12-22
• 2.1 大規(guī)模數(shù)據(jù)存儲系統(tǒng)介紹12-14
• 2.1.1 Google File System12-13
• 2.1.2 Gluster File System13-14
• 2.1.3 OpenStack Swift14
• 2.2 存儲的類型14-15
• 2.2.1 基于塊的存儲14-15
• 2.2.2 基于文件的存儲15
• 2.2.3 基于對象的存儲15
• 2.3 一致性哈希算法15-18
• 2.3.1 基本一致性哈希算法16-18
• 2.3.2 改進一致性哈希算法18
• 2.4 地址敏感哈希18-20
• 2.5 多維檢索樹20-22
• 3 EndlessStore的總體設(shè)計22-33
• 3.1 EndlessStore設(shè)計目標22-23
• 3.2 EndlessStore架構(gòu)設(shè)計23-33
• 3.2.1 總體架構(gòu)概述23-26
• 3.2.2 私有文件管理子層26-28
• 3.2.3 共享文件管理子層28-30
• 3.2.4 總體關(guān)系構(gòu)建30-33
• 4 EndlessStore的詳細設(shè)計33-49
• 4.1 數(shù)據(jù)存儲管理層的實現(xiàn)33-37
• 4.1.1 PNN的管理33-35
• 4.1.2 數(shù)據(jù)存儲關(guān)系構(gòu)建35-37
• 4.2 共享文件名字空間的實現(xiàn)37-44
• 4.2.1 SNN的管理37-38
• 4.2.2 LSH-K-D Forest索引構(gòu)建38-44
• 4.3 算法性能分析44-46
• 4.3.1 物理架構(gòu)算法性能44-45
• 4.3.2 邏輯架構(gòu)算法性能45-46
• 4.4 EndlessStore的讀寫流程46-49
• 5 實驗及結(jié)果分析49-53
• 5.1 實驗環(huán)境49
• 5.2 實驗結(jié)果分析及系統(tǒng)性能49-53
• 5.2.1 存儲節(jié)點聚類優(yōu)化分析49-51
• 5.2.2 LSH-K-D Forest索引性能分析51-53
• 結(jié)論53-54
• 參考文獻54-57
• 致謝57-58

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 胡波;;空間索引技術(shù)及其應(yīng)用研究[J];赤峰學(xué)院學(xué)報(自然科學(xué)版);2009年11期

2 單國慧;鄧偉群;華一新;龐園園;;IMPWPT運動目標時空索引的設(shè)計與實現(xiàn)[J];測繪科學(xué);2011年03期

3 左小清;李清泉;;一種面向道路網(wǎng)3維數(shù)據(jù)的空間索引方法[J];測繪學(xué)報;2006年01期

4 閻超德,趙學(xué)勝;GIS空間索引方法述評[J];地理與地理信息科學(xué);2004年04期

5 趙元;張新長;康停軍;;多叉樹蟻群算法及在區(qū)位選址中的應(yīng)用研究[J];地理學(xué)報;2011年02期

6 別志銘;辛勇軍;;智能配網(wǎng)3D監(jiān)控系統(tǒng)[J];電氣技術(shù);2010年08期

7 李明海;陳宜金;;基于WebGIS的銀行自助設(shè)備管理系統(tǒng)的設(shè)計和實現(xiàn)[J];地理空間信息;2006年05期

8 章斌全;;基于四叉樹的平面矢量圖對比方法優(yōu)化[J];電腦開發(fā)與應(yīng)用;2013年01期

9 李紅;;基于Google Bigtable的海量數(shù)據(jù)存儲探索[J];鞍山師范學(xué)院學(xué)報;2013年04期

10 唐宏;;基于MapReduce的大規(guī)模流量分析系統(tǒng)的設(shè)計[J];電信科學(xué);2013年12期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 涂丹丹;向琳;左德承;楊孝宗;;移動對象數(shù)據(jù)庫管理技術(shù)[A];黑龍江省計算機學(xué)會2007年學(xué)術(shù)交流年會論文集[C];2007年

2 于利勝;張倩;王珊;張延松;;RR_tree:多維索引的關(guān)系模式實現(xiàn)新方法[A];第26屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（A輯）[C];2009年

3 李佳佳;王波濤;陳東;喜連川優(yōu);王國仁;;分組移動對象的區(qū)域偏離監(jiān)視算法[A];NDBC2010第27屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集A輯二[C];2010年

4 祁昊穎;;大數(shù)據(jù)時代電信運營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進展論文集[C];2014年

5 徐子偉;張陳斌;陳宗海;;大數(shù)據(jù)技術(shù)概述[A];系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)論文集（第15卷）[C];2014年

6 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

7 汪中琳;喬自知;郭景贊;;移動運維支撐系統(tǒng)的互聯(lián)網(wǎng)思維重構(gòu)[A];2014全國無線及移動通信學(xué)術(shù)大會論文集[C];2014年

8 鄭誠;張堅盛;林淳;蔡永全;;基于NAS的企業(yè)數(shù)據(jù)存儲平臺研究與應(yīng)用[A];2014電力行業(yè)信息化年會論文集[C];2014年

9 祁昊穎;;大數(shù)據(jù)時代電信運營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進展論文集[C];2014年

10 鄭誠;張堅盛;林淳;蔡永全;;基于NAS的企業(yè)數(shù)據(jù)存儲平臺研究與應(yīng)用[A];軟件定義 面向未來——2014電力行業(yè)信息化年會論文集[C];2014年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 許滸;時空數(shù)據(jù)庫聚集查詢算法研究[D];華中科技大學(xué);2010年

2 劉潤濤;基于序的空間數(shù)據(jù)索引及查詢算法研究[D];哈爾濱理工大學(xué);2009年

3 張

本文編號：337961