【摘要】：隨著技術(shù)的發(fā)展與信息數(shù)字化的推進(jìn)，大量的數(shù)據(jù)需要被永久存儲(chǔ)，而且存儲(chǔ)的容量也呈指數(shù)上升。在海量數(shù)據(jù)的時(shí)代，如何有效存儲(chǔ)大規(guī)模數(shù)據(jù)，并且提供常用接口是一個(gè)研究的熱點(diǎn)。結(jié)構(gòu)化數(shù)據(jù)發(fā)展多年，形成了大家都易于接受的接口和一系列標(biāo)準(zhǔn)，但是關(guān)系型數(shù)據(jù)其存儲(chǔ)容量的限制使得它很難適應(yīng)海量數(shù)據(jù)的需求。 本文通過對(duì)分布式存儲(chǔ)技術(shù)的分析研究，結(jié)合當(dāng)前的主流存儲(chǔ)相關(guān)的產(chǎn)品的設(shè)計(jì)思路與應(yīng)用需求，提出了海量結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的一套合理的解決方案，并且實(shí)現(xiàn)了一個(gè)結(jié)構(gòu)化存儲(chǔ)系統(tǒng)。系統(tǒng)利用分布式思想，將結(jié)構(gòu)化數(shù)據(jù)分拆成很多分片，各個(gè)分片獨(dú)立存儲(chǔ)在不同的存儲(chǔ)節(jié)點(diǎn)之上，充分利用各個(gè)節(jié)點(diǎn)的存儲(chǔ)資源。 論文的主要研究工作為以下幾點(diǎn)： 1、結(jié)構(gòu)化存儲(chǔ)系統(tǒng)的設(shè)計(jì)，利用分布式思想，將系統(tǒng)分別部署在多個(gè)節(jié)點(diǎn)之上，然后將對(duì)數(shù)據(jù)的操作分割成多個(gè)相互較為獨(dú)立的子過程，然后由各個(gè)獨(dú)立部署的服務(wù)節(jié)點(diǎn)完成相應(yīng)的功能。 2、系統(tǒng)元數(shù)據(jù)集群的設(shè)計(jì)實(shí)現(xiàn)。使用集群技術(shù)來存儲(chǔ)海量的元數(shù)據(jù)信息，以滿足整個(gè)系統(tǒng)的存儲(chǔ)需求，利用Epoll非阻塞的通信技術(shù)提高系統(tǒng)的網(wǎng)絡(luò)吞吐量，，避免由于元數(shù)據(jù)集群的讀寫性能成為制約整個(gè)系統(tǒng)性能的瓶頸。同時(shí)實(shí)現(xiàn)集群內(nèi)部的負(fù)載均衡調(diào)度，根據(jù)集群本身的特點(diǎn)，通過集中式的調(diào)度管理策略來實(shí)現(xiàn)整個(gè)集群內(nèi)部的訪問熱點(diǎn)和存儲(chǔ)的負(fù)載均衡。 3、系統(tǒng)元數(shù)據(jù)集群的容錯(cuò)設(shè)計(jì)實(shí)現(xiàn)。為元數(shù)據(jù)集群設(shè)計(jì)副本冗余和雙機(jī)熱備冗余相結(jié)合的容錯(cuò)方案，其中對(duì)調(diào)度節(jié)點(diǎn)實(shí)現(xiàn)雙機(jī)熱備冗余的容錯(cuò)系統(tǒng)，對(duì)存儲(chǔ)節(jié)點(diǎn)實(shí)現(xiàn)多副本控制的容錯(cuò)方案，提高集群的可靠性和健壯性。 通過功能測(cè)試和壓力測(cè)試的數(shù)據(jù)表明，整個(gè)結(jié)構(gòu)化存儲(chǔ)系統(tǒng)的功能完整，在壓力情況之下，系統(tǒng)能夠正常運(yùn)行，且能夠在較為合理的時(shí)延下完成大規(guī)模用戶對(duì)系統(tǒng)的操作請(qǐng)求。
【圖文】：

業(yè)務(wù)發(fā)展的需求，提出了很多設(shè)計(jì)理念，如在 gfs 中節(jié)點(diǎn)的失效不在被認(rèn)為是異常，節(jié)點(diǎn)的失效需要系統(tǒng)自身進(jìn)行處理和維護(hù)；對(duì)于海量存儲(chǔ)來說，預(yù)先了解系統(tǒng)運(yùn)用環(huán)境中的讀寫比例可以利用優(yōu)化得到更好的系統(tǒng)性能，而在 GFS 中，文件系統(tǒng)的大部分操作都是大規(guī)模的讀操作，系統(tǒng)對(duì)于大數(shù)據(jù)量的寫操作性能出色。GFS 存儲(chǔ)集群由一個(gè)單獨(dú)的元數(shù)據(jù)主節(jié)點(diǎn)（master）和多個(gè)負(fù)責(zé)存儲(chǔ)的塊服務(wù)器（chunkserver）組成，可同時(shí)并發(fā)的對(duì)多個(gè)客戶端（client）提供服務(wù)。在 GFS中，每一個(gè) chunkserver 節(jié)點(diǎn)都可以是部署在普通 PC 機(jī)上的服務(wù)器進(jìn)程，從而降低系統(tǒng)的硬件要求。在存儲(chǔ)集群中，每一個(gè)文件都被拆分成固定大小的塊（chunk），而且沒有chunk都有全局唯一標(biāo)示，chunkserver在本地存儲(chǔ)這些chunk時(shí)利用linux文件系統(tǒng)自身讀寫保存這些塊，和保存普通文件一樣，為了應(yīng)對(duì)系統(tǒng)的異常情況，對(duì)每一個(gè) chunk 都會(huì)有副本存在，而根據(jù)系統(tǒng)對(duì)健壯性的要求不同，其副本數(shù)是可以配置的，一般情況下保存 3 個(gè) chunk 副本。其架構(gòu)如圖 2-1 所示[5]：

圖 2-2 BigTable 網(wǎng)頁存儲(chǔ)示意BigTable 中的行關(guān)鍵字可以是 64KB 以內(nèi)的任意字符，而且對(duì)于相同行關(guān)鍵字的讀寫操作都是原子性的，這樣可以使系統(tǒng)在對(duì)同一個(gè)行進(jìn)行并發(fā)操作時(shí)的性能更好，操作和維護(hù)更加容易。BigTable 的行關(guān)鍵字是采用字典順序來組織的，每一個(gè)獨(dú)立的分區(qū)被稱為一個(gè)Tablet，它是數(shù)據(jù)分布和負(fù)載均衡的最小單元。這樣組織之后，讀取行中某幾列數(shù)據(jù)的操作效率很高，而且用戶通過對(duì)行關(guān)鍵字進(jìn)行優(yōu)化存儲(chǔ)，可以使得數(shù)據(jù)的位置具有很好的邏輯相關(guān)性。BigTable 的列關(guān)鍵字的集合被稱為“列族”，是訪問控制的基本單元，相同列族下存儲(chǔ)的數(shù)據(jù)具有相同的數(shù)據(jù)類型。在使用過程中，列族必須先創(chuàng)建，之后才可以在列族下存儲(chǔ)數(shù)據(jù)。BigTable 使用時(shí)間戳來標(biāo)記不同的數(shù)據(jù)版本，同時(shí)不同數(shù)據(jù)版本之間也使用時(shí)間戳來作為索引，它是一個(gè) 64 位的整形，每一個(gè)版本都有一個(gè)唯一的時(shí)間戳，同時(shí)都按照時(shí)間戳排列，最新最近的放在最前面。
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類號(hào)】：TP333;TP311.52

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄧華梅;李肖鋒;袁海平;;關(guān)于XML數(shù)據(jù)的存儲(chǔ)研究[J];科技情報(bào)開發(fā)與經(jīng)濟(jì);2008年24期

2 ;OCLC開始新的元數(shù)據(jù)試驗(yàn)計(jì)劃[J];現(xiàn)代圖書情報(bào)技術(shù);2008年06期

3 楊磊;;基于NoSQL數(shù)據(jù)庫(kù)的結(jié)構(gòu)化存儲(chǔ)設(shè)計(jì)與應(yīng)用[J];科技風(fēng);2011年18期

4 楊占東;;應(yīng)用XML DB的空間元數(shù)據(jù)存儲(chǔ)技術(shù)[J];地理空間信息;2010年03期

5 劉煒;;“元數(shù)據(jù)與語義技術(shù)和社會(huì)性應(yīng)用”專輯:都柏林核心元數(shù)據(jù)2008年會(huì)論文選譯[J];現(xiàn)代圖書情報(bào)技術(shù);2009年03期

6 王旭初,張根保;基于COM原理的可重構(gòu)CAPP工藝文件的結(jié)構(gòu)化存儲(chǔ)[J];組合機(jī)床與自動(dòng)化加工技術(shù);2004年05期

7 廖邦富;胡安邦;;電子病歷的結(jié)構(gòu)化組織和自由化輸入的方法[J];中國(guó)數(shù)字醫(yī)學(xué);2008年03期

8 傅西平;簡(jiǎn)論OCLC元數(shù)據(jù)服務(wù)的動(dòng)態(tài)與啟示[J];江西圖書館學(xué)刊;2002年04期

9 ;OCLC為出版商啟動(dòng)元數(shù)據(jù)服務(wù)[J];現(xiàn)代圖書情報(bào)技術(shù);2009年11期

10 張紅躍,王漢林,呂良君;COM技術(shù)在保護(hù)調(diào)試軟件中的應(yīng)用[J];繼電器;2005年06期

相關(guān)會(huì)議論文 前10條

1 劉群;馮丹;;基于層次結(jié)構(gòu)的元數(shù)據(jù)動(dòng)態(tài)管理方法的研究[A];第15屆全國(guó)信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

2 王蜀安;張銘;王愛華;楊冬青;;構(gòu)建基于OAI協(xié)議的可互操作數(shù)字圖書館元數(shù)據(jù)服務(wù)[A];第十九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

3 翟曙光;;一種實(shí)用的組件式GIS的設(shè)計(jì)方法[A];'2005數(shù)字江蘇論壇——電子政務(wù)與地理信息技術(shù)論文專輯[C];2005年

4 翟曙光;;一種實(shí)用的組件式GIS的設(shè)計(jì)方法[A];'2005數(shù)字江蘇論壇電子政務(wù)與地理信息技術(shù)論文專輯[C];2005年

5 張銘;楊冬青;王蜀安;鄧志鴻;唐世渭;;支持元數(shù)據(jù)和服務(wù)的可互操作數(shù)字圖書館框架[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2003年

6 單廣榮;于洪志;戴玉剛;曹暉;;藏文古籍保護(hù)技術(shù)的體系結(jié)構(gòu)與元數(shù)據(jù)方案建設(shè)[A];民族語言文字信息技術(shù)研究——第十一屆全國(guó)民族語言文字信息學(xué)術(shù)研討會(huì)論文集[C];2007年

7 萬甜甜;劉強(qiáng);董海良;;西南資源環(huán)境信息元數(shù)據(jù)研究[A];第四屆海峽兩岸GIS發(fā)展研討會(huì)暨中國(guó)GIS協(xié)會(huì)第十屆年會(huì)論文集[C];2006年

8 王漢林;徐卓;史偉;;COM技術(shù)在電能質(zhì)量在線監(jiān)測(cè)軟件中的應(yīng)用[A];2006中國(guó)電力系統(tǒng)保護(hù)與控制學(xué)術(shù)研討會(huì)論文集[C];2006年

9 袁博;李明峰;;GIgateway地理數(shù)據(jù)服務(wù)模式初探[A];第四屆海峽兩岸GIS發(fā)展研討會(huì)暨中國(guó)GIS協(xié)會(huì)第十屆年會(huì)論文集[C];2006年

10 趙慶齡;沈倫;;數(shù)據(jù)庫(kù)服務(wù)器虛——實(shí)雙機(jī)熱備在圖書館建設(shè)中的應(yīng)用[A];華北地區(qū)高校圖協(xié)第二十四屆學(xué)術(shù)年會(huì)論文（文章）匯編[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 徐楓邋宦茂盛;元數(shù)據(jù)檢索按圖索驥[N];計(jì)算機(jī)世界;2007年

2 易水;計(jì)算機(jī)選讀(959)[N];計(jì)算機(jī)世界;2005年

3 ;認(rèn)識(shí)雙機(jī)熱備[N];電腦報(bào);2007年

4 程妙玉;雙機(jī)熱備知多少[N];金融時(shí)報(bào);2005年

5 ;IBM雙機(jī)熱備高可用性方案[N];中國(guó)計(jì)算機(jī)報(bào);2002年

6 尚星;“風(fēng)云”背后的雙機(jī)熱備[N];計(jì)算機(jī)世界;2002年

7 李明凱;PC SERVER雙機(jī)熱備[N];中國(guó)計(jì)算機(jī)報(bào);2002年

8 ;雙機(jī)熱備 可靠安全[N];中國(guó)計(jì)算機(jī)報(bào);2002年

9 劉毅;24小時(shí)安全在線從雙機(jī)熱備開始[N];中國(guó)計(jì)算機(jī)報(bào);2008年

10 ;雙機(jī)熱備 不間斷運(yùn)作[N];計(jì)算機(jī)世界;2003年

相關(guān)博士學(xué)位論文 前10條

1 王娟;對(duì)象存儲(chǔ)系統(tǒng)中元數(shù)據(jù)管理研究[D];華中科技大學(xué);2010年

2 陳平;數(shù)據(jù)挖掘網(wǎng)格若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2007年

3 蘇勇;iSCSI OSD存儲(chǔ)系統(tǒng)端到端服務(wù)質(zhì)量支持策略研究[D];華中科技大學(xué);2008年

4 熊慕舟;基于網(wǎng)格計(jì)算的分布式數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

5 劉煒;基于本體的數(shù)字圖書館語義互操作[D];復(fù)旦大學(xué);2006年

6 彭春華;網(wǎng)格移動(dòng)定位服務(wù)及關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2007年

7 李冰;云計(jì)算環(huán)境下動(dòng)態(tài)資源管理關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年

8 袁燕妮;基于本體的電信產(chǎn)品信息融合服務(wù)框架研究與實(shí)踐[D];北京郵電大學(xué);2008年

9 錢迎進(jìn);大規(guī)模Lustre集群文件系統(tǒng)關(guān)鍵技術(shù)的研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

10 劉瑰;面向海量信息處理領(lǐng)域的數(shù)據(jù)網(wǎng)格及其關(guān)鍵技術(shù)研究[D];解放軍信息工程大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 胡品芳;結(jié)構(gòu)化存儲(chǔ)系統(tǒng)中元數(shù)據(jù)集群的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2012年

2 姚小樂;新加坡框架下的元數(shù)據(jù)服務(wù)研究[D];華東師范大學(xué);2010年

3 楊金瑩;科技資源數(shù)據(jù)庫(kù)元數(shù)據(jù)注冊(cè)與使用[D];石家莊鐵道學(xué)院;2009年

4 許鑫;基于元數(shù)據(jù)的農(nóng)田信息存儲(chǔ)、管理和共享研究[D];河南農(nóng)業(yè)大學(xué);2011年

5 劉文博;水土保持元數(shù)據(jù)及關(guān)鍵技術(shù)研究[D];北京林業(yè)大學(xué);2012年

6 吳彬;基于元數(shù)據(jù)的生態(tài)數(shù)據(jù)管理和信息共享[D];中南林業(yè)科技大學(xué);2008年

7 李志國(guó);基于J2EE的元數(shù)據(jù)注冊(cè)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京交通大學(xué);2011年

8 黎臻;分布式結(jié)構(gòu)化存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

9 袁俊超;G/S模式下分布式空間數(shù)據(jù)服務(wù)器群中的元數(shù)據(jù)組織與管理[D];成都理工大學(xué);2010年

10 詹利群;基于元數(shù)據(jù)的氣象科學(xué)數(shù)據(jù)共享平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2010年

本文編號(hào)：2581938