【摘要】：日益增長(zhǎng)的海量數(shù)據(jù)的有效管理已經(jīng)成為科學(xué)研究、工程以及信息服務(wù)等領(lǐng)域的巨大挑戰(zhàn)性問(wèn)題。海量數(shù)據(jù)對(duì)大規(guī)模網(wǎng)絡(luò)存儲(chǔ)環(huán)境提出了巨大的需求,使得現(xiàn)有的大規(guī)模網(wǎng)絡(luò)存儲(chǔ)技術(shù)在可擴(kuò)展性、高性能、并發(fā)、綜合效能、分布管理、安全可用、數(shù)據(jù)一致性以及可靠性等方面已經(jīng)不能滿足分布海量數(shù)據(jù)管理應(yīng)用的需要。因而,研究大規(guī)模網(wǎng)絡(luò)存儲(chǔ)技術(shù)具有重大的意義。本文對(duì)大規(guī)模網(wǎng)絡(luò)存儲(chǔ)環(huán)境涉及的數(shù)據(jù)布局、查詢優(yōu)化以及元數(shù)據(jù)負(fù)載均衡等關(guān)鍵技術(shù)進(jìn)行深入研究,提出了有效的解決方案和算法,主要的研究工作和創(chuàng)新點(diǎn)如下: (1)提出了一種面向多副本的自適應(yīng)數(shù)據(jù)布局算法RSEDP。 大規(guī)模存儲(chǔ)系統(tǒng)的可靠性和自適應(yīng)性面臨著重大的挑戰(zhàn),需要可靠、自適應(yīng)以及有效的數(shù)據(jù)布局算法,現(xiàn)有的研究只能部分滿足這些目標(biāo)。本文首先提出了一種可靠的副本數(shù)據(jù)布局算法RRDP和一種有效的自適應(yīng)數(shù)據(jù)布局算法SEDP,在此基礎(chǔ)上,將兩種算法相結(jié)合,提出了一個(gè)面向多副本的自適應(yīng)數(shù)據(jù)布局算法RSEDP,從而獲得可靠性、自適應(yīng)性和有效性。RRDP將相同的副本分配在不同的存儲(chǔ)設(shè)備上,避免相同的副本集中到相鄰的存儲(chǔ)設(shè)備上,獲得較高的冗余度和容錯(cuò)能力。SEDP算法將聚類算法與一致hash方法相結(jié)合,引入少量的虛擬存儲(chǔ)設(shè)備,大大減少了算法對(duì)存儲(chǔ)空間的消耗�？梢愿鶕�(jù)存儲(chǔ)設(shè)備的權(quán)重公平地分布數(shù)據(jù),自適應(yīng)系統(tǒng)的擴(kuò)展和縮減。為了利用RRDP和SEDP各自的優(yōu)點(diǎn),RSEDP根據(jù)數(shù)據(jù)的訪問(wèn)頻率將數(shù)據(jù)劃分為熱數(shù)據(jù)和冷數(shù)據(jù),熱數(shù)據(jù)采用RRDP布局,冷數(shù)據(jù)采用SEDP布局。理論和實(shí)驗(yàn)結(jié)果表明,RSEDP可以獲得較高的冗余度和容錯(cuò)能力,按照存儲(chǔ)設(shè)備的權(quán)重公平地分布數(shù)據(jù),自適應(yīng)存儲(chǔ)設(shè)備的增加和刪除,在存儲(chǔ)規(guī)模發(fā)生變化時(shí)遷移最優(yōu)的數(shù)據(jù)量,并且可以快速地定位數(shù)據(jù),對(duì)存儲(chǔ)空間的消耗較少。 (2)提出了一種高效的分層數(shù)據(jù)布局算法EHDP。 目前大部分的布局算法只能適應(yīng)單層模式,少數(shù)的多層模式對(duì)存儲(chǔ)設(shè)備配置有嚴(yán)格的要求,而且無(wú)法在常數(shù)時(shí)間內(nèi)定位數(shù)據(jù),自適應(yīng)性較差。本文提出了一種新的分層數(shù)據(jù)布局算法EHDP,首先使用最大最小聚類算法將存儲(chǔ)設(shè)備集合進(jìn)行分類,采用分而治之的方法管理大規(guī)模的存儲(chǔ)設(shè)備,支持靈活的存儲(chǔ)設(shè)備配置;然后使用本文提出的EFAH hash算法在集群間和集群內(nèi)分布數(shù)據(jù)。理論和實(shí)驗(yàn)結(jié)果表明:EHDP可以在常數(shù)時(shí)間內(nèi)定位數(shù)據(jù),從而減輕元數(shù)據(jù)服務(wù)器的計(jì)算量,避免性能瓶頸;同時(shí)可以在存儲(chǔ)設(shè)備之間較公平地分布數(shù)據(jù),達(dá)到I/O負(fù)載均衡的目的;而且在存儲(chǔ)設(shè)備集合變化時(shí),遷移較少的數(shù)據(jù)量以滿足數(shù)據(jù)再次分布的公平性,在平衡I/O負(fù)載的同時(shí)盡可能不影響存儲(chǔ)系統(tǒng)對(duì)外的服務(wù)性能。 (3)提出了面向不確定數(shù)據(jù)流的多個(gè)top-k查詢優(yōu)化算法。 在大規(guī)模網(wǎng)絡(luò)存儲(chǔ)的某些應(yīng)用中,數(shù)據(jù)以流的形式存在。由于外在的因素,不確定性是應(yīng)用數(shù)據(jù)流的固有特征。不確定數(shù)據(jù)流上的top-k查詢處理越來(lái)越重要,如何在多個(gè)top-k查詢之間共享結(jié)果是節(jié)省計(jì)算開(kāi)銷以及提供實(shí)時(shí)響應(yīng)的關(guān)鍵。然而,由于不確定top-k查詢處理的復(fù)雜語(yǔ)義,在多個(gè)top-k查詢之間共享結(jié)果面臨著重大挑戰(zhàn)。本文首次對(duì)單個(gè)top-k查詢處理的頻率上限進(jìn)行了定義,對(duì)多個(gè)top-k查詢的共享進(jìn)行了分類,提出了一個(gè)最優(yōu)的動(dòng)態(tài)規(guī)劃以及在時(shí)空上更有效的貪心算法來(lái)解決該共享問(wèn)題。使用理論分析證明了動(dòng)態(tài)規(guī)劃與不共享的性能上界,以及貪心算法與動(dòng)態(tài)規(guī)劃方法的性能下界。實(shí)驗(yàn)結(jié)果表明,本文提出的貪心算法在多數(shù)情況下可以找到最優(yōu)解,在訪問(wèn)延遲與吞吐量上可以達(dá)到與動(dòng)態(tài)規(guī)劃方法相同的性能;與不共享方法以及組內(nèi)共享方法相比,動(dòng)態(tài)規(guī)劃以及貪心算法使得執(zhí)行查詢時(shí)的計(jì)算開(kāi)銷大大減少,獲得高吞吐量和低訪問(wèn)延遲。 (4)提出了一種面向數(shù)據(jù)流的多個(gè)聚合查詢優(yōu)化算法。 大規(guī)模網(wǎng)絡(luò)存儲(chǔ)的很多應(yīng)用將數(shù)據(jù)流上的聚合查詢注冊(cè)到系統(tǒng)中,這些查詢具有不同的滑動(dòng)窗口大小以及不同的頻率上限,如何在查詢中共享計(jì)算結(jié)果面臨著挑戰(zhàn)。相關(guān)文獻(xiàn)首先提出了該問(wèn)題,使用最早截止時(shí)間優(yōu)先EDF方法。但是該方法沒(méi)有提出具體的優(yōu)化算法。本文對(duì)具有不同滑動(dòng)窗口大小和不同頻率上限的多個(gè)聚合查詢的優(yōu)化問(wèn)題進(jìn)行了形式化定義,提出了一個(gè)合并規(guī)則對(duì)查詢進(jìn)行分類。然后,提出有效的共享算法來(lái)求解查詢的執(zhí)行計(jì)劃,只要連續(xù)兩次執(zhí)行查詢的時(shí)間間隔不大于頻率上限,則查詢可以更頻繁地被執(zhí)行,從而使得更多的查詢能夠共享計(jì)算結(jié)果。考慮低載和超載兩種情況,本文將共享算法與EDF方法結(jié)合。實(shí)驗(yàn)結(jié)果表明,與不共享方法和EDF方法相比,本文提出的共享算法使得執(zhí)行查詢時(shí)掃描的元組數(shù)大大減少,得到較高的吞吐量以及較低的訪問(wèn)延遲。 (5)提出了一種自適應(yīng)的分布式元數(shù)據(jù)負(fù)載均衡算法ADMLB。 大規(guī)模存儲(chǔ)環(huán)境中元數(shù)據(jù)的負(fù)載均衡對(duì)于提高整個(gè)系統(tǒng)的I/O性能具有重要的作用�，F(xiàn)有的元數(shù)據(jù)負(fù)載均衡策略不能動(dòng)態(tài)地平衡元數(shù)據(jù)的訪問(wèn)負(fù)載,而且自適應(yīng)性和容錯(cuò)性有待提高。本文首先提出了基本的負(fù)載均衡算法(BBLA)和分布式的增量負(fù)載均衡算法(IBLA),在此基礎(chǔ)上,將兩種算法相結(jié)合,提出了自適應(yīng)的分布式元數(shù)據(jù)負(fù)載均衡算法(ADMLB)。采用基本的負(fù)載均衡算法(BBLA)按照服務(wù)器的性能公平地分布負(fù)載,使用分布式的負(fù)載均衡算法(IBLA)定時(shí)地調(diào)整負(fù)載的分布。ADMLB可以在元數(shù)據(jù)服務(wù)器之間均衡地分布負(fù)載,根據(jù)負(fù)載的變化自適應(yīng)地調(diào)整負(fù)載的分布,具有很好的容錯(cuò)性,而且可以很快地定位元數(shù)據(jù)服務(wù)器。
【圖文】：

圖 2.8 RSEDP 和 RR 的冗余度性特性來(lái)表示失效存儲(chǔ)設(shè)備上的副本在其他存?zhèn)涫r(shí)，其他存儲(chǔ)設(shè)備上存儲(chǔ)了該存儲(chǔ)設(shè)定位到其他存儲(chǔ)設(shè)備上。容錯(cuò)特性可以反映9 顯示了存儲(chǔ)設(shè)備 16 失效時(shí)，其副本在其他以看出，RSEDP 可以將存儲(chǔ)設(shè)備 16 上的負(fù)2.9(b)表示 CD 將存儲(chǔ)設(shè)備 16 的負(fù)載分散到了 RR 的容錯(cuò)特性，高柱子表示對(duì)應(yīng)的存儲(chǔ)低柱子表示相應(yīng)存儲(chǔ)設(shè)備上有較少的失效存RSEDP 的容錯(cuò)特性遠(yuǎn)遠(yuǎn)好于 CD，同時(shí)比 R

圖 2.8 RSEDP 和 RR 的冗余度2.3.2 容錯(cuò)特性我們使用容錯(cuò)特性來(lái)表示失效存儲(chǔ)設(shè)備上的副本在其他存儲(chǔ)設(shè)備上的分布情況。當(dāng)一個(gè)存儲(chǔ)設(shè)備失效時(shí)，其他存儲(chǔ)設(shè)備上存儲(chǔ)了該存儲(chǔ)設(shè)備的副本，，則該存儲(chǔ)設(shè)備上的負(fù)載被定位到其他存儲(chǔ)設(shè)備上。容錯(cuò)特性可以反映存儲(chǔ)設(shè)備失效時(shí)負(fù)載均衡情況。圖 2.9 顯示了存儲(chǔ)設(shè)備 16 失效時(shí)，其副本在其他存儲(chǔ)設(shè)備上的分配情況。從圖 2.9(a)可以看出，RSEDP 可以將存儲(chǔ)設(shè)備 16 上的負(fù)載公平地分配到其他存儲(chǔ)設(shè)備上。圖 2.9(b)表示 CD 將存儲(chǔ)設(shè)備 16 的負(fù)載分散到相鄰的 4 個(gè)存儲(chǔ)設(shè)備上。圖 2.9(c)顯示了 RR 的容錯(cuò)特性，高柱子表示對(duì)應(yīng)的存儲(chǔ)設(shè)備上有較多失效存儲(chǔ)設(shè)備上的負(fù)載，低柱子表示相應(yīng)存儲(chǔ)設(shè)備上有較少的失效存儲(chǔ)設(shè)備上的負(fù)載。從圖 2.9 可以看出，RSEDP 的容錯(cuò)特性遠(yuǎn)遠(yuǎn)好于 CD，同時(shí)比 RR 好。
【學(xué)位授予單位】：國(guó)防科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2011
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 唐偉;;校園網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J];科技信息;2011年19期

2 ;優(yōu)化設(shè)置 提高移動(dòng)存儲(chǔ)設(shè)備讀寫(xiě)速[J];計(jì)算機(jī)與網(wǎng)絡(luò);2010年02期

3 張智廣;;數(shù)據(jù)備份技術(shù)實(shí)用小探[J];太原城市職業(yè)技術(shù)學(xué)院學(xué)報(bào);2011年05期

4 吳繼偉;;加強(qiáng)移動(dòng)存儲(chǔ)設(shè)備管理的幾點(diǎn)思考[J];金融科技時(shí)代;2011年06期

5 肖小康;張東;賈慧強(qiáng);;基于CPLD/FPGA的USB讀寫(xiě)控制器[J];單片機(jī)與嵌入式系統(tǒng)應(yīng)用;2011年06期

6 劉曉普;杜彬彬;;企業(yè)數(shù)據(jù)存儲(chǔ)技術(shù)的分析[J];蘇鹽科技;2011年02期

7 三水;;全面防控Autorun病毒[J];個(gè)人電腦;2011年09期

8 曹春華;;U盤(pán)無(wú)法停用 請(qǐng)出軟件對(duì)付[J];電腦愛(ài)好者;2011年07期

9 孫遒;;基于UML的高校機(jī)房網(wǎng)絡(luò)存儲(chǔ)管理系統(tǒng)的設(shè)計(jì)[J];信息技術(shù);2011年06期

10 王勝川;;基于云計(jì)算的存儲(chǔ)技術(shù)研究[J];石油工業(yè)計(jì)算機(jī)應(yīng)用;2011年02期

相關(guān)會(huì)議論文 前10條

1 楊琳;;從電影《手機(jī)》想到個(gè)人短信加密[A];四川省通信學(xué)會(huì)2005年學(xué)術(shù)年會(huì)論文集[C];2005年

2 ;數(shù)字管道數(shù)據(jù)存儲(chǔ)、備份平臺(tái)建設(shè)[A];中國(guó)石油石化數(shù)字管道信息化建設(shè)論壇暨燃?xì)夤芫W(wǎng)安全、經(jīng)濟(jì)、運(yùn)營(yíng)技術(shù)交流研討會(huì)論文集[C];2009年

3 張成林;江文兵;;通訊存儲(chǔ)設(shè)備中硬盤(pán)振動(dòng)控制淺析[A];2011年機(jī)械電子學(xué)學(xué)術(shù)會(huì)議論文集[C];2011年

4 韓猛;何玉華;楊楠;;白云鄂博鐵礦計(jì)算機(jī)數(shù)據(jù)網(wǎng)絡(luò)存儲(chǔ)和備份的實(shí)現(xiàn)[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2010年會(huì)論文集[C];2010年

5 張學(xué)紅;劉志芳;;云存儲(chǔ)技術(shù)研究與探討[A];全國(guó)數(shù)字媒體技術(shù)專業(yè)建設(shè)與人才培養(yǎng)研討會(huì)論文集[C];2011年

6 馮振乾;蘇金樹(shù);張曉哲;;對(duì)象存儲(chǔ)研究[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國(guó)第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2007年

7 黃意安;;存儲(chǔ)系統(tǒng)在數(shù)字圖書(shū)館建設(shè)中的應(yīng)用分析[A];福建省圖書(shū)館學(xué)會(huì)2006年學(xué)術(shù)年會(huì)論文集[C];2006年

8 楊志;;淺談內(nèi)網(wǎng)移動(dòng)存儲(chǔ)設(shè)備的管控[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集（第二十二卷）[C];2007年

9 蔣澄瑛;;如何構(gòu)建一個(gè)實(shí)用的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)[A];中國(guó)造船工程學(xué)會(huì)’04 MIS/S&A學(xué)術(shù)交流會(huì)學(xué)術(shù)論文集[C];2004年

10 李超;邢春曉;石晶;周立柱;;面向海量信息管理的網(wǎng)絡(luò)化存儲(chǔ)研究綜述[A];第十九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2002年

相關(guān)重要報(bào)紙文章 前10條

1 ;為網(wǎng)絡(luò)存儲(chǔ)環(huán)境鑄造堅(jiān)實(shí)基礎(chǔ)[N];中國(guó)計(jì)算機(jī)報(bào);2003年

2 鄧侃;網(wǎng)絡(luò)存儲(chǔ)要分散[N];中國(guó)計(jì)算機(jī)報(bào);2002年

3 本報(bào)記者 李佳師;網(wǎng)絡(luò)存儲(chǔ)選擇什么？[N];中國(guó)電子報(bào);2001年

4 ;綠色 存儲(chǔ)解決方案評(píng)析[N];計(jì)算機(jī)世界;2008年

5 郭濤;網(wǎng)絡(luò)存儲(chǔ)互通才能暢通[N];中國(guó)計(jì)算機(jī)報(bào);2002年

6 本報(bào)記者 宋樂(lè)永 王臻;網(wǎng)絡(luò)存儲(chǔ)走向標(biāo)準(zhǔn)化、虛擬化[N];計(jì)算機(jī)世界;2005年

7 本報(bào)記者 郭濤;填補(bǔ)網(wǎng)絡(luò)存儲(chǔ)標(biāo)準(zhǔn)制定的空白[N];中國(guó)計(jì)算機(jī)報(bào);2009年

8 趙棟偉;網(wǎng)絡(luò)存儲(chǔ)的虛擬化之路[N];計(jì)算機(jī)世界;2004年

9 本報(bào)記者 郭平 張廣彬;這里是春天[N];計(jì)算機(jī)世界;2003年

10 賽迪顧問(wèn);融合是網(wǎng)絡(luò)存儲(chǔ)的方向[N];通信產(chǎn)業(yè)報(bào);2003年

相關(guān)博士學(xué)位論文 前10條

1 陳濤;大規(guī)模網(wǎng)絡(luò)存儲(chǔ)環(huán)境中的數(shù)據(jù)布局與查詢優(yōu)化技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

2 盧軍;高性能網(wǎng)絡(luò)存儲(chǔ)技術(shù)研究[D];電子科技大學(xué);2002年

3 覃靈軍;基于對(duì)象的主動(dòng)存儲(chǔ)關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2006年

4 鄧勁生;廣域網(wǎng)絡(luò)存儲(chǔ)虛擬化技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

5 鄧玉輝;基于網(wǎng)絡(luò)磁盤(pán)陣列的海量信息存儲(chǔ)系統(tǒng)[D];華中科技大學(xué);2004年

6 董曉明;對(duì)象屬性控制的存儲(chǔ)策略研究[D];華中科技大學(xué);2006年

7 何水兵;對(duì)象存儲(chǔ)控制器關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2009年

8 向東;iSCSI-SAN網(wǎng)絡(luò)異構(gòu)存儲(chǔ)系統(tǒng)管理策略的研究[D];華中科技大學(xué);2004年

9 秦磊華;存儲(chǔ)擴(kuò)展流量控制緩存分配策略研究[D];華中科技大學(xué);2007年

10 羅益輝;海量對(duì)象存儲(chǔ)系統(tǒng)數(shù)據(jù)組織算法的研究[D];華中科技大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 周臣云;異構(gòu)網(wǎng)絡(luò)存儲(chǔ)統(tǒng)一管理系統(tǒng)的設(shè)計(jì)[D];西安電子科技大學(xué);2009年

2 彭亮亮;基于IPv6的校園網(wǎng)絡(luò)存儲(chǔ)再生性的研究[D];西安電子科技大學(xué);2010年

3 張亦倩;高速網(wǎng)絡(luò)環(huán)境下的存儲(chǔ)系統(tǒng)研究[D];浙江大學(xué);2011年

4 劉璐;基于網(wǎng)絡(luò)存儲(chǔ)的自動(dòng)化測(cè)試平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2010年

5 呂松;對(duì)象存儲(chǔ)結(jié)點(diǎn)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2006年

6 李天翼;基于網(wǎng)絡(luò)存儲(chǔ)的web服務(wù)器集群系統(tǒng)的研究與實(shí)現(xiàn)[D];四川大學(xué);2003年

7 陳固彬;網(wǎng)絡(luò)存儲(chǔ)與容災(zāi)技術(shù)在ERP中的應(yīng)用與整合[D];廈門大學(xué);2009年

8 徐偉;網(wǎng)絡(luò)存儲(chǔ)在高校數(shù)字圖書(shū)館的設(shè)計(jì)與實(shí)現(xiàn)[D];南昌大學(xué);2010年

9 高靜;基于iSCSI的IP SAN的研究與實(shí)現(xiàn)[D];哈爾濱工程大學(xué);2007年

10 李小利;基于InfiniBand的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)結(jié)構(gòu)與卷分配策略研究[D];湖南大學(xué);2008年

本文編號(hào)：2674544