【摘要】：日益增長的海量數(shù)據(jù)的有效管理已經(jīng)成為科學研究、工程以及信息服務等領域的巨大挑戰(zhàn)性問題。海量數(shù)據(jù)對大規(guī)模網(wǎng)絡存儲環(huán)境提出了巨大的需求,使得現(xiàn)有的大規(guī)模網(wǎng)絡存儲技術在可擴展性、高性能、并發(fā)、綜合效能、分布管理、安全可用、數(shù)據(jù)一致性以及可靠性等方面已經(jīng)不能滿足分布海量數(shù)據(jù)管理應用的需要。因而,研究大規(guī)模網(wǎng)絡存儲技術具有重大的意義。本文對大規(guī)模網(wǎng)絡存儲環(huán)境涉及的數(shù)據(jù)布局、查詢優(yōu)化以及元數(shù)據(jù)負載均衡等關鍵技術進行深入研究,提出了有效的解決方案和算法,主要的研究工作和創(chuàng)新點如下: (1)提出了一種面向多副本的自適應數(shù)據(jù)布局算法RSEDP。 大規(guī)模存儲系統(tǒng)的可靠性和自適應性面臨著重大的挑戰(zhàn),需要可靠、自適應以及有效的數(shù)據(jù)布局算法,現(xiàn)有的研究只能部分滿足這些目標。本文首先提出了一種可靠的副本數(shù)據(jù)布局算法RRDP和一種有效的自適應數(shù)據(jù)布局算法SEDP,在此基礎上,將兩種算法相結合,提出了一個面向多副本的自適應數(shù)據(jù)布局算法RSEDP,從而獲得可靠性、自適應性和有效性。RRDP將相同的副本分配在不同的存儲設備上,避免相同的副本集中到相鄰的存儲設備上,獲得較高的冗余度和容錯能力。SEDP算法將聚類算法與一致hash方法相結合,引入少量的虛擬存儲設備,大大減少了算法對存儲空間的消耗。可以根據(jù)存儲設備的權重公平地分布數(shù)據(jù),自適應系統(tǒng)的擴展和縮減。為了利用RRDP和SEDP各自的優(yōu)點,RSEDP根據(jù)數(shù)據(jù)的訪問頻率將數(shù)據(jù)劃分為熱數(shù)據(jù)和冷數(shù)據(jù),熱數(shù)據(jù)采用RRDP布局,冷數(shù)據(jù)采用SEDP布局。理論和實驗結果表明,RSEDP可以獲得較高的冗余度和容錯能力,按照存儲設備的權重公平地分布數(shù)據(jù),自適應存儲設備的增加和刪除,在存儲規(guī)模發(fā)生變化時遷移最優(yōu)的數(shù)據(jù)量,并且可以快速地定位數(shù)據(jù),對存儲空間的消耗較少。 (2)提出了一種高效的分層數(shù)據(jù)布局算法EHDP。 目前大部分的布局算法只能適應單層模式,少數(shù)的多層模式對存儲設備配置有嚴格的要求,而且無法在常數(shù)時間內定位數(shù)據(jù),自適應性較差。本文提出了一種新的分層數(shù)據(jù)布局算法EHDP,首先使用最大最小聚類算法將存儲設備集合進行分類,采用分而治之的方法管理大規(guī)模的存儲設備,支持靈活的存儲設備配置;然后使用本文提出的EFAH hash算法在集群間和集群內分布數(shù)據(jù)。理論和實驗結果表明:EHDP可以在常數(shù)時間內定位數(shù)據(jù),從而減輕元數(shù)據(jù)服務器的計算量,避免性能瓶頸;同時可以在存儲設備之間較公平地分布數(shù)據(jù),達到I/O負載均衡的目的;而且在存儲設備集合變化時,遷移較少的數(shù)據(jù)量以滿足數(shù)據(jù)再次分布的公平性,在平衡I/O負載的同時盡可能不影響存儲系統(tǒng)對外的服務性能。 (3)提出了面向不確定數(shù)據(jù)流的多個top-k查詢優(yōu)化算法。 在大規(guī)模網(wǎng)絡存儲的某些應用中,數(shù)據(jù)以流的形式存在。由于外在的因素,不確定性是應用數(shù)據(jù)流的固有特征。不確定數(shù)據(jù)流上的top-k查詢處理越來越重要,如何在多個top-k查詢之間共享結果是節(jié)省計算開銷以及提供實時響應的關鍵。然而,由于不確定top-k查詢處理的復雜語義,在多個top-k查詢之間共享結果面臨著重大挑戰(zhàn)。本文首次對單個top-k查詢處理的頻率上限進行了定義,對多個top-k查詢的共享進行了分類,提出了一個最優(yōu)的動態(tài)規(guī)劃以及在時空上更有效的貪心算法來解決該共享問題。使用理論分析證明了動態(tài)規(guī)劃與不共享的性能上界,以及貪心算法與動態(tài)規(guī)劃方法的性能下界。實驗結果表明,本文提出的貪心算法在多數(shù)情況下可以找到最優(yōu)解,在訪問延遲與吞吐量上可以達到與動態(tài)規(guī)劃方法相同的性能;與不共享方法以及組內共享方法相比,動態(tài)規(guī)劃以及貪心算法使得執(zhí)行查詢時的計算開銷大大減少,獲得高吞吐量和低訪問延遲。 (4)提出了一種面向數(shù)據(jù)流的多個聚合查詢優(yōu)化算法。 大規(guī)模網(wǎng)絡存儲的很多應用將數(shù)據(jù)流上的聚合查詢注冊到系統(tǒng)中,這些查詢具有不同的滑動窗口大小以及不同的頻率上限,如何在查詢中共享計算結果面臨著挑戰(zhàn)。相關文獻首先提出了該問題,使用最早截止時間優(yōu)先EDF方法。但是該方法沒有提出具體的優(yōu)化算法。本文對具有不同滑動窗口大小和不同頻率上限的多個聚合查詢的優(yōu)化問題進行了形式化定義,提出了一個合并規(guī)則對查詢進行分類。然后,提出有效的共享算法來求解查詢的執(zhí)行計劃,只要連續(xù)兩次執(zhí)行查詢的時間間隔不大于頻率上限,則查詢可以更頻繁地被執(zhí)行,從而使得更多的查詢能夠共享計算結果�？紤]低載和超載兩種情況,本文將共享算法與EDF方法結合。實驗結果表明,與不共享方法和EDF方法相比,本文提出的共享算法使得執(zhí)行查詢時掃描的元組數(shù)大大減少,得到較高的吞吐量以及較低的訪問延遲。 (5)提出了一種自適應的分布式元數(shù)據(jù)負載均衡算法ADMLB。 大規(guī)模存儲環(huán)境中元數(shù)據(jù)的負載均衡對于提高整個系統(tǒng)的I/O性能具有重要的作用�，F(xiàn)有的元數(shù)據(jù)負載均衡策略不能動態(tài)地平衡元數(shù)據(jù)的訪問負載,而且自適應性和容錯性有待提高。本文首先提出了基本的負載均衡算法(BBLA)和分布式的增量負載均衡算法(IBLA),在此基礎上,將兩種算法相結合,提出了自適應的分布式元數(shù)據(jù)負載均衡算法(ADMLB)。采用基本的負載均衡算法(BBLA)按照服務器的性能公平地分布負載,使用分布式的負載均衡算法(IBLA)定時地調整負載的分布。ADMLB可以在元數(shù)據(jù)服務器之間均衡地分布負載,根據(jù)負載的變化自適應地調整負載的分布,具有很好的容錯性,而且可以很快地定位元數(shù)據(jù)服務器。
【圖文】：

圖 2.8 RSEDP 和 RR 的冗余度性特性來表示失效存儲設備上的副本在其他存?zhèn)涫r，其他存儲設備上存儲了該存儲設定位到其他存儲設備上。容錯特性可以反映9 顯示了存儲設備 16 失效時，其副本在其他以看出，RSEDP 可以將存儲設備 16 上的負2.9(b)表示 CD 將存儲設備 16 的負載分散到了 RR 的容錯特性，高柱子表示對應的存儲低柱子表示相應存儲設備上有較少的失效存RSEDP 的容錯特性遠遠好于 CD，同時比 R

圖 2.8 RSEDP 和 RR 的冗余度2.3.2 容錯特性我們使用容錯特性來表示失效存儲設備上的副本在其他存儲設備上的分布情況。當一個存儲設備失效時，其他存儲設備上存儲了該存儲設備的副本，，則該存儲設備上的負載被定位到其他存儲設備上。容錯特性可以反映存儲設備失效時負載均衡情況。圖 2.9 顯示了存儲設備 16 失效時，其副本在其他存儲設備上的分配情況。從圖 2.9(a)可以看出，RSEDP 可以將存儲設備 16 上的負載公平地分配到其他存儲設備上。圖 2.9(b)表示 CD 將存儲設備 16 的負載分散到相鄰的 4 個存儲設備上。圖 2.9(c)顯示了 RR 的容錯特性，高柱子表示對應的存儲設備上有較多失效存儲設備上的負載，低柱子表示相應存儲設備上有較少的失效存儲設備上的負載。從圖 2.9 可以看出，RSEDP 的容錯特性遠遠好于 CD，同時比 RR 好。
【學位授予單位】：國防科學技術大學
【學位級別】：博士
【學位授予年份】：2011
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 唐偉;;校園網(wǎng)絡存儲系統(tǒng)設計[J];科技信息;2011年19期

2 ;優(yōu)化設置 提高移動存儲設備讀寫速[J];計算機與網(wǎng)絡;2010年02期

3 張智廣;;數(shù)據(jù)備份技術實用小探[J];太原城市職業(yè)技術學院學報;2011年05期

4 吳繼偉;;加強移動存儲設備管理的幾點思考[J];金融科技時代;2011年06期

5 肖小康;張東;賈慧強;;基于CPLD/FPGA的USB讀寫控制器[J];單片機與嵌入式系統(tǒng)應用;2011年06期

6 劉曉普;杜彬彬;;企業(yè)數(shù)據(jù)存儲技術的分析[J];蘇鹽科技;2011年02期

7 三水;;全面防控Autorun病毒[J];個人電腦;2011年09期

8 曹春華;;U盤無法停用 請出軟件對付[J];電腦愛好者;2011年07期

9 孫遒;;基于UML的高校機房網(wǎng)絡存儲管理系統(tǒng)的設計[J];信息技術;2011年06期

10 王勝川;;基于云計算的存儲技術研究[J];石油工業(yè)計算機應用;2011年02期

相關會議論文 前10條

1 楊琳;;從電影《手機》想到個人短信加密[A];四川省通信學會2005年學術年會論文集[C];2005年

2 ;數(shù)字管道數(shù)據(jù)存儲、備份平臺建設[A];中國石油石化數(shù)字管道信息化建設論壇暨燃氣管網(wǎng)安全、經(jīng)濟、運營技術交流研討會論文集[C];2009年

3 張成林;江文兵;;通訊存儲設備中硬盤振動控制淺析[A];2011年機械電子學學術會議論文集[C];2011年

4 韓猛;何玉華;楊楠;;白云鄂博鐵礦計算機數(shù)據(jù)網(wǎng)絡存儲和備份的實現(xiàn)[A];中國計量協(xié)會冶金分會2010年會論文集[C];2010年

5 張學紅;劉志芳;;云存儲技術研究與探討[A];全國數(shù)字媒體技術專業(yè)建設與人才培養(yǎng)研討會論文集[C];2011年

6 馮振乾;蘇金樹;張曉哲;;對象存儲研究[A];計算機技術與應用進展·2007——全國第18屆計算機技術與應用（CACIS）學術會議論文集[C];2007年

7 黃意安;;存儲系統(tǒng)在數(shù)字圖書館建設中的應用分析[A];福建省圖書館學會2006年學術年會論文集[C];2006年

8 楊志;;淺談內網(wǎng)移動存儲設備的管控[A];全國計算機安全學術交流會論文集（第二十二卷）[C];2007年

9 蔣澄瑛;;如何構建一個實用的網(wǎng)絡存儲系統(tǒng)[A];中國造船工程學會’04 MIS/S&A學術交流會學術論文集[C];2004年

10 李超;邢春曉;石晶;周立柱;;面向海量信息管理的網(wǎng)絡化存儲研究綜述[A];第十九屆全國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2002年

相關重要報紙文章 前10條

1 ;為網(wǎng)絡存儲環(huán)境鑄造堅實基礎[N];中國計算機報;2003年

2 鄧侃;網(wǎng)絡存儲要分散[N];中國計算機報;2002年

3 本報記者 李佳師;網(wǎng)絡存儲選擇什么？[N];中國電子報;2001年

4 ;綠色 存儲解決方案評析[N];計算機世界;2008年

5 郭濤;網(wǎng)絡存儲互通才能暢通[N];中國計算機報;2002年

6 本報記者 宋樂永 王臻;網(wǎng)絡存儲走向標準化、虛擬化[N];計算機世界;2005年

7 本報記者 郭濤;填補網(wǎng)絡存儲標準制定的空白[N];中國計算機報;2009年

8 趙棟偉;網(wǎng)絡存儲的虛擬化之路[N];計算機世界;2004年

9 本報記者 郭平 張廣彬;這里是春天[N];計算機世界;2003年

10 賽迪顧問;融合是網(wǎng)絡存儲的方向[N];通信產(chǎn)業(yè)報;2003年

相關博士學位論文 前10條

1 陳濤;大規(guī)模網(wǎng)絡存儲環(huán)境中的數(shù)據(jù)布局與查詢優(yōu)化技術研究[D];國防科學技術大學;2011年

2 盧軍;高性能網(wǎng)絡存儲技術研究[D];電子科技大學;2002年

3 覃靈軍;基于對象的主動存儲關鍵技術研究[D];華中科技大學;2006年

4 鄧勁生;廣域網(wǎng)絡存儲虛擬化技術研究[D];國防科學技術大學;2005年

5 鄧玉輝;基于網(wǎng)絡磁盤陣列的海量信息存儲系統(tǒng)[D];華中科技大學;2004年

6 董曉明;對象屬性控制的存儲策略研究[D];華中科技大學;2006年

7 何水兵;對象存儲控制器關鍵技術研究[D];華中科技大學;2009年

8 向東;iSCSI-SAN網(wǎng)絡異構存儲系統(tǒng)管理策略的研究[D];華中科技大學;2004年

9 秦磊華;存儲擴展流量控制緩存分配策略研究[D];華中科技大學;2007年

10 羅益輝;海量對象存儲系統(tǒng)數(shù)據(jù)組織算法的研究[D];華中科技大學;2006年

相關碩士學位論文 前10條

1 周臣云;異構網(wǎng)絡存儲統(tǒng)一管理系統(tǒng)的設計[D];西安電子科技大學;2009年

2 彭亮亮;基于IPv6的校園網(wǎng)絡存儲再生性的研究[D];西安電子科技大學;2010年

3 張亦倩;高速網(wǎng)絡環(huán)境下的存儲系統(tǒng)研究[D];浙江大學;2011年

4 劉璐;基于網(wǎng)絡存儲的自動化測試平臺的設計與實現(xiàn)[D];電子科技大學;2010年

5 呂松;對象存儲結點的設計與實現(xiàn)[D];華中科技大學;2006年

6 李天翼;基于網(wǎng)絡存儲的web服務器集群系統(tǒng)的研究與實現(xiàn)[D];四川大學;2003年

7 陳固彬;網(wǎng)絡存儲與容災技術在ERP中的應用與整合[D];廈門大學;2009年

8 徐偉;網(wǎng)絡存儲在高校數(shù)字圖書館的設計與實現(xiàn)[D];南昌大學;2010年

9 高靜;基于iSCSI的IP SAN的研究與實現(xiàn)[D];哈爾濱工程大學;2007年

10 李小利;基于InfiniBand的網(wǎng)絡存儲系統(tǒng)結構與卷分配策略研究[D];湖南大學;2008年

本文編號：2674544