隨著計算機網絡的飛速發(fā)展,用戶對數據需求的不斷增加,這給網絡存儲技術的發(fā)展帶來了機遇,同時也使分布式存儲系統(tǒng)面臨越來越多的挑戰(zhàn)。在眾多的挑戰(zhàn)中,如何提高存儲系統(tǒng)I/O性能和如何管理大規(guī)模復雜存儲系統(tǒng)是擺在很多公司企業(yè)和科研機構面前的兩大難題。一方面,代表用戶需求的熱點數據,是解決存儲系統(tǒng)I/O性能難題的鑰匙,但是,當前熱點數據在存儲系統(tǒng)中并沒有得到最大限度地利用,也沒有全面而系統(tǒng)地分析,導致整個存儲系統(tǒng)的性能并沒有得到最大程度地提升。另一方面,隨著存儲系統(tǒng)的日益復雜,傳統(tǒng)的人工管理方式已經不適應現代存儲技術的要求,如何把用戶的需求傳達給存儲系統(tǒng),讓大規(guī)模存儲系統(tǒng)自適應管理也成為一個重要的課題。 對象存儲和屬性管理技術的出現讓上述兩個難題有了解決的可能。在對象存儲系統(tǒng)中,對象代替?zhèn)鹘y(tǒng)意義的文件,擁有更豐富的語義內容,能夠傳遞更多熱點數據的相關信息；結合屬性管理技術,分析用戶的需求和數據訪問特征,提煉出與熱點數據相關的屬性,可以實現對存儲系統(tǒng)進行自適應管理并提高系統(tǒng)的性能。 為此,本文首先提出了基于熱點數據系統(tǒng)級的解決方案——對實際應用的熱點現象進行分析,然后根據實際應用中的熱點數據訪問特征,率先提出了對象存儲系統(tǒng)中熱點的定義和分類,結合T10 OSD-3標準建立熱點屬性頁,并針對不同應用和負載給出了基于熱點的動態(tài)數據組織策略和服務質量保證。 其次,針對存儲系統(tǒng)中熱點預測及單級Cache中存在的問題,結合熱點數據的訪問特征和類Zipf定律,給出了一個全新的熱點預測方法——對象熱點預測模型OHPM。并根據階段性熱點的特點,加入了訪問頻率增長率來預測階段性熱點以作為其補充。根據兩種熱點對象截然不同的數據訪問特征,給出了基于熱點的單級Cache策略——采用雙Cache棧的方式并實現自適應管理。并對熱點命中率和時間粒度的參數問題進行了討論。 再次,由于對象存儲系統(tǒng)中啟動器和目標器已然構成多級Cache系統(tǒng),針對當前多級Cache數據隱示中存在的普遍問題,提出了一個創(chuàng)新性的解決方案——基于K步數據隱示的多級Cache算法(Hint-K). Hint-K算法充分運用了升級隱示和降級隱示的歷史信息,并可利用K步數據隱示值來簡單判斷一個數據塊的活躍程度。并給出K在不同情況下Hint-K算法的實例分析。 最后設計并實現了原型系統(tǒng)——熱點屬性管理的存儲系統(tǒng)HASS,通過實施基于熱點的動態(tài)數據組織和服務質量保證(HO)、對象熱點預測(HP)和單級Cache策略(HC),系統(tǒng)的性能提高了62%并降低了25%的I/O操作。在不同負載下的多級Cache仿真測試中,Hint-K實現了比其它多級Cache算法(如MQ、DEMOTE和PROMOTE算法)更加優(yōu)異的性能。
【學位單位】：華中科技大學
【學位級別】：博士
【學位年份】：2010
【中圖分類】：TP333
【文章目錄】：
摘要
Abstract
目錄
1 緒論
    1.1 課題背景
    1.2 對象存儲和屬性管理技術的產生與發(fā)展
    1.3 單級Cache技術的產生與發(fā)展
    1.4 多級Cache技術的產生與發(fā)展
    1.5 存儲系統(tǒng)熱點數據的研究
    1.6 本文研究目的和主要內容
    1.7 課題的來源
2 熱點數據的定義、分類和組織
    2.1 引言
    2.2 分布式流處理存儲系統(tǒng)中的熱點現象
    2.3 熱點的定義和分類
    2.4 熱點屬性頁和熱點屬性的封裝與傳遞
    2.5 基于熱點屬性的動態(tài)數據組織
    2.6 基于熱點對象的存儲服務質量保證
    2.7 本章小結
3 對象熱點預測及單級熱點Cache策略
    3.1 引言
    3.2 對象熱點預測模型OHPM
    3.3 對象熱點預測模型的改進:階段性熱點的預測
    3.4 對象熱點預測算法
    3.5 基于對象熱點預測模型的熱點Cache策略
    3.6 兩個熱點棧的自適應調整
    3.7 熱點命中率和時間粒度的討論
    3.8 本章小結
4 基于熱點的多級Cache算法:Hint-K
    4.1 引言
    4.2 Hint-K的設計
    4.3 Hint-K的相關理論
    4.4 Hint-K算法
    4.5 Hint-K實例:Hint-2和Hint-3
    4.6 本章小結
5 原型系統(tǒng)的設計、仿真和實驗
    5.1 熱點屬性管理的存儲系統(tǒng)HASS的設計
    5.2 系統(tǒng)級熱點解決方案在HASS中的應用
    5.3 系統(tǒng)級熱點解決方案的實驗與評估
    5.4 基于熱點的多級Cache算法的仿真結果與分析
    5.5 基于熱點的多級Cache算法的進一步討論
    5.6 本章小結
6 全文總結
    6.1 總結
    6.2 未來工作展望
致謝
參考文獻
附錄1 攻讀學位期間發(fā)表的學術論文

【共引文獻】

相關期刊論文 前10條

1 王恒娜;淺析訪問局部性原理在Cache存儲系統(tǒng)中的作用[J];安徽大學學報(自然科學版);2005年01期

2 王一賓,韓承雙;計算機體系結構與軟件體系結構[J];安徽建筑工業(yè)學院學報(自然科學版);2005年01期

3 王恒娜;訪問局部性原理在Cache系統(tǒng)優(yōu)化及設計中的應用[J];安徽師范大學學報(自然科學版);2004年04期

4 李向華,張小芳,陸起涌;基于虛擬存儲的嵌入式存儲系統(tǒng)的設計方法[J];半導體技術;2003年08期

5 張仙妮;Turbo C編寫中斷程序的方法[J];北京工業(yè)職業(yè)技術學院學報;2004年02期

6 易小琳;彭一凡;;基于Verilog HDL的流水線模型機的設計與實現[J];北京工業(yè)大學學報;2007年10期

7 鄭麗萍;王獻榮;;淺談規(guī)格化浮點數的表示[J];重慶科技學院學報(自然科學版);2008年02期

8 吳麗征;基于網絡的負載均衡機制的研究及在分布式郵件系統(tǒng)中的應用[J];常州信息職業(yè)技術學院學報;2003年04期

9 王恒娜;訪問局部性原理在Cache存儲系統(tǒng)中的作用[J];電腦學習;2004年01期

10 倪蘊濤;;微型計算機線性地址的不規(guī)則數據存取解析[J];大慶師范學院學報;2007年05期

相關博士學位論文 前3條

1 傅琛;面向多核系統(tǒng)的高性能硬件事務存儲的優(yōu)化研究[D];哈爾濱工業(yè)大學;2011年

2 黃海林;高可靠處理器體系結構研究[D];中國科學院研究生院（計算技術研究所）;2006年

3 羅益輝;海量對象存儲系統(tǒng)數據組織算法的研究[D];華中科技大學;2006年

相關碩士學位論文 前10條

1 邱軍;基于Linux平臺的實時視頻GUI設計與應用[D];杭州電子科技大學;2009年

2 肖利亞;YHFT-DSPX片內存儲器的設計與實現[D];國防科學技術大學;2011年

3 鐘俊杰;自適應混合高斯背景建模算法的GPU并行優(yōu)化研究[D];華中科技大學;2011年

4 楊曉剛;DSP中指令Cache的研究與設計[D];江南大學;2012年

5 龔惠民;視頻解碼系統(tǒng)設計[D];浙江大學;2002年

6 初忠;新型自動化機艙實驗室監(jiān)測系統(tǒng)的研究[D];大連海事大學;2001年

7 王曉蕾;采用RSA算法的加密芯片設計[D];合肥工業(yè)大學;2002年

8 林袁;實時視頻編解碼系統(tǒng)加速策略研究[D];浙江大學;2003年

9 呂方;解決嵌入式操作系統(tǒng)移植問題的一個方案——通用硬件抽象層的設計與實現[D];四川大學;2001年

10 許曉琳;基于深亞微米工藝的IP設計技術研究[D];合肥工業(yè)大學;2003年

本文編號：2835487