本文關鍵詞：IaaS中基于熱點數(shù)據(jù)的存儲系統(tǒng)研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著移動互聯(lián)的興起和大數(shù)據(jù)時代的來臨,非結構化數(shù)據(jù)規(guī)模呈爆炸性增長,如何處理和存儲大數(shù)據(jù)成為當務之急。云存儲有效地解決了大數(shù)據(jù)存儲問題,云存儲系統(tǒng)通過整合和管理廣泛分布的存儲資源,以低成本、高可靠性,為使用者提供高性能、按需的存儲服務。然而,現(xiàn)有的存儲系統(tǒng)未考慮數(shù)據(jù)熱度問題,Rabinovich等人的研究表明,數(shù)據(jù)在存儲系統(tǒng)中通常按Zipf分布[1]訪問,如何充分利用數(shù)據(jù)的熱點效應成為提升云存儲系統(tǒng)性能的關鍵。論文以當今熱門的Open Stack Swift云存儲系統(tǒng)為平臺,首先研究了Swift存儲系統(tǒng)的架構設計與實現(xiàn)方式,分析得出:Swift傳統(tǒng)架構在小規(guī)模存儲背景下代理節(jié)點利用率不足,開銷大等缺點。在此基礎上提出將存儲節(jié)點和代理節(jié)點結合的增強型節(jié)點方案,有效提升系統(tǒng)的性價比。針對代理節(jié)點中存儲空間有限的問題,提出將熱點分區(qū)動態(tài)遷移至代理節(jié)點的思想,這既充分利用代理節(jié)點的高性能,又有效控制代理節(jié)點的存儲容量。首先,論文創(chuàng)新性的提出了基于預測的熱點數(shù)據(jù)統(tǒng)計模型。通過分析數(shù)據(jù)的流行趨勢,預測出數(shù)據(jù)未來的訪問量,并采用多周期熱點統(tǒng)計算法分析數(shù)據(jù)在不同周期內的下載頻率,定量的描述出數(shù)據(jù)的熱度值,并能有效克制熱點數(shù)據(jù)訪問激增造成的熱度值波動;以數(shù)據(jù)整體的熱度值為依據(jù),提出了熱點分區(qū)動態(tài)遷移策略,該策略綜合考慮分區(qū)的大小和熱度值,通過爬山算法將熱點分區(qū)遷移至代理節(jié)點中,同時提出了饑餓值策略,將非熱點分區(qū)按饑餓值遷出到其余存儲節(jié)點中,保證系統(tǒng)的負載均衡。其次,針對熱點數(shù)據(jù)高并發(fā)訪問造成的性能瓶頸,論文提出了基于熱點的反向代理緩存策略,將Web中的反向代理緩存技術與Swift融合,將熱點數(shù)據(jù)緩存在內存中,做到內存級響應與計算,從而有效緩解了高并發(fā)訪問時內部存儲節(jié)點的壓力,提高了系統(tǒng)的響應速度和并發(fā)處理能力。最后,論文通過使用開源性能評測工具Cosbench,對系統(tǒng)進行評測。通過修改Cosbench的源碼,模擬三種熱點訪問場景:等概率均勻熱、周期性階段熱以及永久性持續(xù)熱,并在三種場景下分析系統(tǒng)性能。實驗顯示,基于熱點的云存儲系統(tǒng)能夠有效提高系統(tǒng)的吞吐率,縮短響應時間,加快執(zhí)行速度。
【關鍵詞】：Open Stack Swift 熱點數(shù)據(jù) 動態(tài)遷移 預測 反向代理緩存
【學位授予單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-5
• ABSTRACT5-8
• 第1章 緒論8-14
• 1.1 研究背景和意義8-9
• 1.2 國內外研究現(xiàn)狀9-12
• 1.2.1 云存儲系統(tǒng)研究現(xiàn)狀9-11
• 1.2.2 云存儲系統(tǒng)中熱點數(shù)據(jù)研究現(xiàn)狀11-12
• 1.3 研究內容12-13
• 1.4 本文結構13-14
• 第2章 云存儲及OPENSTACK SWIFT改進14-29
• 2.1 云存儲系統(tǒng)概述14-19
• 2.1.1 云存儲系統(tǒng)分類16-17
• 2.1.2 云存儲系統(tǒng)核心技術17-19
• 2.2 Open Stack Swift介紹19-24
• 2.2.1 Swift數(shù)據(jù)模型20
• 2.2.2 Swift系統(tǒng)架構20-22
• 2.2.3 一致性哈希算法22-24
• 2.3 增強型節(jié)點架構方案24-26
• 2.4 實驗測試與分析26-27
• 2.5 本章小結27-29
• 第3章 基于預測的熱點分區(qū)動態(tài)遷移策略29-45
• 3.1 云存儲系統(tǒng)熱點數(shù)據(jù)分析29-31
• 3.1.1 熱點數(shù)據(jù)的定義與分類29-30
• 3.1.2 Zipf定律30-31
• 3.2 基于預測的熱點數(shù)據(jù)統(tǒng)計算法31-33
• 3.2.1 二元線性回歸預測算法31-32
• 3.2.2 多周期熱點統(tǒng)計算法32-33
• 3.3 基于預測的熱點分區(qū)動態(tài)遷移設計與實現(xiàn)33-41
• 3.3.1 分區(qū)動態(tài)遷移原理34-35
• 3.3.2 總體架構設計35-36
• 3.3.3 關鍵模塊設計與實現(xiàn)36-41
• 3.4 實驗測試41-44
• 3.4.1 實驗環(huán)境與設計41-42
• 3.4.2 實驗結果分析42-44
• 3.5 本章小結44-45
• 第4章 基于熱點的反向代理緩存系統(tǒng)45-57
• 4.1 反向代理緩存技術45-47
• 4.1.1 反向代理緩存與CDN45-46
• 4.1.2 緩存替換算法46
• 4.1.3 反向代理服務器46-47
• 4.2 基于熱點的反向代理緩存設計與實現(xiàn)47-53
• 4.2.1 熱點數(shù)據(jù)性能瓶頸分析47-48
• 4.2.2 反向代理緩存總體設計48-49
• 4.2.3 數(shù)據(jù)收集與熱度計算模塊49-50
• 4.2.4 請求重定向模塊50-53
• 4.3 基于Varnish的緩存實現(xiàn)53-55
• 4.3.1 Varnish工作原理53-55
• 4.3.2 Varnish配置實現(xiàn)55
• 4.4 本章小結55-57
• 第5章 實驗設計與分析57-63
• 5.1 實驗設計57-58
• 5.2 實驗環(huán)境58
• 5.3 性能測試與分析58-62
• 5.3.1 基于預測的熱點分區(qū)動態(tài)遷移實驗58-60
• 5.3.2 高并發(fā)下基于熱點的反向代理緩存實驗60-62
• 5.4 本章小結62-63
• 結論63-64
• 參考文獻64-68
• 致謝68

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 周旭;盧顯良;侯孟書;詹川;;頻率自適應的動態(tài)副本管理機制[J];計算機科學;2005年02期

2 胡平;;云存儲:有效提高存儲資源利用率[J];中國電信業(yè);2013年06期

中國碩士學位論文全文數(shù)據(jù)庫 前2條

1 蔣浩;分布式文件存儲系統(tǒng)副本管理方法研究[D];浙江大學;2013年

2 鄭慶;海量規(guī)模下高性能對象存儲服務技術的研究[D];上海交通大學;2013年

  本文關鍵詞：IaaS中基于熱點數(shù)據(jù)的存儲系統(tǒng)研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

，

本文編號：388360