本文關鍵詞：面向大數(shù)據的異構集群存儲系統(tǒng)副本放置與選擇策略研究，由筆耕文化傳播整理發(fā)布。

【摘要】：集群存儲系統(tǒng)作為新一代企業(yè)級存儲架構,是云計算和大數(shù)據時代應對存儲容量壓力、I/O性能瓶頸、存儲成本危機等諸多挑戰(zhàn)的重要解決方案�，F(xiàn)有集群存儲系統(tǒng)一般由大量廉價商用存儲設備構成,節(jié)點失效和硬件故障被認為是一種常態(tài)。為此,副本技術被廣泛運用于該存儲架構中以保證系統(tǒng)的高可靠性和高可用性。隨著云計算技術和大數(shù)據應用模式的不斷發(fā)展,如何針對個體服務質量敏感的大數(shù)據應用、多樣化的I/O負載及集群存儲系統(tǒng)的新特性,高效地實現(xiàn)多個副本的“存”和“取”,即副本的放置和選擇,是當前集群存儲系統(tǒng)副本管理研究中需要解決的關鍵問題�，F(xiàn)有工作在分布式存儲系統(tǒng)的副本放置和選擇方面取得了一定進展,但仍存在諸多不足。在靜態(tài)副本放置方面,已有策略的負載均衡能力尚缺乏有效的理論證明,適用范圍不清晰,且未考慮存儲節(jié)點的異構性,應用具有局限性；在動態(tài)副本放置方面,現(xiàn)有算法雖然具有更加靈活的I/O負載均衡能力,但會增加系統(tǒng)的復雜性并導致副本放置呈現(xiàn)無序化,且同樣未考慮存儲節(jié)點的異構性,嚴重影響系統(tǒng)能效和應用性能；而在副本選擇方面,已有策略選擇標準單一、可擴展性差,沒有從大數(shù)據應用角度出發(fā)考慮按需服務的數(shù)據請求,無法滿足越來越多的個體服務質量敏感的大數(shù)據應用。本文針對異構集群存儲系統(tǒng)副本管理中放置和選擇兩個關鍵技術,研究相關機制和算法,為構建大容量、高性能、低成本和強擴展性的集群存儲系統(tǒng)提供合理、高效的副本策略,以滿足當前大數(shù)據應用對存儲系統(tǒng)提出的迫切需求,具體的研究內容主要包括以下四個方面：第一,結合排隊論對異構集群存儲系統(tǒng)的靜態(tài)副本放置策略展開遞進式研究,以期解決現(xiàn)有工作所存在的問題,為集群存儲系統(tǒng)的整體設計和規(guī)劃提供理論依據；第二,以目前主流的Hadoop作為研究對象,提出一種面向大規(guī)模異構Hadoop集群存儲系統(tǒng)的動態(tài)副本放置策略,能夠充分利用集群中高性能節(jié)點提升大數(shù)據應用任務的執(zhí)行性能,同時提高集群系統(tǒng)能效并節(jié)省一定的存儲開銷；第三,提出一個QoS偏好感知算法獲取個體服務質量敏感的大數(shù)據應用的非定量QoS偏好,結合系統(tǒng)當前副本放置方案,在多維QoS約束下解決最佳副本的選擇問題：第四,基于東南大學云計算平臺,設計并開發(fā)面向AMS大數(shù)據應用的分級存儲數(shù)據管理系統(tǒng),為AMS大數(shù)據處理的高效快速執(zhí)行提供合理的副本策略并驗證本文的理論研究工作。本論文對面向大數(shù)據應用的異構集群存儲系統(tǒng)的副本放置和選擇策略進行了深入探索,通過一系列仿真實驗和AMS大數(shù)據處理的實驗結果表明,本文所提的相關機制和算法能夠對異構集群存儲系統(tǒng)中的數(shù)據及其副本進行合理、高效的管理和優(yōu)化,可為實際應用中異構集群存儲系統(tǒng)的副本管理服務提供行之有效的解決方案,為大數(shù)據存儲管理的發(fā)展做出有益貢獻。
【關鍵詞】：集群存儲 大數(shù)據 異構性 云計算 副本放置 副本選擇
【學位授予單位】：東南大學
【學位級別】：博士
【學位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-5
• ABSTRACT5-13
• 縮略詞表13-14
• 第1章 引言14-26
• 1.1 研究背景14-17
• 1.2 選題來源17-19
• 1.3 研究動機和解決思路19-21
• 1.3.1 研究動機19-21
• 1.3.2 解決思路21
• 1.4 研究目標與內容21-23
• 1.4.1 研究目標21-22
• 1.4.2 研究內容22-23
• 1.5 論文組織23-26
• 第2章 研究現(xiàn)狀26-36
• 2.1 引言26
• 2.2 集群存儲系統(tǒng)發(fā)展現(xiàn)狀26-28
• 2.3 副本放置算法研究現(xiàn)狀28-31
• 2.4 副本選擇策略研究現(xiàn)狀31-33
• 2.5 研究現(xiàn)狀總結33-36
• 第3章 基于排隊論的大規(guī)模集群存儲系統(tǒng)靜態(tài)副本放置36-64
• 3.1 引言36-38
• 3.2 集群存儲系統(tǒng)副本訪問請求流量建模38-41
• 3.2.1 理論分析38-39
• 3.2.2 統(tǒng)計檢驗39-41
• 3.3 同構集群存儲環(huán)境下多副本訪問排隊模型41-52
• 3.3.1 多副本訪問的基本排隊模型M/M/r41-46
• 3.3.2 基于SLA的非搶占多優(yōu)先級多副本訪問排隊模型46-48
• 3.3.3 實驗分析48-52
• 3.4 異構集群存儲環(huán)境下多副本訪問排隊模型52-63
• 3.4.1 節(jié)點處理能力不等的3-副本訪問排隊模型52-57
• 3.4.2 異構環(huán)境下多副本訪問的一般排隊模型57-61
• 3.4.3 實驗分析61-63
• 3.5 本章小結63-64
• 第4章 基于異構感知的大規(guī)模集群存儲系統(tǒng)動態(tài)副本放置64-86
• 4.1 引言64-67
• 4.2 系統(tǒng)模型67
• 4.3 集群節(jié)點異構性感知算法67-70
• 4.4 基于熱度感知的復制機制70-72
• 4.5 Snake-Like數(shù)據副本放置算法72-76
• 4.6 基于SLRP的Hadoop集群節(jié)能策略76-78
• 4.6.1 PCS數(shù)學模型76
• 4.6.2 基于二分圖匹配的節(jié)能策略求解76-78
• 4.7 實驗驗證與分析78-84
• 4.7.1 Hadoop集群的性能測試80-82
• 4.7.2 Hadoop集群的能耗測試82-83
• 4.7.3 Hadoop集群存儲空間效率分析83-84
• 4.8 本章小結84-86
• 第5章 基于QoS偏好感知的副本選擇策略86-116
• 5.1 引言86-88
• 5.2 三維QoS模型88-90
• 5.3 QoS偏好感知算法QoPA90-93
• 5.4 QoS偏好感知副本選擇策略93-115
• 5.4.1 基于模糊綜合評判的副本選擇策略93-101
• 5.4.2 基于改進并行遺傳算法的副本選擇策略101-115
• 5.5 本章小結115-116
• 第6章 面向AMS大數(shù)據的分級存儲數(shù)據管理系統(tǒng)116-138
• 6.1 AMS-02 SOC簡介116-119
• 6.2 SEU-Storm設計與實現(xiàn)119-128
• 6.2.1 SEU-Storm總體設計119-121
• 6.2.2 SEU-Storm具體實現(xiàn)121-128
• 6.3 SEU-Storm部署與測試128-137
• 6.3.1 SEU-Storm實際部署128-129
• 6.3.2 SEU-Storm功能和性能測試129-137
• 6.4 本章小結137-138
• 第7章 總結和展望138-142
• 7.1 論文總結138-139
• 7.2 下一步研究的方向139-142
• 參考文獻142-154
• 致謝154-156
• 攻讀博士期間論文發(fā)表情況156-158
• 攻讀博士期間參與的科研項目158-160
• 作者簡歷160

  本文關鍵詞：面向大數(shù)據的異構集群存儲系統(tǒng)副本放置與選擇策略研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：417548