本文關(guān)鍵詞：面向大數(shù)據(jù)的異構(gòu)集群存儲(chǔ)系統(tǒng)副本放置與選擇策略研究，由筆耕文化傳播整理發(fā)布。

【摘要】：集群存儲(chǔ)系統(tǒng)作為新一代企業(yè)級(jí)存儲(chǔ)架構(gòu),是云計(jì)算和大數(shù)據(jù)時(shí)代應(yīng)對(duì)存儲(chǔ)容量壓力、I/O性能瓶頸、存儲(chǔ)成本危機(jī)等諸多挑戰(zhàn)的重要解決方案�，F(xiàn)有集群存儲(chǔ)系統(tǒng)一般由大量廉價(jià)商用存儲(chǔ)設(shè)備構(gòu)成,節(jié)點(diǎn)失效和硬件故障被認(rèn)為是一種常態(tài)。為此,副本技術(shù)被廣泛運(yùn)用于該存儲(chǔ)架構(gòu)中以保證系統(tǒng)的高可靠性和高可用性。隨著云計(jì)算技術(shù)和大數(shù)據(jù)應(yīng)用模式的不斷發(fā)展,如何針對(duì)個(gè)體服務(wù)質(zhì)量敏感的大數(shù)據(jù)應(yīng)用、多樣化的I/O負(fù)載及集群存儲(chǔ)系統(tǒng)的新特性,高效地實(shí)現(xiàn)多個(gè)副本的“存”和“取”,即副本的放置和選擇,是當(dāng)前集群存儲(chǔ)系統(tǒng)副本管理研究中需要解決的關(guān)鍵問題�，F(xiàn)有工作在分布式存儲(chǔ)系統(tǒng)的副本放置和選擇方面取得了一定進(jìn)展,但仍存在諸多不足。在靜態(tài)副本放置方面,已有策略的負(fù)載均衡能力尚缺乏有效的理論證明,適用范圍不清晰,且未考慮存儲(chǔ)節(jié)點(diǎn)的異構(gòu)性,應(yīng)用具有局限性；在動(dòng)態(tài)副本放置方面,現(xiàn)有算法雖然具有更加靈活的I/O負(fù)載均衡能力,但會(huì)增加系統(tǒng)的復(fù)雜性并導(dǎo)致副本放置呈現(xiàn)無序化,且同樣未考慮存儲(chǔ)節(jié)點(diǎn)的異構(gòu)性,嚴(yán)重影響系統(tǒng)能效和應(yīng)用性能；而在副本選擇方面,已有策略選擇標(biāo)準(zhǔn)單一、可擴(kuò)展性差,沒有從大數(shù)據(jù)應(yīng)用角度出發(fā)考慮按需服務(wù)的數(shù)據(jù)請(qǐng)求,無法滿足越來越多的個(gè)體服務(wù)質(zhì)量敏感的大數(shù)據(jù)應(yīng)用。本文針對(duì)異構(gòu)集群存儲(chǔ)系統(tǒng)副本管理中放置和選擇兩個(gè)關(guān)鍵技術(shù),研究相關(guān)機(jī)制和算法,為構(gòu)建大容量、高性能、低成本和強(qiáng)擴(kuò)展性的集群存儲(chǔ)系統(tǒng)提供合理、高效的副本策略,以滿足當(dāng)前大數(shù)據(jù)應(yīng)用對(duì)存儲(chǔ)系統(tǒng)提出的迫切需求,具體的研究內(nèi)容主要包括以下四個(gè)方面：第一,結(jié)合排隊(duì)論對(duì)異構(gòu)集群存儲(chǔ)系統(tǒng)的靜態(tài)副本放置策略展開遞進(jìn)式研究,以期解決現(xiàn)有工作所存在的問題,為集群存儲(chǔ)系統(tǒng)的整體設(shè)計(jì)和規(guī)劃提供理論依據(jù)；第二,以目前主流的Hadoop作為研究對(duì)象,提出一種面向大規(guī)模異構(gòu)Hadoop集群存儲(chǔ)系統(tǒng)的動(dòng)態(tài)副本放置策略,能夠充分利用集群中高性能節(jié)點(diǎn)提升大數(shù)據(jù)應(yīng)用任務(wù)的執(zhí)行性能,同時(shí)提高集群系統(tǒng)能效并節(jié)省一定的存儲(chǔ)開銷；第三,提出一個(gè)QoS偏好感知算法獲取個(gè)體服務(wù)質(zhì)量敏感的大數(shù)據(jù)應(yīng)用的非定量QoS偏好,結(jié)合系統(tǒng)當(dāng)前副本放置方案,在多維QoS約束下解決最佳副本的選擇問題：第四,基于東南大學(xué)云計(jì)算平臺(tái),設(shè)計(jì)并開發(fā)面向AMS大數(shù)據(jù)應(yīng)用的分級(jí)存儲(chǔ)數(shù)據(jù)管理系統(tǒng),為AMS大數(shù)據(jù)處理的高效快速執(zhí)行提供合理的副本策略并驗(yàn)證本文的理論研究工作。本論文對(duì)面向大數(shù)據(jù)應(yīng)用的異構(gòu)集群存儲(chǔ)系統(tǒng)的副本放置和選擇策略進(jìn)行了深入探索,通過一系列仿真實(shí)驗(yàn)和AMS大數(shù)據(jù)處理的實(shí)驗(yàn)結(jié)果表明,本文所提的相關(guān)機(jī)制和算法能夠?qū)Ξ悩?gòu)集群存儲(chǔ)系統(tǒng)中的數(shù)據(jù)及其副本進(jìn)行合理、高效的管理和優(yōu)化,可為實(shí)際應(yīng)用中異構(gòu)集群存儲(chǔ)系統(tǒng)的副本管理服務(wù)提供行之有效的解決方案,為大數(shù)據(jù)存儲(chǔ)管理的發(fā)展做出有益貢獻(xiàn)。
【關(guān)鍵詞】：集群存儲(chǔ) 大數(shù)據(jù) 異構(gòu)性 云計(jì)算 副本放置 副本選擇
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP333
【目錄】：

• 摘要4-5
• ABSTRACT5-13
• 縮略詞表13-14
• 第1章 引言14-26
• 1.1 研究背景14-17
• 1.2 選題來源17-19
• 1.3 研究動(dòng)機(jī)和解決思路19-21
• 1.3.1 研究動(dòng)機(jī)19-21
• 1.3.2 解決思路21
• 1.4 研究目標(biāo)與內(nèi)容21-23
• 1.4.1 研究目標(biāo)21-22
• 1.4.2 研究內(nèi)容22-23
• 1.5 論文組織23-26
• 第2章 研究現(xiàn)狀26-36
• 2.1 引言26
• 2.2 集群存儲(chǔ)系統(tǒng)發(fā)展現(xiàn)狀26-28
• 2.3 副本放置算法研究現(xiàn)狀28-31
• 2.4 副本選擇策略研究現(xiàn)狀31-33
• 2.5 研究現(xiàn)狀總結(jié)33-36
• 第3章 基于排隊(duì)論的大規(guī)模集群存儲(chǔ)系統(tǒng)靜態(tài)副本放置36-64
• 3.1 引言36-38
• 3.2 集群存儲(chǔ)系統(tǒng)副本訪問請(qǐng)求流量建模38-41
• 3.2.1 理論分析38-39
• 3.2.2 統(tǒng)計(jì)檢驗(yàn)39-41
• 3.3 同構(gòu)集群存儲(chǔ)環(huán)境下多副本訪問排隊(duì)模型41-52
• 3.3.1 多副本訪問的基本排隊(duì)模型M/M/r41-46
• 3.3.2 基于SLA的非搶占多優(yōu)先級(jí)多副本訪問排隊(duì)模型46-48
• 3.3.3 實(shí)驗(yàn)分析48-52
• 3.4 異構(gòu)集群存儲(chǔ)環(huán)境下多副本訪問排隊(duì)模型52-63
• 3.4.1 節(jié)點(diǎn)處理能力不等的3-副本訪問排隊(duì)模型52-57
• 3.4.2 異構(gòu)環(huán)境下多副本訪問的一般排隊(duì)模型57-61
• 3.4.3 實(shí)驗(yàn)分析61-63
• 3.5 本章小結(jié)63-64
• 第4章 基于異構(gòu)感知的大規(guī)模集群存儲(chǔ)系統(tǒng)動(dòng)態(tài)副本放置64-86
• 4.1 引言64-67
• 4.2 系統(tǒng)模型67
• 4.3 集群節(jié)點(diǎn)異構(gòu)性感知算法67-70
• 4.4 基于熱度感知的復(fù)制機(jī)制70-72
• 4.5 Snake-Like數(shù)據(jù)副本放置算法72-76
• 4.6 基于SLRP的Hadoop集群節(jié)能策略76-78
• 4.6.1 PCS數(shù)學(xué)模型76
• 4.6.2 基于二分圖匹配的節(jié)能策略求解76-78
• 4.7 實(shí)驗(yàn)驗(yàn)證與分析78-84
• 4.7.1 Hadoop集群的性能測試80-82
• 4.7.2 Hadoop集群的能耗測試82-83
• 4.7.3 Hadoop集群存儲(chǔ)空間效率分析83-84
• 4.8 本章小結(jié)84-86
• 第5章 基于QoS偏好感知的副本選擇策略86-116
• 5.1 引言86-88
• 5.2 三維QoS模型88-90
• 5.3 QoS偏好感知算法QoPA90-93
• 5.4 QoS偏好感知副本選擇策略93-115
• 5.4.1 基于模糊綜合評(píng)判的副本選擇策略93-101
• 5.4.2 基于改進(jìn)并行遺傳算法的副本選擇策略101-115
• 5.5 本章小結(jié)115-116
• 第6章 面向AMS大數(shù)據(jù)的分級(jí)存儲(chǔ)數(shù)據(jù)管理系統(tǒng)116-138
• 6.1 AMS-02 SOC簡介116-119
• 6.2 SEU-Storm設(shè)計(jì)與實(shí)現(xiàn)119-128
• 6.2.1 SEU-Storm總體設(shè)計(jì)119-121
• 6.2.2 SEU-Storm具體實(shí)現(xiàn)121-128
• 6.3 SEU-Storm部署與測試128-137
• 6.3.1 SEU-Storm實(shí)際部署128-129
• 6.3.2 SEU-Storm功能和性能測試129-137
• 6.4 本章小結(jié)137-138
• 第7章 總結(jié)和展望138-142
• 7.1 論文總結(jié)138-139
• 7.2 下一步研究的方向139-142
• 參考文獻(xiàn)142-154
• 致謝154-156
• 攻讀博士期間論文發(fā)表情況156-158
• 攻讀博士期間參與的科研項(xiàng)目158-160
• 作者簡歷160

  本文關(guān)鍵詞：面向大數(shù)據(jù)的異構(gòu)集群存儲(chǔ)系統(tǒng)副本放置與選擇策略研究，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：417548