本文關(guān)鍵詞：針對(duì)地域敏感性數(shù)據(jù)的云存儲(chǔ)技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網(wǎng)的快速發(fā)展,數(shù)據(jù)規(guī)模的不斷擴(kuò)大,云存儲(chǔ)以其優(yōu)異的性能和可靠性得到了廣泛的應(yīng)用和研究。云存儲(chǔ)技術(shù)日趨成熟,能夠充分利用廉價(jià)的低端配置主機(jī),通過(guò)虛擬化技術(shù)整合成具有強(qiáng)大計(jì)算和存儲(chǔ)能力的計(jì)算機(jī)集群。但是隨著互聯(lián)網(wǎng)數(shù)據(jù)規(guī)模的進(jìn)一步擴(kuò)大,以及互聯(lián)網(wǎng)應(yīng)用的不斷細(xì)分,云存儲(chǔ)系統(tǒng)性能還有很大的提高空間。如何優(yōu)化現(xiàn)有云存儲(chǔ)系統(tǒng)使之適應(yīng)不同類(lèi)型互聯(lián)網(wǎng)應(yīng)用、進(jìn)一步提高云存儲(chǔ)系統(tǒng)性能逐漸成為云存儲(chǔ)研究領(lǐng)域的重點(diǎn)之一。 基于地域敏感性數(shù)據(jù)的互聯(lián)網(wǎng)應(yīng)用近年來(lái)得到了快速發(fā)展,這類(lèi)互聯(lián)網(wǎng)應(yīng)用的數(shù)據(jù)具有明顯的地域特性,訪(fǎng)問(wèn)用戶(hù)相對(duì)集中,因此如何利用這一特性進(jìn)一步優(yōu)化云存儲(chǔ)系統(tǒng)的性能是一個(gè)值得研究的課題。本文主要圍繞地域敏感性數(shù)據(jù)的存儲(chǔ)技術(shù)進(jìn)行研究,主要工作包括： 1、對(duì)現(xiàn)有云存儲(chǔ)技術(shù)和平臺(tái)進(jìn)行了的研究與分析,重點(diǎn)分析了HDFS的基礎(chǔ)架構(gòu)、文件讀寫(xiě)機(jī)制和關(guān)鍵技術(shù)等。 2、基于地域敏感性數(shù)據(jù)的特點(diǎn),分析了現(xiàn)有HDFS存儲(chǔ)架構(gòu)存在的問(wèn)題,優(yōu)化了HDFS的基礎(chǔ)架構(gòu)。通過(guò)在原有HDFS架構(gòu)的基礎(chǔ)上加入緩存節(jié)點(diǎn),并設(shè)定緩存節(jié)點(diǎn)部署在靠近用戶(hù)的網(wǎng)域內(nèi),盡可能讓用戶(hù)直接從緩存節(jié)點(diǎn)讀寫(xiě)數(shù)據(jù),以降低文件讀寫(xiě)操作的網(wǎng)絡(luò)傳輸代價(jià)。 3、優(yōu)化了HDFS負(fù)載均衡策略。提出了一種基于確定環(huán)境下多階段多目標(biāo)(Certainty, Multi-stage and Multi-object, CMM)決策模型的負(fù)載均衡策略。CMM決策模型是以CPU、內(nèi)存和磁盤(pán)的剩余負(fù)載能力作為決策前提條件,以負(fù)載均衡效果、負(fù)載遷移代價(jià)和數(shù)據(jù)傳輸代價(jià)作為決策目標(biāo),并根據(jù)本文設(shè)計(jì)的若干決策節(jié)點(diǎn)和決策節(jié)點(diǎn)之間的影響關(guān)系構(gòu)建的一個(gè)有向無(wú)環(huán)圖。該模型將負(fù)載均衡方案的決策過(guò)程分為多個(gè)決策階段,通過(guò)多個(gè)決策階段的決策確定一個(gè)備選負(fù)載均衡方案集合,最后根據(jù)決策目標(biāo)評(píng)價(jià)值及權(quán)重計(jì)算各負(fù)載均衡方案的效用,據(jù)此選擇出最優(yōu)負(fù)載均衡方案。 4、優(yōu)化了HDFS數(shù)據(jù)放置策略。本文的HDFS數(shù)據(jù)放置策略由兩個(gè)部分組成。第一,在數(shù)據(jù)塊寫(xiě)入系統(tǒng)時(shí)的節(jié)點(diǎn)選擇策略,用于替換HDFS原有的數(shù)據(jù)放置策略。該策略是基于差別概率的思想,根據(jù)不同剩余負(fù)載能力為數(shù)據(jù)節(jié)點(diǎn)分配不同的選中概率,以此更公平地為數(shù)據(jù)節(jié)點(diǎn)分配工作負(fù)載。第二,緩存管理策略,用于管理緩存節(jié)點(diǎn)上數(shù)據(jù)塊。在緩存節(jié)點(diǎn)有足夠負(fù)載能力時(shí),將相應(yīng)的熱門(mén)數(shù)據(jù)塊備份到緩存節(jié)點(diǎn)上；同時(shí)定期清理緩存節(jié)點(diǎn)上非熱門(mén)數(shù)據(jù)塊。 5、進(jìn)行仿真實(shí)驗(yàn)并分析仿真結(jié)果。為了驗(yàn)證本文提出的云存儲(chǔ)技術(shù)方案,本文在cloudsim云仿真平臺(tái)的基礎(chǔ)上開(kāi)發(fā)了仿真系統(tǒng)并進(jìn)行了仿真實(shí)驗(yàn)。結(jié)果表明,文本提出的云存儲(chǔ)技術(shù)更適合地域敏感性數(shù)據(jù)的存儲(chǔ),在數(shù)據(jù)的讀寫(xiě)速度方面和負(fù)載均衡效果等方面具有明顯優(yōu)勢(shì)。
【關(guān)鍵詞】：地域敏感性數(shù)據(jù) 云存儲(chǔ) HDFS 負(fù)載均衡 數(shù)據(jù)放置
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：TP333
【目錄】：

• 摘要4-6
• ABSTRACT6-10
• 第一章 前言10-14
• 1.1 研究背景及意義10-12
• 1.2 課題研究?jī)?nèi)容12
• 1.3 論文組織結(jié)構(gòu)12-14
• 第二章 HDFS技術(shù)研究14-21
• 2.1 HDFS體系架構(gòu)14-16
• 2.1.1 基本概念14-15
• 2.1.2 體系架構(gòu)15-16
• 2.2 HDFS文件讀寫(xiě)流程16-18
• 2.2.1 文件讀取流程16
• 2.2.2 文件寫(xiě)入流程16-18
• 2.3 HDFS數(shù)據(jù)放置策略18
• 2.4 HDFS負(fù)載均衡策略18-20
• 2.5 本章小結(jié)20-21
• 第三章 針對(duì)地域敏感性數(shù)據(jù)的云存儲(chǔ)架構(gòu)研究21-28
• 3.1 問(wèn)題的描述21
• 3.2 方案的思路21-22
• 3.3 針對(duì)地域敏感性數(shù)據(jù)的HDFS架構(gòu)設(shè)計(jì)22-23
• 3.4 名稱(chēng)節(jié)點(diǎn)改進(jìn)23-24
• 3.5 數(shù)據(jù)地域特征表示24-26
• 3.5.1 熱度值表示25-26
• 3.6 剩余負(fù)載能力表示26-27
• 3.7 本章小結(jié)27-28
• 第四章 地域敏感的數(shù)據(jù)放置策略28-34
• 4.1 默認(rèn)數(shù)據(jù)放置策略存在的問(wèn)題28
• 4.2 本文數(shù)據(jù)放置策略工作場(chǎng)景28-29
• 4.3 數(shù)據(jù)塊寫(xiě)入節(jié)點(diǎn)選擇策略29-32
• 4.3.1 數(shù)據(jù)節(jié)點(diǎn)選擇29-31
• 4.3.2 緩存節(jié)點(diǎn)選擇31-32
• 4.4 緩存管理策略32-33
• 4.5 本章小結(jié)33-34
• 第五章 地域敏感的負(fù)載均衡策略34-44
• 5.1 默認(rèn)負(fù)載均衡策略存在的問(wèn)題34-35
• 5.2 實(shí)現(xiàn)目標(biāo)35
• 5.3 負(fù)載均衡策略思路35-36
• 5.4 CMM模型的建立36-41
• 5.4.1 決策節(jié)點(diǎn)和決策方案的定義36-37
• 5.4.2 決策節(jié)點(diǎn)設(shè)計(jì)37-39
• 5.4.3 模型建立39-40
• 5.4.4 算法描述40-41
• 5.5 模型求解41-43
• 5.5.1 剩余負(fù)載能力方差求解41-42
• 5.5.2 遷移時(shí)間求解42
• 5.5.3 ADBUD 求解42-43
• 5.5.4 負(fù)載均衡方案確定43
• 5.6 本章小結(jié)43-44
• 第六章 仿真實(shí)驗(yàn)與結(jié)果分析44-50
• 6.1 仿真環(huán)境44
• 6.2 實(shí)驗(yàn)方法44-45
• 6.3 實(shí)驗(yàn)結(jié)果分析45-49
• 6.3.1 讀寫(xiě)文件速度仿真結(jié)果分析45-46
• 6.3.2 負(fù)載均衡策略仿真結(jié)果分析46-48
• 6.3.3 數(shù)據(jù)放置策略仿真結(jié)果分析48-49
• 6.4 本章小結(jié)49-50
• 第七章 總結(jié)與展望50-52
• 第八章 參考文獻(xiàn)52-56
• 縮略語(yǔ)56-57
• 致謝57-58
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文和申請(qǐng)的發(fā)明專(zhuān)利58

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

2 董繼光;陳衛(wèi)衛(wèi);吳海佳;田浪軍;;基于動(dòng)態(tài)副本技術(shù)的云存儲(chǔ)負(fù)載均衡研究[J];計(jì)算機(jī)應(yīng)用研究;2012年09期

3 林偉偉;劉波;;基于動(dòng)態(tài)帶寬分配的Hadoop數(shù)據(jù)負(fù)載均衡方法[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年09期

4 張桂剛;李超;張勇;邢春曉;;一種基于海量信息處理的云存儲(chǔ)模型研究[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

5 侯建;帥仁俊;侯文;;基于云計(jì)算的海量數(shù)據(jù)存儲(chǔ)模型[J];通信技術(shù);2011年05期

6 顏秉珩;錢(qián)德沛;;一種支持負(fù)載均衡的存儲(chǔ)調(diào)度算法[J];西安交通大學(xué)學(xué)報(bào);2009年10期

7 戴文戰(zhàn),鄒立華,汪建章,朱金剛,周融;一種基于獎(jiǎng)優(yōu)罰劣原則的多階段多目標(biāo)決策模型[J];系統(tǒng)工程理論與實(shí)踐;2000年06期

8 蔡志強(qiáng);孫樹(shù)棟;司書(shū)賓;王寧;;不確定環(huán)境下多階段多目標(biāo)決策模型[J];系統(tǒng)工程理論與實(shí)踐;2010年09期

9 劉琨;肖琳;趙海燕;;Hadoop中云數(shù)據(jù)負(fù)載均衡算法的研究及優(yōu)化[J];微電子學(xué)與計(jì)算機(jī);2012年09期

10 王永洲;茅蘇;;HDFS中的一種數(shù)據(jù)放置策略[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年05期

  本文關(guān)鍵詞：針對(duì)地域敏感性數(shù)據(jù)的云存儲(chǔ)技術(shù)研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：341733