本文關(guān)鍵詞：針對地域敏感性數(shù)據(jù)的云存儲技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網(wǎng)的快速發(fā)展,數(shù)據(jù)規(guī)模的不斷擴大,云存儲以其優(yōu)異的性能和可靠性得到了廣泛的應(yīng)用和研究。云存儲技術(shù)日趨成熟,能夠充分利用廉價的低端配置主機,通過虛擬化技術(shù)整合成具有強大計算和存儲能力的計算機集群。但是隨著互聯(lián)網(wǎng)數(shù)據(jù)規(guī)模的進一步擴大,以及互聯(lián)網(wǎng)應(yīng)用的不斷細分,云存儲系統(tǒng)性能還有很大的提高空間。如何優(yōu)化現(xiàn)有云存儲系統(tǒng)使之適應(yīng)不同類型互聯(lián)網(wǎng)應(yīng)用、進一步提高云存儲系統(tǒng)性能逐漸成為云存儲研究領(lǐng)域的重點之一。 基于地域敏感性數(shù)據(jù)的互聯(lián)網(wǎng)應(yīng)用近年來得到了快速發(fā)展,這類互聯(lián)網(wǎng)應(yīng)用的數(shù)據(jù)具有明顯的地域特性,訪問用戶相對集中,因此如何利用這一特性進一步優(yōu)化云存儲系統(tǒng)的性能是一個值得研究的課題。本文主要圍繞地域敏感性數(shù)據(jù)的存儲技術(shù)進行研究,主要工作包括： 1、對現(xiàn)有云存儲技術(shù)和平臺進行了的研究與分析,重點分析了HDFS的基礎(chǔ)架構(gòu)、文件讀寫機制和關(guān)鍵技術(shù)等。 2、基于地域敏感性數(shù)據(jù)的特點,分析了現(xiàn)有HDFS存儲架構(gòu)存在的問題,優(yōu)化了HDFS的基礎(chǔ)架構(gòu)。通過在原有HDFS架構(gòu)的基礎(chǔ)上加入緩存節(jié)點,并設(shè)定緩存節(jié)點部署在靠近用戶的網(wǎng)域內(nèi),盡可能讓用戶直接從緩存節(jié)點讀寫數(shù)據(jù),以降低文件讀寫操作的網(wǎng)絡(luò)傳輸代價。 3、優(yōu)化了HDFS負載均衡策略。提出了一種基于確定環(huán)境下多階段多目標(Certainty, Multi-stage and Multi-object, CMM)決策模型的負載均衡策略。CMM決策模型是以CPU、內(nèi)存和磁盤的剩余負載能力作為決策前提條件,以負載均衡效果、負載遷移代價和數(shù)據(jù)傳輸代價作為決策目標,并根據(jù)本文設(shè)計的若干決策節(jié)點和決策節(jié)點之間的影響關(guān)系構(gòu)建的一個有向無環(huán)圖。該模型將負載均衡方案的決策過程分為多個決策階段,通過多個決策階段的決策確定一個備選負載均衡方案集合,最后根據(jù)決策目標評價值及權(quán)重計算各負載均衡方案的效用,據(jù)此選擇出最優(yōu)負載均衡方案。 4、優(yōu)化了HDFS數(shù)據(jù)放置策略。本文的HDFS數(shù)據(jù)放置策略由兩個部分組成。第一,在數(shù)據(jù)塊寫入系統(tǒng)時的節(jié)點選擇策略,用于替換HDFS原有的數(shù)據(jù)放置策略。該策略是基于差別概率的思想,根據(jù)不同剩余負載能力為數(shù)據(jù)節(jié)點分配不同的選中概率,以此更公平地為數(shù)據(jù)節(jié)點分配工作負載。第二,緩存管理策略,用于管理緩存節(jié)點上數(shù)據(jù)塊。在緩存節(jié)點有足夠負載能力時,將相應(yīng)的熱門數(shù)據(jù)塊備份到緩存節(jié)點上；同時定期清理緩存節(jié)點上非熱門數(shù)據(jù)塊。 5、進行仿真實驗并分析仿真結(jié)果。為了驗證本文提出的云存儲技術(shù)方案,本文在cloudsim云仿真平臺的基礎(chǔ)上開發(fā)了仿真系統(tǒng)并進行了仿真實驗。結(jié)果表明,文本提出的云存儲技術(shù)更適合地域敏感性數(shù)據(jù)的存儲,在數(shù)據(jù)的讀寫速度方面和負載均衡效果等方面具有明顯優(yōu)勢。
【關(guān)鍵詞】：地域敏感性數(shù)據(jù) 云存儲 HDFS 負載均衡 數(shù)據(jù)放置
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要4-6
• ABSTRACT6-10
• 第一章 前言10-14
• 1.1 研究背景及意義10-12
• 1.2 課題研究內(nèi)容12
• 1.3 論文組織結(jié)構(gòu)12-14
• 第二章 HDFS技術(shù)研究14-21
• 2.1 HDFS體系架構(gòu)14-16
• 2.1.1 基本概念14-15
• 2.1.2 體系架構(gòu)15-16
• 2.2 HDFS文件讀寫流程16-18
• 2.2.1 文件讀取流程16
• 2.2.2 文件寫入流程16-18
• 2.3 HDFS數(shù)據(jù)放置策略18
• 2.4 HDFS負載均衡策略18-20
• 2.5 本章小結(jié)20-21
• 第三章 針對地域敏感性數(shù)據(jù)的云存儲架構(gòu)研究21-28
• 3.1 問題的描述21
• 3.2 方案的思路21-22
• 3.3 針對地域敏感性數(shù)據(jù)的HDFS架構(gòu)設(shè)計22-23
• 3.4 名稱節(jié)點改進23-24
• 3.5 數(shù)據(jù)地域特征表示24-26
• 3.5.1 熱度值表示25-26
• 3.6 剩余負載能力表示26-27
• 3.7 本章小結(jié)27-28
• 第四章 地域敏感的數(shù)據(jù)放置策略28-34
• 4.1 默認數(shù)據(jù)放置策略存在的問題28
• 4.2 本文數(shù)據(jù)放置策略工作場景28-29
• 4.3 數(shù)據(jù)塊寫入節(jié)點選擇策略29-32
• 4.3.1 數(shù)據(jù)節(jié)點選擇29-31
• 4.3.2 緩存節(jié)點選擇31-32
• 4.4 緩存管理策略32-33
• 4.5 本章小結(jié)33-34
• 第五章 地域敏感的負載均衡策略34-44
• 5.1 默認負載均衡策略存在的問題34-35
• 5.2 實現(xiàn)目標35
• 5.3 負載均衡策略思路35-36
• 5.4 CMM模型的建立36-41
• 5.4.1 決策節(jié)點和決策方案的定義36-37
• 5.4.2 決策節(jié)點設(shè)計37-39
• 5.4.3 模型建立39-40
• 5.4.4 算法描述40-41
• 5.5 模型求解41-43
• 5.5.1 剩余負載能力方差求解41-42
• 5.5.2 遷移時間求解42
• 5.5.3 ADBUD 求解42-43
• 5.5.4 負載均衡方案確定43
• 5.6 本章小結(jié)43-44
• 第六章 仿真實驗與結(jié)果分析44-50
• 6.1 仿真環(huán)境44
• 6.2 實驗方法44-45
• 6.3 實驗結(jié)果分析45-49
• 6.3.1 讀寫文件速度仿真結(jié)果分析45-46
• 6.3.2 負載均衡策略仿真結(jié)果分析46-48
• 6.3.3 數(shù)據(jù)放置策略仿真結(jié)果分析48-49
• 6.4 本章小結(jié)49-50
• 第七章 總結(jié)與展望50-52
• 第八章 參考文獻52-56
• 縮略語56-57
• 致謝57-58
• 攻讀學位期間發(fā)表的學術(shù)論文和申請的發(fā)明專利58

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 林偉偉;;一種改進的Hadoop數(shù)據(jù)放置策略[J];華南理工大學學報(自然科學版);2012年01期

2 董繼光;陳衛(wèi)衛(wèi);吳海佳;田浪軍;;基于動態(tài)副本技術(shù)的云存儲負載均衡研究[J];計算機應(yīng)用研究;2012年09期

3 林偉偉;劉波;;基于動態(tài)帶寬分配的Hadoop數(shù)據(jù)負載均衡方法[J];華南理工大學學報(自然科學版);2012年09期

4 張桂剛;李超;張勇;邢春曉;;一種基于海量信息處理的云存儲模型研究[J];計算機研究與發(fā)展;2012年S1期

5 侯建;帥仁俊;侯文;;基于云計算的海量數(shù)據(jù)存儲模型[J];通信技術(shù);2011年05期

6 顏秉珩;錢德沛;;一種支持負載均衡的存儲調(diào)度算法[J];西安交通大學學報;2009年10期

7 戴文戰(zhàn),鄒立華,汪建章,朱金剛,周融;一種基于獎優(yōu)罰劣原則的多階段多目標決策模型[J];系統(tǒng)工程理論與實踐;2000年06期

8 蔡志強;孫樹棟;司書賓;王寧;;不確定環(huán)境下多階段多目標決策模型[J];系統(tǒng)工程理論與實踐;2010年09期

9 劉琨;肖琳;趙海燕;;Hadoop中云數(shù)據(jù)負載均衡算法的研究及優(yōu)化[J];微電子學與計算機;2012年09期

10 王永洲;茅蘇;;HDFS中的一種數(shù)據(jù)放置策略[J];計算機技術(shù)與發(fā)展;2013年05期

  本文關(guān)鍵詞：針對地域敏感性數(shù)據(jù)的云存儲技術(shù)研究，由筆耕文化傳播整理發(fā)布。

本文編號：341733