云存儲(chǔ)中的數(shù)據(jù)動(dòng)態(tài)平衡技術(shù)研究
發(fā)布時(shí)間:2019-03-12 16:40
【摘要】:近年來,“云計(jì)算”(Cloud Computing)一直是分布式計(jì)算領(lǐng)域及互聯(lián)網(wǎng)業(yè)界的研究熱點(diǎn)。自2007年云計(jì)算概念被提出以來,IT行業(yè)特別是互聯(lián)網(wǎng)行業(yè)和通信行業(yè)各大公司和企業(yè)紛紛宣布踏入云計(jì)算領(lǐng)域,并將其作為下一代技術(shù)的重點(diǎn)發(fā)展方向。云計(jì)算以其超大規(guī)模、高可擴(kuò)展性、按需服務(wù)等特點(diǎn)為下一代應(yīng)用系統(tǒng)開發(fā)帶來新的愿景。 本文研究的課題即在云計(jì)算的背景下提出,旨在研究虛擬化環(huán)境下數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)動(dòng)態(tài)平衡問題。具體來說,“數(shù)據(jù)動(dòng)態(tài)平衡”即為海量數(shù)據(jù)在存儲(chǔ)系統(tǒng)中多節(jié)點(diǎn)之間基于訪問負(fù)載的動(dòng)態(tài)平衡,以實(shí)現(xiàn)系統(tǒng)根據(jù)數(shù)據(jù)實(shí)際訪問負(fù)載進(jìn)行動(dòng)態(tài)擴(kuò)展或收縮,最終達(dá)到系統(tǒng)中資源使用率最大化的目的。由于云平臺(tái)提供商向用戶提供資源(包括CPU、內(nèi)存、硬盤以及網(wǎng)絡(luò)帶寬等)是按需分配的形式,因而,系統(tǒng)管理員甚至應(yīng)用系統(tǒng)本身可以根據(jù)數(shù)據(jù)的實(shí)際訪問負(fù)載,動(dòng)態(tài)控制數(shù)據(jù)在系統(tǒng)內(nèi)的分布,從而實(shí)現(xiàn)對已分配資源的最大化使用。而相對于無狀態(tài)的HTTP服務(wù)器,云平臺(tái)上的數(shù)據(jù)存儲(chǔ)系統(tǒng)的資源管理問題更具有挑戰(zhàn)性,因?yàn)閿?shù)據(jù)存儲(chǔ)系統(tǒng)中涉及到的數(shù)據(jù)分割、分布算法加大了問題研究的難度。進(jìn)一步地,傳統(tǒng)的關(guān)系型數(shù)據(jù)存儲(chǔ)系統(tǒng)由于其可擴(kuò)展性、可伸縮性較弱,導(dǎo)致云平臺(tái)上使用較多的均為分布式架構(gòu)的存儲(chǔ)系統(tǒng)。其中,P2P架構(gòu)的數(shù)據(jù)存儲(chǔ)系統(tǒng)由于其完全去中心化、較強(qiáng)的容錯(cuò)性等特點(diǎn),被視為云平臺(tái)上數(shù)據(jù)存儲(chǔ)的最優(yōu)選擇之一。本文利用云平臺(tái)對虛擬機(jī)資源動(dòng)態(tài)監(jiān)控的特點(diǎn),同時(shí)結(jié)合P2P數(shù)據(jù)存儲(chǔ)中負(fù)載均衡的相關(guān)技術(shù),提出適合于云平臺(tái)的創(chuàng)新數(shù)據(jù)動(dòng)態(tài)平衡框架和算法,以達(dá)到對虛擬機(jī)里諸如硬盤等資源更高的利用率。 因而,本文提出了ALARM數(shù)據(jù)動(dòng)態(tài)平衡模型——利用實(shí)時(shí)采集的系統(tǒng)資源的使用情況,通過預(yù)定義的決策機(jī)制動(dòng)態(tài)管理P2P存儲(chǔ)系統(tǒng)中的數(shù)據(jù)分布。在ALARM數(shù)據(jù)動(dòng)態(tài)平衡模型中,共定義了四種操作,即監(jiān)控操作、合并操作、拆分操作以及數(shù)據(jù)移動(dòng)操作。監(jiān)控操作負(fù)責(zé)根據(jù)狀態(tài)采集模塊采集到的系統(tǒng)資源使用情況,判斷當(dāng)前的物理節(jié)點(diǎn)是否需要調(diào)整數(shù)據(jù)分布以達(dá)到新的數(shù)據(jù)平衡。如果監(jiān)控操作判定當(dāng)前節(jié)點(diǎn)負(fù)載過輕,那么合并操作將被調(diào)用,通過合并兩個(gè)虛擬機(jī)上的數(shù)據(jù),并關(guān)閉其中一個(gè)虛擬機(jī),從而減少系統(tǒng)占用的物理資源;如果監(jiān)控操作判定當(dāng)前節(jié)點(diǎn)負(fù)載過重,那么拆分操作將被調(diào)用,啟動(dòng)一個(gè)新的虛擬機(jī)分擔(dān)部分?jǐn)?shù)據(jù),從而減輕當(dāng)前節(jié)點(diǎn)的訪問負(fù)載。而數(shù)據(jù)移動(dòng)操作則負(fù)責(zé)搬移合并操作或拆分操作中需要移動(dòng)的數(shù)據(jù)。 最后,為了驗(yàn)證ALARM數(shù)據(jù)動(dòng)態(tài)平衡模型的正確性和有效性,本課題設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于ALARM數(shù)據(jù)動(dòng)態(tài)平衡模型的模塊,并將其應(yīng)用到一個(gè)真實(shí)的P2P數(shù)據(jù)存儲(chǔ)系統(tǒng)——Open Chord存儲(chǔ)系統(tǒng)中。通過以98世界杯網(wǎng)站訪問日志模擬用戶對這個(gè)原型系統(tǒng)的查詢訪問,驗(yàn)證了ALARM模型能夠幫助Open Chord系統(tǒng)根據(jù)數(shù)據(jù)訪問負(fù)載的變化實(shí)現(xiàn)動(dòng)態(tài)自動(dòng)伸縮——存儲(chǔ)節(jié)點(diǎn)數(shù)目的增減。實(shí)驗(yàn)數(shù)據(jù)表明,本課題提出的ALARM數(shù)據(jù)動(dòng)態(tài)平衡模型在實(shí)際應(yīng)用中能達(dá)到預(yù)期的目的,是一個(gè)具有實(shí)際應(yīng)用價(jià)值的有效模型。
[Abstract]:......
【學(xué)位授予單位】:上海交通大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2012
【分類號(hào)】:TP333
[Abstract]:......
【學(xué)位授予單位】:上海交通大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2012
【分類號(hào)】:TP333
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 鄧會(huì)敏;曾碧卿;;P2P網(wǎng)絡(luò)計(jì)算中的數(shù)據(jù)存儲(chǔ)研究[J];信息技術(shù);2007年02期
2 宋云龍,闞洪海;高校圖書館數(shù)據(jù)存儲(chǔ)系統(tǒng)擴(kuò)容解決方案探討[J];現(xiàn)代圖書情報(bào)技術(shù);2005年07期
3 蘇龍閣;陳榮;酒樂;;數(shù)據(jù)高速實(shí)時(shí)存儲(chǔ)系統(tǒng)技術(shù)[J];計(jì)算機(jī)與網(wǎng)絡(luò);2008年13期
4 肖平;徐娟;;打造企業(yè)穩(wěn)固的數(shù)據(jù)存儲(chǔ)中心[J];中國管理信息化;2009年19期
5 王永旺;;音頻工作站在廣播電臺(tái)的應(yīng)用[J];科技資訊;2008年19期
6 ;第三百萬套StorageWorks交付使用[J];每周電腦報(bào);1997年38期
7 徐馬陵;;邁向高端第一步——浪潮存儲(chǔ)推出4Gb光纖存儲(chǔ)系統(tǒng)[J];每周電腦報(bào);2006年24期
8 李繼敏;劉鳳新;;鐵電存儲(chǔ)器FM3116在復(fù)費(fèi)率電能表中的應(yīng)用[J];國外電子元器件;2008年05期
9 田立國;劉s,
本文編號(hào):2438968
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2438968.html
最近更新
教材專著