【摘要】：為了提高大數(shù)據(jù)文件的存取效率,滿(mǎn)足各類(lèi)用戶(hù)的需求,通常采用對(duì)該文件進(jìn)行分塊、冗余副本等機(jī)制進(jìn)行存儲(chǔ),關(guān)于設(shè)置塊大小、副本個(gè)數(shù)和塊部署等存儲(chǔ)機(jī)制的研究一直是該領(lǐng)域研究重點(diǎn).根據(jù)用戶(hù)對(duì)內(nèi)容塊興趣需求,我們定義了數(shù)據(jù)塊的熱度并提出了一種滿(mǎn)足用戶(hù)需求的存儲(chǔ)數(shù)據(jù)塊的最小服務(wù)成本策略(MCSB).在成本矩陣的基礎(chǔ)上,通過(guò)引入與數(shù)據(jù)塊熱度相關(guān)的成本矩陣調(diào)整因子,使得熱度較低的數(shù)據(jù)塊被優(yōu)先部署,實(shí)現(xiàn)了在不改變存儲(chǔ)數(shù)據(jù)塊的最小服務(wù)總成本的情況下,內(nèi)容存取服務(wù)性能的提高.基于該策略,以Hadoop中的缺省數(shù)據(jù)塊存儲(chǔ)策略為控制組,通過(guò)在HDFS系統(tǒng)中實(shí)現(xiàn)MCSB,并對(duì)MCSB進(jìn)行了較為詳細(xì)的分析.實(shí)驗(yàn)結(jié)果顯示MCSB策略能夠在滿(mǎn)足最小服務(wù)成本的情況下,具有更短的系統(tǒng)平均響應(yīng)時(shí)間.進(jìn)一步考慮到數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)由服務(wù)器集群承擔(dān)的事實(shí),對(duì)基于不同負(fù)載下的數(shù)據(jù)存儲(chǔ)策略進(jìn)行了深入探討,在分析現(xiàn)有機(jī)制對(duì)性能影響的基礎(chǔ)上,給出了一種自適應(yīng)的數(shù)據(jù)節(jié)點(diǎn)內(nèi)的存儲(chǔ)數(shù)據(jù)塊的最小服務(wù)成本策略AMCSB,實(shí)驗(yàn)表明,本文所提出的AMCSB策略能夠在降低服務(wù)成本的同時(shí),有利于系統(tǒng)的負(fù)載均衡,并提高該系統(tǒng)的服務(wù)性能.

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 吳吉義;傅建慶;平玲娣;謝琪;;一種對(duì)等結(jié)構(gòu)的云存儲(chǔ)系統(tǒng)研究[J];電子學(xué)報(bào);2011年05期

2 孫大為;常桂然;李鳳云;王川;王興偉;;一種基于免疫克隆的偏好多維QoS云資源調(diào)度優(yōu)化算法[J];電子學(xué)報(bào);2011年08期

3 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報(bào);2011年11期

4 李建敦;彭俊杰;張武;;云存儲(chǔ)中一種基于布局的虛擬磁盤(pán)節(jié)能調(diào)度方法[J];電子學(xué)報(bào);2012年11期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 范玉妹,李紅軍;多目標(biāo)局部殘差平方和的定階方法[J];北京科技大學(xué)學(xué)報(bào);2003年01期

2 徐君開(kāi);產(chǎn)品最低成本的計(jì)算機(jī)輔助設(shè)計(jì)[J];玻璃與搪瓷;1997年06期

3 徐君開(kāi);搪瓷產(chǎn)品耐酸性能最佳的計(jì)算機(jī)輔助設(shè)計(jì)[J];福州大學(xué)學(xué)報(bào)(自然科學(xué)版);1997年04期

4 梅傳書(shū),鐘登華,徐海燕;輸水隧洞建設(shè)方案優(yōu)選方法的研究[J];工程建設(shè)與設(shè)計(jì);2001年03期

5 李建敦;彭俊杰;張武;;云存儲(chǔ)中一種基于布局的虛擬磁盤(pán)節(jié)能調(diào)度方法[J];電子學(xué)報(bào);2012年11期

6 俞能海;郝卓;徐甲甲;張衛(wèi)明;張馳;;云安全研究進(jìn)展綜述[J];電子學(xué)報(bào);2013年02期

7 胡毅慶;;在數(shù)學(xué)專(zhuān)業(yè)運(yùn)籌學(xué)教學(xué)中引入計(jì)算機(jī)實(shí)踐環(huán)節(jié)的探索[J];大學(xué)數(shù)學(xué);2013年01期

8 吳建軍;;網(wǎng)絡(luò)輿情的云計(jì)算監(jiān)測(cè)模式分析與實(shí)現(xiàn)[J];電訊技術(shù);2013年04期

9 孫勇;林菲;王寶軍;;面向云計(jì)算的鍵值型分布式存儲(chǔ)系統(tǒng)研究[J];電子學(xué)報(bào);2013年07期

10 王曉華;;一種新型的Hadoop本地化測(cè)試模型[J];赤峰學(xué)院學(xué)報(bào)(自然科學(xué)版);2013年19期

相關(guān)會(huì)議論文 前1條

1 陳德華;解維;李?lèi)?;面向大規(guī)模圖數(shù)據(jù)的分布式并行聚類(lèi)算法研究[A];第29屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（B輯）（NDBC2012）[C];2012年

相關(guān)博士學(xué)位論文 前9條

1 劉志明;對(duì)等存儲(chǔ)系統(tǒng)數(shù)據(jù)管理研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

2 楊明;可持續(xù)發(fā)展的礦業(yè)開(kāi)發(fā)模式研究[D];中南大學(xué);2001年

3 徐俊剛;流程企業(yè)生產(chǎn)調(diào)度方法與應(yīng)用研究[D];中國(guó)科學(xué)院研究生院（軟件研究所）;2003年

4 魏鵬飛;可重復(fù)使用液體火箭發(fā)動(dòng)機(jī)智能減損控制方法研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

5 陳曉飛;基于骨架的目標(biāo)表示和識(shí)別技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2004年

6 吳杰;OFDM的頻率同步與自適應(yīng)傳輸[D];西安電子科技大學(xué);2007年

7 許曉棟;基于單件生產(chǎn)模式的模具生產(chǎn)計(jì)劃管理系統(tǒng)研究[D];上海交通大學(xué);2007年

8 唐云建;無(wú)線(xiàn)傳感器網(wǎng)絡(luò)負(fù)載均衡數(shù)據(jù)匯集算法研究[D];重慶大學(xué);2010年

9 高學(xué)英;大規(guī)模應(yīng)急救援資源布局與調(diào)度優(yōu)化方法研究[D];吉林大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 苑文萍;高鐵分流下的京滬既有線(xiàn)旅客列車(chē)開(kāi)行方案研究[D];北京交通大學(xué);2011年

2 陸世輝;基于ADP的通用智能嵌入式控制器設(shè)計(jì)及實(shí)現(xiàn)[D];武漢理工大學(xué);2011年

3 張歷;基于云計(jì)算平臺(tái)的配電網(wǎng)多目標(biāo)重構(gòu)算法的研究[D];華南理工大學(xué);2011年

4 楊志榮;雙目視覺(jué)立體匹配方法和遮擋問(wèn)題研究[D];燕山大學(xué);2010年

5 李洋;陜北地區(qū)坡耕地種植結(jié)構(gòu)的可拓決策及優(yōu)化研究[D];西安建筑科技大學(xué);2011年

6 任維杰;多次預(yù)應(yīng)力鋼結(jié)構(gòu)優(yōu)化設(shè)計(jì)[D];北京工業(yè)大學(xué);2002年

7 張愛(ài)國(guó);河北省“九五”科技計(jì)劃實(shí)施效果評(píng)價(jià)研究[D];河北工業(yè)大學(xué);2002年

8 李征光;火電廠水系統(tǒng)計(jì)算機(jī)在線(xiàn)監(jiān)測(cè)系統(tǒng)的研究開(kāi)發(fā)[D];華北電力大學(xué)（北京）;2003年

9 謝海英;廣義指派和多目標(biāo)模糊指派的解法研究[D];西南交通大學(xué);2004年

10 金哲;基于運(yùn)籌學(xué)的RMS系統(tǒng)級(jí)設(shè)計(jì)理論與方法[D];浙江大學(xué);2004年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳吉義;平玲娣;潘雪增;李卓;;云計(jì)算:從概念到平臺(tái)[J];電信科學(xué);2009年12期

2 寧煥生;張瑜;劉芳麗;劉文明;渠慎豐;;中國(guó)物聯(lián)網(wǎng)信息服務(wù)系統(tǒng)研究[J];電子學(xué)報(bào);2006年S1期

3 張薇;馬建峰;王良民;郭淵博;;門(mén)限Byzantine quorum系統(tǒng)及其在分布式存儲(chǔ)中的應(yīng)用[J];電子學(xué)報(bào);2008年02期

4 廖名學(xué);范植華;;MPI程序同步通信基本模型死鎖檢測(cè)[J];電子學(xué)報(bào);2008年02期

5 寧煥生;徐群玉;;全球物聯(lián)網(wǎng)發(fā)展及中國(guó)物聯(lián)網(wǎng)建設(shè)若干思考[J];電子學(xué)報(bào);2010年11期

6 吳吉義;傅建慶;平玲娣;謝琪;;一種對(duì)等結(jié)構(gòu)的云存儲(chǔ)系統(tǒng)研究[J];電子學(xué)報(bào);2011年05期

7 孫大為;常桂然;李鳳云;王川;王興偉;;一種基于免疫克隆的偏好多維QoS云資源調(diào)度優(yōu)化算法[J];電子學(xué)報(bào);2011年08期

8 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報(bào);2011年11期

9 李勇軍;代亞非;;對(duì)等網(wǎng)絡(luò)信任機(jī)制研究[J];計(jì)算機(jī)學(xué)報(bào);2010年03期

10 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報(bào);2009年05期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 周游;劉鵬;楊盛祥;薛志強(qiáng);文艾;;基于私有云的數(shù)據(jù)冗余技術(shù)研究[J];電腦知識(shí)與技術(shù);2011年01期

2 余林琛;章巍;林強(qiáng);許杰星;鐘貝;;RS糾刪碼在云存儲(chǔ)中的應(yīng)用[J];微電子學(xué)與計(jì)算機(jī);2011年08期

3 盧益陽(yáng);;分布式存儲(chǔ)系統(tǒng)調(diào)查[J];企業(yè)科技與發(fā)展;2011年16期

4 李婷;李曉龍;;云計(jì)算的資源管理方法研究[J];電腦與電信;2010年01期

5 于秀芬;張?jiān)?;基于云存儲(chǔ)架構(gòu)的隨書(shū)光盤(pán)鏡像服務(wù)器構(gòu)建探討[J];圖書(shū)館雜志;2011年02期

6 甘勇;韓姍姍;陳國(guó)棟;何振;;基于在線(xiàn)存儲(chǔ)的對(duì)象放置算法的設(shè)計(jì)與實(shí)現(xiàn)[J];鄭州輕工業(yè)學(xué)院學(xué)報(bào)(自然科學(xué)版);2011年01期

7 謝峰;劉妹娟;;淺析云存儲(chǔ)信息服務(wù)的發(fā)展現(xiàn)狀及隱憂(yōu)[J];科技信息;2011年10期

8 王俊修;;基于云計(jì)算架構(gòu)的視頻監(jiān)控系統(tǒng)應(yīng)用研究[J];中國(guó)安防;2011年08期

9 王平建;荊繼武;王瓊霄;王展;;云存儲(chǔ)中的訪問(wèn)控制技術(shù)研究[J];信息網(wǎng)絡(luò)安全;2011年09期

10 黃燕;;云存儲(chǔ)在圖書(shū)館數(shù)字資源存儲(chǔ)中的應(yīng)用[J];現(xiàn)代情報(bào);2011年04期

相關(guān)會(huì)議論文 前10條

1 朱旭東;柯劍;那文武;許魯;;一種數(shù)據(jù)塊關(guān)系指導(dǎo)的緩存替換方法[A];第15屆全國(guó)信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

2 李明;王林旭;謝劍薇;李東岳;;大規(guī)模地理數(shù)據(jù)的組織存儲(chǔ)及快速訪問(wèn)[A];2010年全國(guó)通信安全學(xué)術(shù)會(huì)議論文集[C];2010年

3 崔鐵軍;張利;;多尺度海量柵格數(shù)據(jù)索引機(jī)制的研究[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第八屆年會(huì)論文集[C];2004年

4 張兵;;Oracle Forms表格數(shù)據(jù)轉(zhuǎn)存為Excel文件的技巧研究[A];全國(guó)冶金自動(dòng)化信息網(wǎng)2009年會(huì)論文集[C];2009年

5 楊啟軍;;邯鋼冷軋廠酸軋生產(chǎn)線(xiàn)的S7-COM通信[A];冶金軋制過(guò)程自動(dòng)化技術(shù)交流會(huì)論文集[C];2005年

6 王國(guó)松;周建強(qiáng);程利平;張躍龍;;基于BLOB存取的大壩監(jiān)測(cè)電子文檔管理系統(tǒng)[A];全國(guó)大壩安全監(jiān)測(cè)技術(shù)信息網(wǎng)2008年度技術(shù)信息交流會(huì)暨全國(guó)大壩安全監(jiān)測(cè)技術(shù)應(yīng)用和發(fā)展研討會(huì)論文集[C];2008年

7 鄭霄;陳紅;杜曉勇;王珊;;基于語(yǔ)義數(shù)據(jù)塊的兩層緩存技術(shù)在并行數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)ParaWare中的實(shí)現(xiàn)[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2001年

8 魏春城;;流媒體服務(wù)器設(shè)計(jì)中關(guān)鍵技術(shù)分析[A];第六屆全國(guó)計(jì)算機(jī)應(yīng)用聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2002年

9 白冰;王寶生;陳琳;勞仲安;;一種前向糾錯(cuò)編解碼的帶寬優(yōu)化方法[A];中國(guó)電子學(xué)會(huì)第十六屆信息論學(xué)術(shù)年會(huì)論文集[C];2009年

10 蔡平;;磁盤(pán)陣列的數(shù)據(jù)安全隱患與數(shù)據(jù)修復(fù)[A];第二十一次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2006年

相關(guān)重要報(bào)紙文章 前10條

1 ;Unihub新開(kāi)通五大數(shù)據(jù)中心[N];人民郵電;2002年

2 李玉花 李明耀;擬建五大數(shù)據(jù)庫(kù)[N];檢察日?qǐng)?bào);2005年

3 本報(bào)記者 迪文;我國(guó)三大數(shù)據(jù)網(wǎng)標(biāo)準(zhǔn)走向國(guó)際[N];通信產(chǎn)業(yè)報(bào);2003年

4 本報(bào)記者 劉書(shū)臻 崔剛 通訊員 韓寶寬;統(tǒng)計(jì)工作要用 “大數(shù)據(jù)”說(shuō)話(huà)[N];中國(guó)信息報(bào);2005年

5 本報(bào)記者 周鵬;三大數(shù)據(jù)庫(kù) 支撐八大應(yīng)用系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2004年

6 新華社記者;十大數(shù)據(jù)見(jiàn)證不尋常的一年[N];新華每日電訊;2004年

7 仝;10大數(shù)據(jù)庫(kù)撐起中國(guó)電子投資信息網(wǎng)[N];中國(guó)計(jì)算機(jī)報(bào);2000年

8 計(jì)算機(jī)世界實(shí)驗(yàn)室 韓勖;中小企業(yè)存儲(chǔ)之道[N];計(jì)算機(jī)世界;2007年

9 匡紅慶 周朝暉;軟件項(xiàng)目管理的質(zhì)量保證[N];人民政協(xié)報(bào);2005年

10 ;“不聯(lián)網(wǎng)搜索”新概念[N];網(wǎng)絡(luò)世界;2006年

相關(guān)博士學(xué)位論文 前10條

1 劉衛(wèi)平;網(wǎng)絡(luò)存儲(chǔ)中的數(shù)據(jù)容錯(cuò)與容災(zāi)技術(shù)研究[D];西北工業(yè)大學(xué);2006年

2 黃震;大規(guī)模分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)冗余技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

3 趙鑫;P2P流媒體內(nèi)容分發(fā)的關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2010年

4 歐陽(yáng)一鳴;片上網(wǎng)絡(luò)測(cè)試關(guān)鍵問(wèn)題研究[D];合肥工業(yè)大學(xué);2013年

5 涂旭平;對(duì)等流媒體直播系統(tǒng)帶寬資源優(yōu)化研究[D];華中科技大學(xué);2008年

6 馬冠駿;基于網(wǎng)絡(luò)編碼的P2P文件分發(fā)的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2009年

7 陳華輝;基于遺忘特性的數(shù)據(jù)流概要結(jié)構(gòu)及其應(yīng)用研究[D];復(fù)旦大學(xué);2008年

8 徐奎;無(wú)線(xiàn)網(wǎng)絡(luò)下的網(wǎng)絡(luò)編碼技術(shù)研究[D];華中科技大學(xué);2009年

9 王見(jiàn);異構(gòu)節(jié)點(diǎn)的媒體分發(fā)系統(tǒng)研究[D];上海交通大學(xué);2009年

10 董曉明;對(duì)象屬性控制的存儲(chǔ)策略研究[D];華中科技大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 馮本明;云存儲(chǔ)中數(shù)據(jù)塊資源分布及服務(wù)器效能優(yōu)化問(wèn)題研究[D];湖南大學(xué);2011年

2 沈瑞清;云存儲(chǔ)中避免重復(fù)數(shù)據(jù)存儲(chǔ)機(jī)制研究[D];云南大學(xué);2013年

3 張甲燃;重復(fù)數(shù)據(jù)刪除技術(shù)研究[D];山東大學(xué);2013年

4 王永洲;基于HDFS的存儲(chǔ)技術(shù)的研究[D];南京郵電大學(xué);2013年

5 王s，

本文編號(hào)：2584491