【摘要】：基于新聞數(shù)據(jù)的訪(fǎng)問(wèn)規(guī)律,提出一種改進(jìn)的Hadoop分布式文件系統(tǒng)(HDFS),利用數(shù)據(jù)節(jié)點(diǎn)分區(qū)、文件遷移和節(jié)點(diǎn)待機(jī)等策略,使部分無(wú)任務(wù)的節(jié)點(diǎn)處于待機(jī)狀態(tài),實(shí)現(xiàn)系統(tǒng)高效節(jié)能存儲(chǔ)。改進(jìn)傳統(tǒng)HDFS的寫(xiě)文件機(jī)制,將數(shù)據(jù)塊優(yōu)先寫(xiě)入剩余空間最大且處于活動(dòng)狀態(tài)的節(jié)點(diǎn)中,使同一時(shí)段內(nèi)創(chuàng)建的文件盡量分散至不同節(jié)點(diǎn),增加節(jié)點(diǎn)待機(jī)概率,同時(shí)解決集群數(shù)據(jù)分布不均的問(wèn)題。實(shí)驗(yàn)結(jié)果表明,應(yīng)用節(jié)能存儲(chǔ)策略的HDFS相比傳統(tǒng)HDFS可降耗20%以上,且99.9%的文件讀取響應(yīng)時(shí)間均不受影響,具有較好的數(shù)據(jù)存儲(chǔ)與訪(fǎng)問(wèn)性能。
[Abstract]:Based on the rules of access to news data, an improved Hadoop distributed file system (HDFS),) is proposed, which makes use of the strategies of data node partitioning, file migration and node standby to make some non-task-free nodes in standby state, so that the system can save energy efficiently and save energy. By improving the writing file mechanism of traditional HDFS, the data block is first written to the node with the largest remaining space and is active, so that the files created in the same time period are scattered to different nodes as far as possible, and the standby probability of the nodes is increased. At the same time, the problem of uneven distribution of cluster data is solved. The experimental results show that compared with the traditional HDFS, the HDFS using the energy-saving storage strategy can reduce the consumption by more than 20%, and 99.9% of the file read response time is not affected, so it has better data storage and access performance.
【作者單位】： 重慶大學(xué)計(jì)算機(jī)學(xué)院;
【基金】：國(guó)家“973”計(jì)劃基金資助項(xiàng)目“高效可信的虛擬計(jì)算環(huán)境基礎(chǔ)研究”(2011CB302600) 中央高�；究蒲袠I(yè)務(wù)費(fèi)專(zhuān)項(xiàng)基金資助項(xiàng)目(CDJZR185502)
【分類(lèi)號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王春靖;FAT32的優(yōu)點(diǎn)[J];電腦愛(ài)好者;1998年03期

2 何文才;鄭釗;劉培鶴;杜敏;;一種基于目錄數(shù)據(jù)分離存儲(chǔ)的文件存儲(chǔ)方法的研究與實(shí)現(xiàn)[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2014年01期

3 飛雪散花;;手機(jī)文件存儲(chǔ)看我的[J];電腦迷;2012年05期

4 孫有軍;張大興;;海量圖片文件存儲(chǔ)去重技術(shù)研究[J];計(jì)算機(jī)應(yīng)用與軟件;2014年04期

5 ;金剛指——計(jì)算機(jī)文件存儲(chǔ)的保護(hù)神[J];信息安全與通信保密;2001年12期

6 趙躍龍;謝曉玲;蔡詠才;王國(guó)華;劉霖;;一種性能優(yōu)化的小文件存儲(chǔ)訪(fǎng)問(wèn)策略的研究[J];計(jì)算機(jī)研究與發(fā)展;2012年07期

7 周?chē)?guó)安;李強(qiáng);陳新;胡旭;;云環(huán)境下海量小文件存儲(chǔ)技術(shù)研究綜述[J];信息網(wǎng)絡(luò)安全;2014年06期

8 張美芳;電子文件存儲(chǔ)方式的研究[J];數(shù)字與縮微影像;2005年02期

9 陶慧;于守謙;劉夏;;適于測(cè)控系統(tǒng)的文件存儲(chǔ)結(jié)構(gòu)研究[J];計(jì)算機(jī)應(yīng)用與軟件;2010年11期

10 方勇;史躍輝;;淺談減少地形圖電子文件存儲(chǔ)冗余的幾種方法[J];江西測(cè)繪;2006年02期

相關(guān)會(huì)議論文 前6條

1 任勇;朱立谷;張雷;彭建峰;;新型虛擬文件存儲(chǔ)系統(tǒng)的設(shè)計(jì)[A];第15屆全國(guó)信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

2 李浩;;基于制播分離的文件存儲(chǔ)和傳輸方式的探討[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)五屆二次理事會(huì)暨學(xué)術(shù)年會(huì)論文集（上篇）[C];2010年

3 陳海波;侯建衛(wèi);;針對(duì)海量詳單快速存儲(chǔ)檢索的實(shí)現(xiàn)方法[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年

4 陳海波;侯建衛(wèi);;針對(duì)海量詳單快速存儲(chǔ)檢索的實(shí)現(xiàn)方法[A];2011全國(guó)無(wú)線(xiàn)及移動(dòng)通信學(xué)術(shù)大會(huì)論文集[C];2011年

5 袁旦;張智君;;預(yù)覽時(shí)間對(duì)顏色判斷任務(wù)下客體文件存儲(chǔ)的影響[A];第十一屆全國(guó)心理學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2007年

6 黃步根;黃政;劉建軍;;SANYO數(shù)碼相機(jī)中被刪除視頻的恢復(fù)[A];第26次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2011年

相關(guān)重要報(bào)紙文章 前9條

1 本報(bào)記者 郭平;Isilon擴(kuò)充文件存儲(chǔ)產(chǎn)品線(xiàn)[N];計(jì)算機(jī)世界;2009年

2 本報(bào)記者 郭平;容量與性能 一樣都不能少[N];計(jì)算機(jī)世界;2010年

3 張峰;統(tǒng)一存儲(chǔ) 業(yè)務(wù)連續(xù)[N];網(wǎng)絡(luò)世界;2006年

4 清水　編譯;基于文件存儲(chǔ)大行其道[N];計(jì)算機(jī)世界;2011年

5 本報(bào)記者 郭濤;HCP Anywhere：為HDS內(nèi)容云錦上添花[N];中國(guó)計(jì)算機(jī)報(bào);2013年

6 于翔;讓IT如業(yè)務(wù)般運(yùn)營(yíng)的應(yīng)用路徑[N];網(wǎng)絡(luò)世界;2009年

7 劉一冰;IBM SoNAS專(zhuān)攻高端存儲(chǔ)客戶(hù)[N];電腦商報(bào);2010年

8 清水　編譯;云存儲(chǔ)：機(jī)遇下暗藏挑戰(zhàn)[N];計(jì)算機(jī)世界;2010年

9 沈建苗;互聯(lián)網(wǎng)存儲(chǔ) 你信得過(guò)嗎[N];計(jì)算機(jī)世界;2007年

相關(guān)碩士學(xué)位論文 前10條

1 廖家趙;面向城軌線(xiàn)網(wǎng)的海量小文件存儲(chǔ)方法的研究與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

2 李長(zhǎng)平;基于FastDFS架構(gòu)的小文件存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 宮海林;支持事務(wù)的文件存儲(chǔ)技術(shù)研究與系統(tǒng)實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2006年

4 曹挹芬;分布式文件存儲(chǔ)與檢索平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2009年

5 黃斌;并行文件存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)的研究[D];華南理工大學(xué);2012年

6 蔣浩;分布式文件存儲(chǔ)系統(tǒng)副本管理方法研究[D];浙江大學(xué);2013年

7 張聰萍;錢(qián)塘分布式文件存儲(chǔ)系統(tǒng)性能優(yōu)化[D];浙江大學(xué);2011年

8 周峰;互聯(lián)網(wǎng)文件存儲(chǔ)服務(wù)系統(tǒng)研究[D];華中科技大學(xué);2011年

9 鄭釗;專(zhuān)控計(jì)算機(jī)分離式文件存儲(chǔ)的研究[D];西安電子科技大學(xué);2014年

10 何娟;基于分布式文件存儲(chǔ)的個(gè)人信息融合系統(tǒng)的研究與實(shí)踐[D];北京郵電大學(xué);2010年

，

本文編號(hào)：2193623