本文選題：HDFS + 海量　； 參考：《小型微型計(jì)算機(jī)系統(tǒng)》2015年08期

【摘要】：HDFS是目前最典型的云存儲(chǔ)平臺(tái),它憑借其高容錯(cuò)、可伸縮和廉價(jià)存儲(chǔ)的優(yōu)點(diǎn)支持大規(guī)模數(shù)據(jù)集的存儲(chǔ).但是HDFS對(duì)于海量、高并發(fā)、連續(xù)、高速的小文件的接收和存儲(chǔ)效率并不高.針對(duì)這一問(wèn)題,提出一種優(yōu)化方案RSMSF.在該方法中,文件緩存服務(wù)器不斷地接收前端文件,給文件添加標(biāo)識(shí)信息并存放到對(duì)應(yīng)的文件隊(duì)列.當(dāng)文件隊(duì)列滿足某一窗口閾值時(shí),根據(jù)一致性哈希算法將該隊(duì)列中的文件發(fā)送到對(duì)應(yīng)的文件處理服務(wù)器上進(jìn)行文件合并處理,最后上傳到HDFS.實(shí)驗(yàn)表明,RSMSF方法減少了文件的處理時(shí)間,降低了文件丟失率,同時(shí)降低了HDFS中內(nèi)存的開銷,節(jié)約了存儲(chǔ)空間.
[Abstract]:HDFS is the most typical cloud storage platform at present. It supports the storage of large data sets with the advantages of high error tolerance, scalable and cheap storage. But HDFS is not efficient for large, high concurrency, continuous, high speed small files receiving and storing. In this way, an optimization scheme, RSMSF., is proposed for file caching. The server continuously receives the front end file, adds the identification information to the file and stores it to the corresponding file queue. When the file queue satisfies a threshold, the file is sent to the corresponding file processing server to be processed and processed according to the consistency hash algorithm, and finally uploaded to the HDFS. experiment, RSMSF The method reduces the processing time of files, reduces the file loss rate, reduces the memory cost in HDFS, and saves the storage space.
【作者單位】： 山東科技大學(xué)信息科學(xué)與工程學(xué)院;北方工業(yè)大學(xué)云計(jì)算研究中心;
【基金】：北京市教育委員會(huì)科技計(jì)劃面上項(xiàng)目(KM201310009003)資助;北京市教育委員會(huì)科技計(jì)劃重點(diǎn)項(xiàng)目(KZ201310009009)資助 北京市屬高等學(xué)校創(chuàng)新團(tuán)隊(duì)建設(shè)與教師職業(yè)發(fā)展計(jì)劃項(xiàng)目(IDHT20130502)資助 北方工業(yè)大學(xué)博士啟動(dòng)基金資助
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 楊_g劍;林波;;分布式存儲(chǔ)系統(tǒng)中一致性哈希算法的研究[J];電腦知識(shí)與技術(shù);2011年22期

2 朱曉輝;王杰華;石振國(guó);陳蘇蓉;;海量圖片的分布式存儲(chǔ)及負(fù)載均衡研究[J];計(jì)算機(jī)工程;2010年23期

3 趙曉永;楊揚(yáng);孫莉莉;陳宇;;基于Hadoop的海量MP3文件存儲(chǔ)架構(gòu)[J];計(jì)算機(jī)應(yīng)用;2012年06期

4 亓開元;趙卓峰;房俊;馬強(qiáng);;針對(duì)高速數(shù)據(jù)流的大規(guī)模數(shù)據(jù)實(shí)時(shí)處理方法[J];計(jì)算機(jī)學(xué)報(bào);2012年03期

5 張春明;芮建武;何婷婷;;一種Hadoop小文件存儲(chǔ)和讀取的方法[J];計(jì)算機(jī)應(yīng)用與軟件;2012年11期

6 趙卓峰;魏文飛;馬強(qiáng);;基于無(wú)共享架構(gòu)的海量感知數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)[J];微電子學(xué)與計(jì)算機(jī);2012年09期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 豐江帆;朱毅;;云環(huán)境下的流式空間信息服務(wù)[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年06期

2 張媛;;基于Hadoop云平臺(tái)的數(shù)據(jù)傳輸保護(hù)研究[J];甘肅聯(lián)合大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年05期

3 楊震;徐敏捷;劉璋峰;秦達(dá);姚曉輝;;語(yǔ)音大數(shù)據(jù)信息處理架構(gòu)及關(guān)鍵技術(shù)研究[J];電信科學(xué);2013年11期

4 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

5 趙云山;劉煥煥;;大數(shù)據(jù)技術(shù)在電力行業(yè)的應(yīng)用研究[J];電信科學(xué);2014年01期

6 黃慶榮;;基于大數(shù)據(jù)實(shí)時(shí)洞察客戶感知[J];福建電腦;2014年03期

7 張麗;劉彥良;季峰;;面向大數(shù)據(jù)的分布式系統(tǒng)設(shè)計(jì)關(guān)鍵技術(shù)研究[J];電子技術(shù)與軟件工程;2014年17期

8 楊燕艷;朱春燕;韓業(yè)儉;;大數(shù)據(jù)環(huán)境下的信息處理[J];電子技術(shù)與軟件工程;2014年23期

9 鞠洪堯;;大數(shù)據(jù)網(wǎng)絡(luò)服務(wù)器群智能伸縮機(jī)制與架構(gòu)研究[J];電信科學(xué);2015年03期

10 王劍;黃朝光;;海量農(nóng)業(yè)科學(xué)數(shù)據(jù)存儲(chǔ)體系架構(gòu)與方法研究[J];廣東農(nóng)業(yè)科學(xué);2015年02期

相關(guān)會(huì)議論文 前1條

1 王心光;;基于虛擬機(jī)的多服務(wù)器集群技術(shù)在地鐵綜合監(jiān)控系統(tǒng)的應(yīng)用[A];第八屆中國(guó)智能交通年會(huì)優(yōu)秀論文集——軌道交通[C];2013年

相關(guān)博士學(xué)位論文 前6條

1 姚遠(yuǎn);海量動(dòng)態(tài)數(shù)據(jù)流分類方法研究[D];大連理工大學(xué);2013年

2 楊永全;飲食健康中的食物體積估算云計(jì)算技術(shù)研究[D];中國(guó)海洋大學(xué);2013年

3 周勇;基于并行計(jì)算的數(shù)據(jù)流處理方法研究[D];大連理工大學(xué);2013年

4 王海峰;圖形處理器通用計(jì)算的功耗分析與優(yōu)化研究[D];上海理工大學(xué);2013年

5 張帆;機(jī)械裝備狀態(tài)監(jiān)測(cè)的光纖光柵傳感網(wǎng)相關(guān)理論與技術(shù)研究[D];武漢理工大學(xué);2014年

6 曹振麗;面向養(yǎng)殖環(huán)境監(jiān)測(cè)的數(shù)據(jù)流處理方法研究[D];中國(guó)農(nóng)業(yè)大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 鄭勝利;容災(zāi)備份系統(tǒng)中備份服務(wù)器及系統(tǒng)安全機(jī)制的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

2 程斌;負(fù)載均衡調(diào)度系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2011年

3 童明;基于HDFS的分布式存儲(chǔ)研究與應(yīng)用[D];華中科技大學(xué);2012年

4 朱巖;Hadoop云存儲(chǔ)策略的研究與優(yōu)化[D];廣東工業(yè)大學(xué);2013年

5 管瑩瑩;基于路網(wǎng)的近鄰查詢算法研究[D];天津理工大學(xué);2013年

6 趙少鋒;云存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)研究[D];鄭州大學(xué);2013年

7 趙滿;地震數(shù)據(jù)并行訪問(wèn)策略的研究[D];東北石油大學(xué);2013年

8 江洋;基于PCI總線的驅(qū)動(dòng)程序設(shè)計(jì)及實(shí)現(xiàn)[D];電子科技大學(xué);2013年

9 張興;基于Hadoop的云存儲(chǔ)平臺(tái)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

10 張丹;HDFS中文件存儲(chǔ)優(yōu)化的相關(guān)技術(shù)研究[D];南京師范大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 胡興軍;內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN)技術(shù)及市場(chǎng)應(yīng)用[J];當(dāng)代通信;2005年17期

2 畢敬;朱志良;鐵鳴;;基于Web services的分布式企業(yè)信息整合模型[J];計(jì)算機(jī)工程;2008年12期

3 田臣;陳金華;王瑋;劉文予;;CDN內(nèi)容分發(fā)策略數(shù)學(xué)建模研究[J];計(jì)算機(jī)工程與科學(xué);2009年05期

4 王珊;王會(huì)舉;覃雄派;周p，

本文編號(hào)：1917715