本文關(guān)鍵詞：一種面向低延遲的內(nèi)存HDFS數(shù)據(jù)存儲(chǔ)策略　出處：《微電子學(xué)與計(jì)算機(jī)》2014年11期 　論文類型：期刊論文

  更多相關(guān)文章： 內(nèi)存分布式文件系統(tǒng) 數(shù)據(jù)存儲(chǔ)策略 低延遲 并行讀取算法

【摘要】：從底層存儲(chǔ)介質(zhì)的選擇和上層分布式文件系統(tǒng)效率的角度出發(fā),提出基于HDFS的內(nèi)存分布式文件系統(tǒng)架構(gòu)Mem-HDFS,同時(shí)利用集群DataNode的內(nèi)存和磁盤存儲(chǔ)數(shù)據(jù),以提高基于HDFS應(yīng)用的讀取性能.并對(duì)其進(jìn)行性能優(yōu)化,提出一種適應(yīng)的同分布數(shù)據(jù)存儲(chǔ)策略以及并行讀取訪問算法.對(duì)比實(shí)驗(yàn)表明:提出的算法能夠較好地降低讀取訪問延遲.
[Abstract]:From the point of view of the efficiency of selection and the upper distributed file system underlying storage medium of the memory architecture of distributed file system HDFS based on Mem-HDFS, and using DataNode cluster memory and disk storage data, in order to improve the reading performance of application based on HDFS. And its performance optimization, proposed an adaptation of the same distributed data storage strategy read access and parallel algorithm. The experiment results show that the proposed algorithm can effectively reduce the access delay.

【作者單位】： 新疆大學(xué)信息科學(xué)與工程學(xué)院;
【基金】：國家自然科學(xué)基金資助項(xiàng)目(61262088,61063042) 新疆維吾爾自治區(qū)自然科學(xué)基金資助項(xiàng)目(2011211A011)
【分類號(hào)】：TP333
【正文快照】： 1引言近年來,作為云存儲(chǔ)的核心基礎(chǔ)平臺(tái),分布式文件系統(tǒng)已經(jīng)成為研究的重點(diǎn).目前,具有代表性的分布式文件系統(tǒng)有Google的GFS,開源的Lustre、HDFS(Hadoop Distributed File System)、MooseFS等,這些分布式文件系統(tǒng)均面向大規(guī)模的云存儲(chǔ)應(yīng)用[1].構(gòu)建分布式文件系統(tǒng)需要考慮多方

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 廖彬;于炯;張?zhí)?楊興耀;;基于分布式文件系統(tǒng)HDFS的節(jié)能算法[J];計(jì)算機(jī)學(xué)報(bào);2013年05期

2 ;Cloud Computing (1)[J];ZTE Communications;2010年01期

3 廖彬;于炯;張?zhí)?楊興耀;英昌甜;;一種適應(yīng)節(jié)能的云存儲(chǔ)系統(tǒng)元數(shù)據(jù)動(dòng)態(tài)建模與管理方法[J];小型微型計(jì)算機(jī)系統(tǒng);2013年10期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃上星;周凌云;;基于GAE的云計(jì)算應(yīng)用開發(fā)[J];大眾科技;2013年10期

2 鄭哲;;一種物流云系統(tǒng)的架構(gòu)方法[J];電腦編程技巧與維護(hù);2013年22期

3 錢晨;張鵬飛;;中國云計(jì)算建設(shè)及技術(shù)開發(fā)方向分析[J];福建電腦;2013年12期

4 陳江濤;張金隆;張亞軍;;基于企業(yè)應(yīng)用的SaaS顧客價(jià)值影響因素研究[J];中國地質(zhì)大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2013年06期

5 謝文娟;黃松;張晶晶;李丙戌;;云安全管理框架綜述[J];電腦知識(shí)與技術(shù);2013年31期

6 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報(bào);2014年01期

7 雷萬保;程園;崔珞琨;汪楊;;基于服務(wù)關(guān)聯(lián)模型的云服務(wù)權(quán)重計(jì)算算法[J];信息化研究;2014年01期

8 張正欣;;應(yīng)用于公共電子醫(yī)療領(lǐng)域的SOA服務(wù)組件管理系統(tǒng)[J];電子設(shè)計(jì)工程;2014年02期

9 劉俊朋;張東;劉正偉;郭鋒;趙江;;云數(shù)據(jù)中心Linux操作系統(tǒng)快速部署的方法研究[J];信息技術(shù)與標(biāo)準(zhǔn)化;2014年Z1期

10 賀智明;張揚(yáng);高林;;基于QPSFLA算法的云計(jì)算環(huán)境資源調(diào)度策略[J];電腦知識(shí)與技術(shù);2014年02期

相關(guān)會(huì)議論文 前4條

1 張瑋;牛正浩;史慧玲;孫萌;唐紹炬;;多目標(biāo)優(yōu)化的云計(jì)算虛擬集群動(dòng)態(tài)調(diào)整方法[A];山東計(jì)算機(jī)學(xué)會(huì)2013學(xué)術(shù)年會(huì)論文集[C];2013年

2 孫英華;郭振波;吳哲輝;杜樂樂;;基于混合云市場(chǎng)的計(jì)算資源交易模型的研究[A];山東計(jì)算機(jī)學(xué)會(huì)2013學(xué)術(shù)年會(huì)論文集[C];2013年

3 潘送軍;周沿東;;淺談開發(fā)測(cè)試資源池的建設(shè)及應(yīng)用[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

4 周宇光;陳振義;盛中華;;探索云計(jì)算技術(shù)在企業(yè)信息化建設(shè)中的應(yīng)用[A];第十六屆中國科協(xié)年會(huì)——分7綠色設(shè)計(jì)與制造信息技術(shù)創(chuàng)新論壇論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 李煜;基于雙邊市場(chǎng)理論的軟件平臺(tái)運(yùn)營機(jī)制研究[D];北京郵電大學(xué);2013年

2 張帆;認(rèn)知可重構(gòu)的高效能Web服務(wù)體系結(jié)構(gòu)研究[D];解放軍信息工程大學(xué);2013年

3 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

4 卿蘇德;網(wǎng)絡(luò)虛擬化映射算法研究[D];北京郵電大學(xué);2013年

5 史佩昌;云服務(wù)的高效傳遞技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

6 劉雪峰;隱私安全協(xié)議研究[D];西安電子科技大學(xué);2013年

7 任維武;用于分布式入侵檢測(cè)系統(tǒng)的合作式本體模型[D];吉林大學(xué);2013年

8 敬思遠(yuǎn);面向綠色虛擬數(shù)據(jù)中心資源管理的若干關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2013年

9 陳軍;基于G/S模式的空間分析云服務(wù)關(guān)鍵技術(shù)研究[D];成都理工大學(xué);2012年

10 吳和生;云計(jì)算環(huán)境中多核多進(jìn)程負(fù)載均衡技術(shù)的研究與應(yīng)用[D];南京大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 汪洋;電子商務(wù)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];北京交通大學(xué);2013年

2 李延光;基于Hadoop的海量工程數(shù)據(jù)處理技術(shù)研究[D];北京交通大學(xué);2013年

3 侯偉;云計(jì)算中基于遺傳算法的能效管理研究[D];武漢理工大學(xué);2013年

4 馮黎明;云環(huán)境下無線傳感器網(wǎng)絡(luò)服務(wù)研究[D];南京師范大學(xué);2013年

5 潘吳斌;基于云計(jì)算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學(xué);2013年

6 曹夕;云計(jì)算中安全服務(wù)機(jī)制的研究[D];福建師范大學(xué);2013年

7 焦術(shù)進(jìn);云計(jì)算中虛擬機(jī)動(dòng)態(tài)遷移技術(shù)的研究[D];太原理工大學(xué);2013年

8 馬成龍;首次銷售原則在網(wǎng)絡(luò)環(huán)境下的擴(kuò)大適用問題研究[D];華東政法大學(xué);2013年

9 洪波海;云媒體中基于任務(wù)QoS特征的資源分配調(diào)度算法研究[D];中國海洋大學(xué);2013年

10 賈玉輝;面向語音交互的云計(jì)算系統(tǒng)的研究[D];中國海洋大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 林闖;田源;姚敏;;綠色網(wǎng)絡(luò)和綠色評(píng)價(jià):節(jié)能機(jī)制、模型和評(píng)價(jià)[J];計(jì)算機(jī)學(xué)報(bào);2011年04期

2 廖彬;于炯;孫華;年梅;;基于存儲(chǔ)結(jié)構(gòu)重配置的分布式存儲(chǔ)系統(tǒng)節(jié)能算法[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

3 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

4 王意潔;孫偉東;周松;裴曉強(qiáng);李小勇;;云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J];軟件學(xué)報(bào);2012年04期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 徐俊;王慶華;趙云龍;;基于改進(jìn)HDFS的冠字號(hào)小文件分布式存儲(chǔ)研究[J];電腦知識(shí)與技術(shù);2014年17期

2 徐藝境;欒鐘治;錢德沛;管剛;謝明;;HDFS集群中功率預(yù)測(cè)控制策略的設(shè)計(jì)與分析[J];計(jì)算機(jī)科學(xué)與探索;2013年05期

3 曹寧;吳中海;劉宏志;張齊勛;;HDFS下載效率的優(yōu)化[J];計(jì)算機(jī)應(yīng)用;2010年08期

4 王永洲;茅蘇;;HDFS中的一種數(shù)據(jù)放置策略[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年05期

5 彭仁通;;Hadoop的核心技術(shù)研究或概述[J];科技廣場(chǎng);2012年05期

6 蔣蘇蓉;藍(lán)江橋;楊玉海;;Hadoop框架下的情報(bào)分析大數(shù)據(jù)調(diào)度超時(shí)預(yù)測(cè)方法[J];計(jì)算機(jī)科學(xué);2014年S1期

7 陳薇;楊昕;;基于HDFS的云存儲(chǔ)安全技術(shù)分析[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2014年08期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相關(guān)碩士學(xué)位論文 前1條

1 韓佩;HDFS高可用性方案的研究與優(yōu)化[D];西北大學(xué);2013年

，

本文編號(hào)：1408170