本文關(guān)鍵詞：一種面向低延遲的內(nèi)存HDFS數(shù)據(jù)存儲策略　出處：《微電子學與計算機》2014年11期 　論文類型：期刊論文

  更多相關(guān)文章： 內(nèi)存分布式文件系統(tǒng) 數(shù)據(jù)存儲策略 低延遲 并行讀取算法

【摘要】：從底層存儲介質(zhì)的選擇和上層分布式文件系統(tǒng)效率的角度出發(fā),提出基于HDFS的內(nèi)存分布式文件系統(tǒng)架構(gòu)Mem-HDFS,同時利用集群DataNode的內(nèi)存和磁盤存儲數(shù)據(jù),以提高基于HDFS應(yīng)用的讀取性能.并對其進行性能優(yōu)化,提出一種適應(yīng)的同分布數(shù)據(jù)存儲策略以及并行讀取訪問算法.對比實驗表明:提出的算法能夠較好地降低讀取訪問延遲.
[Abstract]:From the point of view of the efficiency of selection and the upper distributed file system underlying storage medium of the memory architecture of distributed file system HDFS based on Mem-HDFS, and using DataNode cluster memory and disk storage data, in order to improve the reading performance of application based on HDFS. And its performance optimization, proposed an adaptation of the same distributed data storage strategy read access and parallel algorithm. The experiment results show that the proposed algorithm can effectively reduce the access delay.

【作者單位】： 新疆大學信息科學與工程學院;
【基金】：國家自然科學基金資助項目(61262088,61063042) 新疆維吾爾自治區(qū)自然科學基金資助項目(2011211A011)
【分類號】：TP333
【正文快照】： 1引言近年來,作為云存儲的核心基礎(chǔ)平臺,分布式文件系統(tǒng)已經(jīng)成為研究的重點.目前,具有代表性的分布式文件系統(tǒng)有Google的GFS,開源的Lustre、HDFS(Hadoop Distributed File System)、MooseFS等,這些分布式文件系統(tǒng)均面向大規(guī)模的云存儲應(yīng)用[1].構(gòu)建分布式文件系統(tǒng)需要考慮多方

【參考文獻】

相關(guān)期刊論文 前3條

1 廖彬;于炯;張?zhí)?楊興耀;;基于分布式文件系統(tǒng)HDFS的節(jié)能算法[J];計算機學報;2013年05期

2 ;Cloud Computing (1)[J];ZTE Communications;2010年01期

3 廖彬;于炯;張?zhí)?楊興耀;英昌甜;;一種適應(yīng)節(jié)能的云存儲系統(tǒng)元數(shù)據(jù)動態(tài)建模與管理方法[J];小型微型計算機系統(tǒng);2013年10期

【共引文獻】

相關(guān)期刊論文 前10條

1 黃上星;周凌云;;基于GAE的云計算應(yīng)用開發(fā)[J];大眾科技;2013年10期

2 鄭哲;;一種物流云系統(tǒng)的架構(gòu)方法[J];電腦編程技巧與維護;2013年22期

3 錢晨;張鵬飛;;中國云計算建設(shè)及技術(shù)開發(fā)方向分析[J];福建電腦;2013年12期

4 陳江濤;張金隆;張亞軍;;基于企業(yè)應(yīng)用的SaaS顧客價值影響因素研究[J];中國地質(zhì)大學學報(社會科學版);2013年06期

5 謝文娟;黃松;張晶晶;李丙戌;;云安全管理框架綜述[J];電腦知識與技術(shù);2013年31期

6 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學學報;2014年01期

7 雷萬保;程園;崔珞琨;汪楊;;基于服務(wù)關(guān)聯(lián)模型的云服務(wù)權(quán)重計算算法[J];信息化研究;2014年01期

8 張正欣;;應(yīng)用于公共電子醫(yī)療領(lǐng)域的SOA服務(wù)組件管理系統(tǒng)[J];電子設(shè)計工程;2014年02期

9 劉俊朋;張東;劉正偉;郭鋒;趙江;;云數(shù)據(jù)中心Linux操作系統(tǒng)快速部署的方法研究[J];信息技術(shù)與標準化;2014年Z1期

10 賀智明;張揚;高林;;基于QPSFLA算法的云計算環(huán)境資源調(diào)度策略[J];電腦知識與技術(shù);2014年02期

相關(guān)會議論文 前4條

1 張瑋;牛正浩;史慧玲;孫萌;唐紹炬;;多目標優(yōu)化的云計算虛擬集群動態(tài)調(diào)整方法[A];山東計算機學會2013學術(shù)年會論文集[C];2013年

2 孫英華;郭振波;吳哲輝;杜樂樂;;基于混合云市場的計算資源交易模型的研究[A];山東計算機學會2013學術(shù)年會論文集[C];2013年

3 潘送軍;周沿東;;淺談開發(fā)測試資源池的建設(shè)及應(yīng)用[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

4 周宇光;陳振義;盛中華;;探索云計算技術(shù)在企業(yè)信息化建設(shè)中的應(yīng)用[A];第十六屆中國科協(xié)年會——分7綠色設(shè)計與制造信息技術(shù)創(chuàng)新論壇論文集[C];2014年

相關(guān)博士學位論文 前10條

1 李煜;基于雙邊市場理論的軟件平臺運營機制研究[D];北京郵電大學;2013年

2 張帆;認知可重構(gòu)的高效能Web服務(wù)體系結(jié)構(gòu)研究[D];解放軍信息工程大學;2013年

3 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學;2013年

4 卿蘇德;網(wǎng)絡(luò)虛擬化映射算法研究[D];北京郵電大學;2013年

5 史佩昌;云服務(wù)的高效傳遞技術(shù)研究[D];國防科學技術(shù)大學;2012年

6 劉雪峰;隱私安全協(xié)議研究[D];西安電子科技大學;2013年

7 任維武;用于分布式入侵檢測系統(tǒng)的合作式本體模型[D];吉林大學;2013年

8 敬思遠;面向綠色虛擬數(shù)據(jù)中心資源管理的若干關(guān)鍵技術(shù)研究[D];電子科技大學;2013年

9 陳軍;基于G/S模式的空間分析云服務(wù)關(guān)鍵技術(shù)研究[D];成都理工大學;2012年

10 吳和生;云計算環(huán)境中多核多進程負載均衡技術(shù)的研究與應(yīng)用[D];南京大學;2013年

相關(guān)碩士學位論文 前10條

1 汪洋;電子商務(wù)系統(tǒng)設(shè)計與實現(xiàn)[D];北京交通大學;2013年

2 李延光;基于Hadoop的海量工程數(shù)據(jù)處理技術(shù)研究[D];北京交通大學;2013年

3 侯偉;云計算中基于遺傳算法的能效管理研究[D];武漢理工大學;2013年

4 馮黎明;云環(huán)境下無線傳感器網(wǎng)絡(luò)服務(wù)研究[D];南京師范大學;2013年

5 潘吳斌;基于云計算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學;2013年

6 曹夕;云計算中安全服務(wù)機制的研究[D];福建師范大學;2013年

7 焦術(shù)進;云計算中虛擬機動態(tài)遷移技術(shù)的研究[D];太原理工大學;2013年

8 馬成龍;首次銷售原則在網(wǎng)絡(luò)環(huán)境下的擴大適用問題研究[D];華東政法大學;2013年

9 洪波海;云媒體中基于任務(wù)QoS特征的資源分配調(diào)度算法研究[D];中國海洋大學;2013年

10 賈玉輝;面向語音交互的云計算系統(tǒng)的研究[D];中國海洋大學;2013年

【二級參考文獻】

相關(guān)期刊論文 前4條

1 林闖;田源;姚敏;;綠色網(wǎng)絡(luò)和綠色評價:節(jié)能機制、模型和評價[J];計算機學報;2011年04期

2 廖彬;于炯;孫華;年梅;;基于存儲結(jié)構(gòu)重配置的分布式存儲系統(tǒng)節(jié)能算法[J];計算機研究與發(fā)展;2013年01期

3 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計算機研究與發(fā)展;2013年01期

4 王意潔;孫偉東;周松;裴曉強;李小勇;;云計算環(huán)境下的分布存儲關(guān)鍵技術(shù)[J];軟件學報;2012年04期

【相似文獻】

相關(guān)期刊論文 前10條

1 徐俊;王慶華;趙云龍;;基于改進HDFS的冠字號小文件分布式存儲研究[J];電腦知識與技術(shù);2014年17期

2 徐藝境;欒鐘治;錢德沛;管剛;謝明;;HDFS集群中功率預(yù)測控制策略的設(shè)計與分析[J];計算機科學與探索;2013年05期

3 曹寧;吳中海;劉宏志;張齊勛;;HDFS下載效率的優(yōu)化[J];計算機應(yīng)用;2010年08期

4 王永洲;茅蘇;;HDFS中的一種數(shù)據(jù)放置策略[J];計算機技術(shù)與發(fā)展;2013年05期

5 彭仁通;;Hadoop的核心技術(shù)研究或概述[J];科技廣場;2012年05期

6 蔣蘇蓉;藍江橋;楊玉海;;Hadoop框架下的情報分析大數(shù)據(jù)調(diào)度超時預(yù)測方法[J];計算機科學;2014年S1期

7 陳薇;楊昕;;基于HDFS的云存儲安全技術(shù)分析[J];計算機光盤軟件與應(yīng)用;2014年08期

8 ;[J];;年期

9 ;[J];;年期

10 ;[J];;年期

相關(guān)碩士學位論文 前1條

1 韓佩;HDFS高可用性方案的研究與優(yōu)化[D];西北大學;2013年

，

本文編號：1408170