基于小文件的內(nèi)存云存儲(chǔ)優(yōu)化策略
本文關(guān)鍵詞: 內(nèi)存云 小文件問題 存儲(chǔ)策略 結(jié)構(gòu)相關(guān)文件 邏輯相關(guān)文件 出處:《計(jì)算機(jī)應(yīng)用》2014年11期 論文類型:期刊論文
【摘要】:由于內(nèi)存云RAMCloud采用日志段的方式存儲(chǔ)數(shù)據(jù),因此當(dāng)大量小文件存儲(chǔ)于RAMCloud集群時(shí),每個(gè)小文件獨(dú)占整個(gè)段,會(huì)產(chǎn)生較多的段內(nèi)碎片,從而導(dǎo)致內(nèi)存的有效利用率較低以及大量的內(nèi)存空間浪費(fèi)。為了解決這個(gè)問題,提出基于文件分類的RAMCloud小文件存儲(chǔ)優(yōu)化策略。該策略首先根據(jù)文件的相關(guān)特性將小文件分為結(jié)構(gòu)相關(guān)文件、邏輯相關(guān)文件以及相互獨(dú)立文件三類;然后在存儲(chǔ)時(shí)對(duì)結(jié)構(gòu)相關(guān)的文件使用文件合并算法,邏輯相關(guān)和相互獨(dú)立的小文件則使用分組算法。實(shí)驗(yàn)結(jié)果表明:同未進(jìn)行優(yōu)化的RAMCloud存儲(chǔ)策略相比,該策略能有效提高集群內(nèi)存利用率。
[Abstract]:In order to solve the problem , a small file storage optimization strategy based on file classification is proposed . In order to solve the problem , a small file storage optimization strategy based on file classification is proposed .
【作者單位】: 新疆大學(xué)信息科學(xué)與工程學(xué)院;
【基金】:國家自然科學(xué)基金資助項(xiàng)目(61262088,61063042) 新疆維吾爾自治區(qū)自然科學(xué)基金資助項(xiàng)目(2011211A011)
【分類號(hào)】:TP333
【參考文獻(xiàn)】
相關(guān)期刊論文 前1條
1 趙躍龍;謝曉玲;蔡詠才;王國華;劉霖;;一種性能優(yōu)化的小文件存儲(chǔ)訪問策略的研究[J];計(jì)算機(jī)研究與發(fā)展;2012年07期
【共引文獻(xiàn)】
相關(guān)期刊論文 前10條
1 董新華;李瑞軒;周灣灣;王聰;薛正元;廖東杰;;Hadoop系統(tǒng)性能優(yōu)化與功能增強(qiáng)綜述[J];計(jì)算機(jī)研究與發(fā)展;2013年S2期
2 陳渝;;基于Cache的海量圖片存取優(yōu)化方案[J];計(jì)算機(jī)測(cè)量與控制;2014年08期
3 顧鑫;熊煉;;數(shù)字標(biāo)準(zhǔn)平臺(tái)中海量時(shí)空小文件合并策略研究[J];計(jì)算機(jī)應(yīng)用研究;2014年11期
4 李鐵;燕彩蓉;黃永鋒;宋亞龍;;面向Hadoop分布式文件系統(tǒng)的小文件存取優(yōu)化方法[J];計(jì)算機(jī)應(yīng)用;2014年11期
5 趙鐵柱;袁華強(qiáng);;高性能的云存儲(chǔ)安全網(wǎng)關(guān)設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2014年11期
6 徐教顯;王雅文;;基于緩存估算模型的代碼測(cè)試系統(tǒng)性能優(yōu)化方法[J];軟件;2013年12期
7 程付超;苗放;陳墾;;自適應(yīng)的分布式文件系統(tǒng)元數(shù)據(jù)管理模型[J];計(jì)算機(jī)工程與設(shè)計(jì);2014年03期
8 王濤;姚世紅;徐正全;熊煉;;云存儲(chǔ)中面向訪問任務(wù)的小文件合并與預(yù)取策略[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2013年12期
9 周國安;李強(qiáng);陳新;胡旭;;云環(huán)境下海量小文件存儲(chǔ)技術(shù)研究綜述[J];信息網(wǎng)絡(luò)安全;2014年06期
10 熊煉;徐正全;王濤;顧鑫;;云環(huán)境下的時(shí)空數(shù)據(jù)小文件存儲(chǔ)策略[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2014年10期
相關(guān)會(huì)議論文 前1條
1 陳驍;尚德生;黨瑞鵬;;探月工程測(cè)控應(yīng)用系統(tǒng)遙操作軟件運(yùn)行模式研究[A];中國宇航學(xué)會(huì)深空探測(cè)技術(shù)專業(yè)委員會(huì)第十屆學(xué)術(shù)年會(huì)論文集[C];2013年
相關(guān)博士學(xué)位論文 前1條
1 夏純中;云存儲(chǔ)多數(shù)據(jù)中心QoS保障機(jī)制研究[D];江蘇大學(xué);2014年
【二級(jí)參考文獻(xiàn)】
相關(guān)期刊論文 前1條
1 金海;羅飛;章勤;張浩;;一個(gè)基于P2P高性能計(jì)算的高效數(shù)據(jù)傳輸協(xié)議[J];計(jì)算機(jī)研究與發(fā)展;2006年09期
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 ;聯(lián)想倡導(dǎo)易用存儲(chǔ)全面發(fā)力中小企業(yè)——聯(lián)想發(fā)布2008年存儲(chǔ)策略及普及型存儲(chǔ)新品[J];電信科學(xué);2008年02期
2 柯志明;;企業(yè)存儲(chǔ)的“融”與“化”[J];互聯(lián)網(wǎng)周刊;2008年02期
3 羅敏;;數(shù)據(jù)分級(jí)存儲(chǔ)策略[J];城建檔案;2009年05期
4 熊安萍;劉進(jìn)進(jìn);鄒洋;;基于對(duì)象存儲(chǔ)的負(fù)載均衡存儲(chǔ)策略[J];計(jì)算機(jī)工程與設(shè)計(jì);2012年07期
5 陳子陽;周軍鋒;;一種最優(yōu)的靜態(tài)路徑編碼存儲(chǔ)策略[J];計(jì)算機(jī)研究與發(fā)展;2011年06期
6 李健利;高勇;解洋;霍光磊;;自動(dòng)信任協(xié)商中信任證存儲(chǔ)策略研究[J];計(jì)算機(jī)工程;2011年12期
7 宋軍;趙志強(qiáng);尤佳莉;薛嬌;;基于P2P在線信息聚合的存儲(chǔ)策略研究[J];網(wǎng)絡(luò)新媒體技術(shù);2012年01期
8 任長寧;宋萍;鄭東霞;;家庭數(shù)字信息服務(wù)平臺(tái)的云存儲(chǔ)策略研究[J];中國科技信息;2013年09期
9 魏燕;;數(shù)據(jù)價(jià)值決定存儲(chǔ)策略——ILM指引企業(yè)有效管理數(shù)據(jù)[J];每周電腦報(bào);2005年13期
10 余丹;孫文;;控制管理成本的分層存儲(chǔ)策略[J];華南金融電腦;2010年03期
相關(guān)會(huì)議論文 前4條
1 周志逵;劉菊玲;;Native XML DB存儲(chǔ)策略的研究[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集(技術(shù)報(bào)告篇)[C];2007年
2 俞本權(quán);葉鋒;王寧;陳瀅;王能斌;;同構(gòu)OIM對(duì)象及其存儲(chǔ)策略[A];第十五屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1998年
3 林秦穎;桂小林;史德琴;王小平;;面向云存儲(chǔ)的安全存儲(chǔ)策略研究[A];2010年第16屆全國信息存儲(chǔ)技術(shù)大會(huì)(IST2010)論文集[C];2010年
4 魏瑩瑩;趙清;;倉庫貨位分配優(yōu)化問題研究[A];科技創(chuàng)新與產(chǎn)業(yè)發(fā)展(B卷)——第七屆沈陽科學(xué)學(xué)術(shù)年會(huì)暨渾南高新技術(shù)產(chǎn)業(yè)發(fā)展論壇文集[C];2010年
相關(guān)重要報(bào)紙文章 前7條
1 周嫻;IBM存儲(chǔ)策略定乾坤[N];中國電子報(bào);2005年
2 北京亞細(xì)亞智業(yè)科技有限公司產(chǎn)品經(jīng)理 張向輝;醫(yī)療影像的長期存儲(chǔ)策略[N];中國計(jì)算機(jī)報(bào);2006年
3 傅薔;IBM發(fā)布系統(tǒng)存儲(chǔ)策略定“乾坤”[N];中國工業(yè)報(bào);2005年
4 劉;日立數(shù)據(jù)繼續(xù)倡導(dǎo)服務(wù)導(dǎo)向型存儲(chǔ)策略[N];電腦商報(bào);2008年
5 本報(bào)記者 郭濤 編譯;制定云存儲(chǔ)策略應(yīng)注意的七個(gè)問題[N];中國計(jì)算機(jī)報(bào);2011年
6 本報(bào)記者 郭平;Sun購并STK后的存儲(chǔ)策略[N];計(jì)算機(jī)世界;2005年
7 王多;向ILM緩慢遷移[N];計(jì)算機(jī)世界;2004年
相關(guān)碩士學(xué)位論文 前3條
1 朱巖;Hadoop云存儲(chǔ)策略的研究與優(yōu)化[D];廣東工業(yè)大學(xué);2013年
2 高薊超;Hadoop平臺(tái)存儲(chǔ)策略的研究與優(yōu)化[D];北京交通大學(xué);2012年
3 孫錦培;P2P高清流媒體系統(tǒng)中數(shù)據(jù)存儲(chǔ)策略的研究與實(shí)現(xiàn)[D];華南理工大學(xué);2013年
,本文編號(hào):1523862
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/1523862.html