本文關(guān)鍵詞：基于關(guān)聯(lián)規(guī)則挖掘的分布式小文件存儲方法

  更多相關(guān)文章： HDFS 關(guān)聯(lián)規(guī)則挖掘 小文件關(guān)聯(lián)性 預(yù)取

【摘要】：Hadoop分布式文件系統(tǒng)(HDFS)設(shè)計之初是針對大文件的處理,但無法高效地針對小文件進行存儲,因此提出了一種基于關(guān)聯(lián)規(guī)則挖掘的高效的小文件存儲方法——ARMFS。ARMFS通過對Hadoop系統(tǒng)的審計日志進行關(guān)聯(lián)規(guī)則挖掘,獲得小文件間的關(guān)聯(lián)性,通過文件合并算法將小文件合并存儲至HDFS;在請求HDFS文件時,根據(jù)關(guān)聯(lián)規(guī)則挖掘得到的高頻訪問表和預(yù)取機制表提出預(yù)取算法來進一步提高文件訪問效率。實驗結(jié)果表明,ARMFS方法明顯提高了NameNode的內(nèi)存使用效率,對于小文件的下載速度和訪問效率的改善十分有效。
【作者單位】： 華東理工大學(xué)信息科學(xué)與工程學(xué)院;
【關(guān)鍵詞】： HDFS 關(guān)聯(lián)規(guī)則挖掘 小文件關(guān)聯(lián)性 預(yù)取
【基金】：國家自然科學(xué)基金(61300041,61272198)
【分類號】：TP311.13;TP333
【正文快照】： Hadoop分布式文件系統(tǒng)(HDFS)是一種 Master/Slave主從式結(jié)構(gòu),一個HDFS系統(tǒng)由一個NameNode節(jié)點和若干個DataNode節(jié)點組成。其中文件的元數(shù)據(jù)(MeteData)信息存放在系統(tǒng)NameNode節(jié)點的內(nèi)存中,這樣就導(dǎo)致了文件的存 儲規(guī)模受到內(nèi)存大小的限制。例如,對于每1個文件HDFS存儲的Mete

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 孫有軍;張大興;;海量圖片文件存儲去重技術(shù)研究[J];計算機應(yīng)用與軟件;2014年04期

2 趙躍龍;謝曉玲;蔡詠才;王國華;劉霖;;一種性能優(yōu)化的小文件存儲訪問策略的研究[J];計算機研究與發(fā)展;2012年07期

3 周國安;李強;陳新;胡旭;;云環(huán)境下海量小文件存儲技術(shù)研究綜述[J];信息網(wǎng)絡(luò)安全;2014年06期

4 張美芳;電子文件存儲方式的研究[J];數(shù)字與縮微影像;2005年02期

5 陶慧;于守謙;劉夏;;適于測控系統(tǒng)的文件存儲結(jié)構(gòu)研究[J];計算機應(yīng)用與軟件;2010年11期

6 ;1UNAS放上LCD面板[J];每周電腦報;2003年26期

7 劉友安;羅明超;;云計算環(huán)境下網(wǎng)格文件存儲應(yīng)用研究[J];制造業(yè)自動化;2013年04期

8 蔡斌;謝長生;朱光喜;;基于分散式體系結(jié)構(gòu)的高可靠文件存儲系統(tǒng)的研究[J];計算機科學(xué);2008年09期

9 張馳;喬亞瓊;;一種基于隨機線性網(wǎng)絡(luò)編碼的分布式文件存儲系統(tǒng)研究[J];科技信息;2010年03期

10 岳斌,代亞非,韓華;分布式文件存儲系統(tǒng)性能測試問題研究[J];計算機工程與應(yīng)用;2003年22期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 任勇;朱立谷;張雷;彭建峰;;新型虛擬文件存儲系統(tǒng)的設(shè)計[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

中國重要報紙全文數(shù)據(jù)庫 前2條

1 張峰;統(tǒng)一存儲 業(yè)務(wù)連續(xù)[N];網(wǎng)絡(luò)世界;2006年

2 本報記者 郭濤;HCP Anywhere：為HDS內(nèi)容云錦上添花[N];中國計算機報;2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 何高峰;基于HDFS的多租戶小文件存儲系統(tǒng)的研究與設(shè)計[D];浙江大學(xué);2016年

2 武奇;云存儲中數(shù)據(jù)的分發(fā)與遷移機制的研究[D];長春工業(yè)大學(xué);2016年

3 宮海林;支持事務(wù)的文件存儲技術(shù)研究與系統(tǒng)實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2006年

4 曹挹芬;分布式文件存儲與檢索平臺的設(shè)計與實現(xiàn)[D];湖南大學(xué);2009年

5 黃斌;并行文件存儲系統(tǒng)關(guān)鍵技術(shù)的研究[D];華南理工大學(xué);2012年

6 蔣浩;分布式文件存儲系統(tǒng)副本管理方法研究[D];浙江大學(xué);2013年

7 張聰萍;錢塘分布式文件存儲系統(tǒng)性能優(yōu)化[D];浙江大學(xué);2011年

8 鄭釗;�？赜嬎銠C分離式文件存儲的研究[D];西安電子科技大學(xué);2014年

9 廖家趙;面向城軌線網(wǎng)的海量小文件存儲方法的研究與實現(xiàn)[D];華南理工大學(xué);2015年

10 何娟;基于分布式文件存儲的個人信息融合系統(tǒng)的研究與實踐[D];北京郵電大學(xué);2010年

，

本文編號：794940