本文選題：Hadoop分布式文件系統(tǒng)　切入點(diǎn)：小文件　出處：《計(jì)算機(jī)工程》2016年03期 　論文類型：期刊論文

【摘要】：Hadoop分布式文件系統(tǒng)(HDFS)具有高容錯(cuò)、可伸縮、廉價(jià)存儲等優(yōu)良特性,在大數(shù)據(jù)存儲和分析場景中得到廣泛應(yīng)用。但對于海量小文件存儲,HDFS存在高內(nèi)存消耗、高延遲訪問等缺陷。為此,結(jié)合"合肥城市云"系統(tǒng)"一次上傳,多次下載"的特性,提出一種基于小文件屬性的優(yōu)化方案。根據(jù)文件之間的相關(guān)性設(shè)定優(yōu)先級,對小于5 MB的文件按優(yōu)先級高低合并后再上傳,并生成索引記錄。結(jié)合隨機(jī)化思想,采用兩級緩存策略,將預(yù)提取數(shù)據(jù)緩存在內(nèi)存池中,提高訪問效率。同時(shí),系統(tǒng)定期查詢訪問日志,根據(jù)用戶訪問習(xí)慣,動態(tài)調(diào)整預(yù)提取因子的大小。實(shí)驗(yàn)結(jié)果表明,該方案能有效提高小文件訪問效率,降低名字節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)的內(nèi)存開銷,在有海量小文件存取的情況下提升系統(tǒng)的交互性。
[Abstract]:Hadoop (distributed File system) has been widely used in big data storage and analysis scenarios because of its high fault tolerance, scalability and cheap storage, but it has high memory consumption for large amount of small file storage. For this reason, combined with the feature of "once upload, multiple download" in Hefei Urban Cloud system, an optimization scheme based on the attributes of small files is proposed, and the priority is set according to the correlation between files. The files with less than 5 MB are merged according to the priority and then uploaded, and the index records are generated. Combined with the idea of randomization, the pre-extracted data is cached in the memory pool by using the two-level cache strategy, and the access efficiency is improved. The system regularly queries the access log and dynamically adjusts the size of the pre-extraction factor according to the user's visiting habits. The experimental results show that the proposed scheme can effectively improve the access efficiency of small files and reduce the memory overhead of name nodes and data nodes. In the case of large amounts of small file access to enhance the system's interactivity.
【作者單位】： 中國科學(xué)技術(shù)大學(xué)自動化系;
【基金】：國家自然科學(xué)基金資助項(xiàng)目(61174062)
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;電子文件與紙質(zhì)文件歸檔方法配套改革的實(shí)踐[J];中國檔案;2000年08期

2 ;鹿泉市檔案局積極抓好村委會換屆選舉文件歸檔工作[J];檔案天地;2000年02期

3 石慧敏;從《規(guī)則》的實(shí)施看文件的歸檔鑒定[J];山西檔案;2001年04期

4 于曉慶;文件與檔案差異之比較研究[J];中國檔案;2001年12期

5 劉曉蘭;淺談水利水電工程設(shè)計(jì)電子文件的歸檔和管理問題[J];安徽電力職工大學(xué)學(xué)報(bào);2001年01期

6 紀(jì)立芳,張峰,李華娜,逄真;文件、檔案一體化管理工作存在的問題及對策[J];山東檔案;2001年01期

7 胥青云 ,尹承宏 ,王培蘭;電子文件的特性及其對傳統(tǒng)文檔工作的影響[J];檔案天地;2002年02期

8 何云;訴訟文件歸檔:一個(gè)不容忽視的問題——從某法官隱匿訴訟文件說起[J];湖北檔案;2002年04期

9 連成葉,連桂仁;談電子文件介質(zhì)歸檔與整理[J];檔案時(shí)空;2003年12期

10 戚鴻雁 ,盧朝霞;淺談辦公自動化條件下的文件歸檔[J];山東檔案;2003年02期

相關(guān)會議論文 前10條

1 姜萍;;試論高校辦公自動化條件下電子文件與紙質(zhì)文件的相互關(guān)系[A];貴州省檔案學(xué)會2004年檔案學(xué)術(shù)研討會論文集[C];2004年

2 韓艷平;;電子文件對檔案工作的影響及對策[A];齊魯檔案論壇——山東省檔案學(xué)會2008年學(xué)術(shù)年會會刊[C];2008年

3 羅廷定;劉亞文;;淺淡電子文件與電子檔案的法律證據(jù)作用[A];貴州省2007年檔案學(xué)術(shù)交流論文集[C];2007年

4 于麗華;;電子文件的歸檔與管理[A];齊魯檔案論壇——山東省檔案學(xué)會2008年學(xué)術(shù)年會會刊[C];2008年

5 李銳英;;淺議電子文件的歸檔[A];齊魯檔案論壇——山東省檔案學(xué)會2008年學(xué)術(shù)年會會刊[C];2008年

6 羅廷定;劉亞文;;淺淡電子文件與電子檔案的法律證據(jù)作用[A];紀(jì)念《中華人民共和國檔案法》頒布20周年檔案學(xué)術(shù)研討會論文集[C];2007年

7 李慎民;;文件歸檔與虛擬分類[A];機(jī)關(guān)檔案工作學(xué)術(shù)研討會交流論文集[C];2004年

8 夏江寧;;辦公自動化的實(shí)現(xiàn)與文件歸檔工作[A];中國當(dāng)代秘書群星文選[C];1999年

9 袁發(fā)立;;淺析電子文件的歸檔[A];貴州省2007年檔案學(xué)術(shù)交流論文集[C];2007年

10 袁發(fā)立;;淺析電子文件的歸檔[A];紀(jì)念《中華人民共和國檔案法》頒布20周年檔案學(xué)術(shù)研討會論文集[C];2007年

相關(guān)重要報(bào)紙文章 前10條

1 萬麗;電子文件的檔案屬性和歸檔制度[N];黃河報(bào);2007年

2 潘勝中;南寧制定機(jī)關(guān)文件歸檔年檢辦法[N];中國檔案報(bào);2005年

3 小周;理財(cái)文件歸檔事半功倍[N];湖北日報(bào);2001年

4 張?jiān)?建立符合科學(xué)發(fā)展觀的文件歸檔新機(jī)制[N];中國檔案報(bào);2007年

5 特約記者 闞景奎;濰坊市財(cái)政局文件歸檔實(shí)現(xiàn)規(guī)范化[N];中國檔案報(bào);2005年

6 特約記者 李冰冰;內(nèi)蒙古巴彥淖爾市 認(rèn)真做好黨委換屆文件歸檔[N];中國檔案報(bào);2011年

7 一冰;安騰普新版ADA3.0 進(jìn)一步增強(qiáng)文件歸檔能力[N];電腦商報(bào);2009年

8 特約記者鄒偉農(nóng);上海深化文件歸檔鑒定改革[N];中國檔案報(bào);2003年

9 中遠(yuǎn)（集團(tuán)）總公司檔案室負(fù)責(zé)人 毛永芳;收好管好用好檔案 發(fā)揮檔案資源優(yōu)勢[N];中國遠(yuǎn)洋報(bào);2007年

10 劉順平;檔案部門應(yīng)最大限度地杜絕重份文件歸檔進(jìn)館[N];中國檔案報(bào);2013年

相關(guān)碩士學(xué)位論文 前10條

1 楊爽;電子文件利用效益研究[D];吉林大學(xué);2007年

2 張莉;電子商務(wù)文件歸檔管理研究[D];吉林大學(xué);2007年

3 馮潔;電子文件遷移研究[D];蘇州大學(xué);2012年

4 孫剛;電子文件真實(shí)性保障模型研究[D];天津師范大學(xué);2007年

5 趙玉龍;基于Hadoop的海量小文件處理性能研究與優(yōu)化[D];內(nèi)蒙古科技大學(xué);2014年

6 左大鵬;Hadoop小文件存儲管理的研究與實(shí)現(xiàn)[D];北京交通大學(xué);2015年

7 曹浩;基于文件重構(gòu)和質(zhì)量調(diào)整的冗余數(shù)據(jù)刪除技術(shù)[D];上海交通大學(xué);2013年

8 梁遠(yuǎn)亮;論電子商務(wù)交易文件的憑證性及其保障[D];廣西民族大學(xué);2012年

9 劉登峰;維、漢文件檔案信息管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];新疆大學(xué);2008年

10 高偉;萊城工業(yè)園轄區(qū)企業(yè)文件流轉(zhuǎn)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2010年

，

本文編號：1631603