【摘要】：針對Hadoop分布式文件系統(tǒng)(Hadoop distributed file system,HDFS)存儲海量圖片效率低下的問題,在分析HDFS的基本框架以及其固有的文件讀寫流程基礎上,提出了基于Cache的海量圖片存儲優(yōu)化方案(HDFS based on Cache,CHDFS);該方案引入了Cache、預讀、文件合并等機制,來提高圖片讀寫的性能,彌補了HDFS存儲海量圖片時的缺陷;采用圖片合并的方式減少Namenode中元數(shù)據(jù)的個數(shù),同時提高Datanode存儲空間的利用率;由于Cache、預讀以及圖片合并等操作對用戶都是透明的,所以,該方案并沒有增加用戶使用HDFS的復雜性;實驗結果表明,CHDFS方法可以有效地提高圖片的存取效率。
【圖文】：

第８期陳渝：基于Ｃａｃｈｅ邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐邐的海量圖片存取優(yōu)化方案·２６７１·圖２某大�。茫幔悖瑁鍓K的某一個中間狀態(tài)２）當有一個Ｃｌｉｅｎｔ讀請求，ＣａｃｈｅＮｏｄｅ會獲�。茫幔悖瑁鍓K，用來存儲從ＨＤＦＳ讀取的圖片信息，，此時的Ｃａｃｈｅ塊，狀態(tài)變?yōu)椋觯幔欤椋洌唬常┊斢幸粋�Ｃｌｉｅｎｔ寫圖片請求，ＣａｃｈｅＮｏｄｅ會獲�。茫幔悖瑁鍓K，用來存儲Ｃｌｉｅｎｔ寫入的圖片信息，此時的Ｃａｃｈｅ塊狀態(tài)變?yōu)椋洌椋颍簦�；４）當ｄｉｒｔｙＣａｃｈｅ塊中的數(shù)據(jù)持久化到ＨＤＦＳ中后，其狀態(tài)變?yōu)椋觯幔欤椋洌唬玻玻常茫幔悖瑁鍓K的申請當ＣａｃｈｅＮｏｄｅ需要一個Ｃａｃｈｅ塊來存儲數(shù)據(jù)時，需要從Ｃａｃｈｅ塊內存池中獲取一個Ｃａｃｈｅ塊，獲取Ｃａｃｈｅ塊的優(yōu)先順序如下：１）ｆｒｅｅＣａｃｈｅ塊；２）ｖａｌｉｄＣａｃｈｅ塊；３）ｄｉｒｔｙＣａｃｈｅ塊；此時，需要將與此ｄｉｒｔｙ相關的Ｃａｃｈｅ塊內的數(shù)據(jù)持久化到ＨＤＦＳ。其具體實施過程如下：先從ｆｒｅｅ鏈表中獲取ｃａｃｈｅ塊，如果ｆｒｅｅ鏈表為空，則從ｖａｌｉｄｃａｃｈｅ紅黑樹中獲取ｃａｃｈｅ塊，如果ｖａｌｉｄｃａｃｈｅ紅黑樹為空或所有的ｃａｃｈｅ塊都正在被使用，再從ｄｉｒｔｙｃａｃｈｅ紅黑樹中視圖獲齲２．２．４Ｕ－Ｍｅｔａｄａｔａ的設計Ｃｌｉｅｎｔ把圖片上傳至ｈ＿ｐａｔｈ，但是，ＣＨＤＦＳ的Ｃａｃｈｅ－Ｎｏｄｅ節(jié)點并不關心ｈ
【作者單位】： 四川民族學院計算機科學系;
【基金】：四川省教育廳科研項目(13ZA0135)
【分類號】：TP333

【參考文獻】

相關期刊論文 前2條

1 王鈴惠;李小勇;張軼彬;;海量小文件存儲文件系統(tǒng)研究綜述[J];計算機應用與軟件;2012年08期

2 馬燦;孟丹;熊勁;;曙光星云分布式文件系統(tǒng):海量小文件存取[J];小型微型計算機系統(tǒng);2012年07期

【共引文獻】

相關期刊論文 前9條

1 顧鑫;熊煉;;數(shù)字標準平臺中海量時空小文件合并策略研究[J];計算機應用研究;2014年11期

2 李鐵;燕彩蓉;黃永鋒;宋亞龍;;面向Hadoop分布式文件系統(tǒng)的小文件存取優(yōu)化方法[J];計算機應用;2014年11期

3 英昌甜;于炯;魯亮;劉建礦;;基于小文件的內存云存儲優(yōu)化策略[J];計算機應用;2014年11期

4 趙鐵柱;袁華強;;高性能的云存儲安全網關設計與實現(xiàn)[J];計算機應用與軟件;2014年11期

5 朱曉麗;趙志剛;;一種基于HBase的海量圖片存儲技術[J];信息系統(tǒng)工程;2013年08期

6 王濤;姚世紅;徐正全;熊煉;;云存儲中面向訪問任務的小文件合并與預取策略[J];武漢大學學報(信息科學版);2013年12期

7 周國安;李強;陳新;胡旭;;云環(huán)境下海量小文件存儲技術研究綜述[J];信息網絡安全;2014年06期

8 熊煉;徐正全;王濤;顧鑫;;云環(huán)境下的時空數(shù)據(jù)小文件存儲策略[J];武漢大學學報(信息科學版);2014年10期

9 楊洪章;張軍偉;劉振軍;張建剛;;Readdir++:一種并行網絡文件系統(tǒng)中海量小文件讀優(yōu)化技術[J];小型微型計算機系統(tǒng);2014年11期

相關博士學位論文 前1條

1 夏純中;云存儲多數(shù)據(jù)中心QoS保障機制研究[D];江蘇大學;2014年

相關碩士學位論文 前8條

1 汪惺惺;LAMOST科學計算云平臺系統(tǒng)的構建與應用[D];山東大學;2013年

2 陳媛媛;數(shù)據(jù)傳輸和存儲的關鍵技術研究[D];北京郵電大學;2013年

3 王仲剛;基于云計算的海量高鐵噪聲數(shù)據(jù)并行處理方法研究[D];西南交通大學;2013年

4 劉伯睿;海量數(shù)據(jù)小文件分布式存儲系統(tǒng)的設計與實現(xiàn)[D];湖南大學;2013年

5 楊燦;基于HDFS的華圖在線文庫系統(tǒng)數(shù)據(jù)存儲與管理研究[D];中南大學;2013年

6 蘇嘉庚;基于Hadoop平臺的分布式EM聚類算法[D];河北師范大學;2014年

7 孔鑫;基于Hadoop的海量小型XML數(shù)據(jù)文件處理技術的設計和實現(xiàn)[D];西安電子科技大學;2014年

8 何華;GlusterFS的數(shù)據(jù)分布策略與性能優(yōu)化研究[D];國防科學技術大學;2013年

【相似文獻】

相關期刊論文 前10條

1 沈慶偉;微型計算機系統(tǒng)中Cache的結構及性能分析[J];安徽建筑工業(yè)學院學報(自然科學版);2001年03期

2 潔兒;;想一步海闊天空——Cache設置與超頻[J];電腦自做;2001年09期

3 林柏雙;Cache性能和優(yōu)化的研究[J];引進與咨詢;2002年06期

4 舒輝,康緋;循環(huán)Cache命中率分析方法的研究與實現(xiàn)[J];計算機工程與應用;2002年01期

5 ;臺式機CPU:AMD ATHIONXP 3000+ L2Cache 的威力[J];新電腦;2003年03期

6 史文崇,屈艷華;利用Cache技術加快網絡響應速度[J];河北理工學院學報;2003年04期

7 馮建文,章復嘉;Cache實驗設計與實現(xiàn)[J];實驗技術與管理;2004年01期

8 劉方愛;程序的cache使用效率分析[J];計算機工程與應用;2004年05期

9 張震,饒光,唐戎;Web Cache技術及其在電信運營商中的應用[J];電信建設;2004年02期

10 孫元超,邵時;嵌入式移動數(shù)據(jù)庫的客戶機端Cache管理[J];計算機工程;2004年09期

相關會議論文 前10條

1 所光;楊學軍;;雙核處理器性能最優(yōu)的共享Cache劃分[A];2008年全國開放式分布與并行計算機學術會議論文集(上冊)[C];2008年

2 石文強;倪曉強;金作霖;張民選;;Cache動態(tài)插入策略模型研究[A];第十五屆計算機工程與工藝年會暨第一屆微處理器技術論壇論文集（B輯）[C];2011年

3 汪騰;楊少軍;;一種高效的指令Cache的結構[A];中國聲學學會2001年青年學術會議[CYCA'01]論文集[C];2001年

4 ;Application of cache in Data Access Performance Optimization[A];2011年全國電子信息技術與應用學術會議論文集[C];2011年

5 李凡;李建中;何震瀛;;XML數(shù)據(jù)Cache策略研究[A];第二十二屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2005年

6 ;Research on WEB Cache Prediction Recommend Mechanism Based on Usage Pattern[A];中國電子學會第十五屆信息論學術年會暨第一屆全國網絡編碼學術年會論文集（上冊）[C];2008年

7 宋杰;欒影;王廣奇;于戈;王大玲;;OR-Cache:一種有效的對象-關系映射模型[A];第二十三屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2006年

8 張承義;郭維;周宏偉;;Cache漏流功耗的自適應優(yōu)化:動態(tài)容量調整[A];第十五屆計算機工程與工藝年會暨第一屆微處理器技術論壇論文集（B輯）[C];2011年

9 鄭涵;吳英;丁曉東;樂嘉錦;;基于Web的個性化智能Cache庫[A];第二十屆全國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2003年

10 周旋;馮玉才;李碧波;孫小薇;;多服務器DBMS的Cache管理[A];數(shù)據(jù)庫研究與進展95——第十三屆全國數(shù)據(jù)庫學術會議論文集[C];1995年

相關重要報紙文章 前10條

1 上海 李超;什么是Cache[N];電腦報;2001年

2 徐春梅;國際品牌進入中國：適應是關鍵[N];中國經營報;2006年

3 劉昌勇;小緩存里的大學問[N];中國電腦教育報;2004年

4 超頻者;K7-650（0015）最新實超報告[N];大眾科技報;2000年

5 ;阿萌小辭典[N];電腦報;2004年

6 山東 黃家貞;富有個性的離線瀏覽器——CacheX[N];電腦報;2001年

7 中國計算機報測試實驗室 王炳晨;Duron抵京，Thunderbird爭宏[N];中國計算機報;2000年

8 廣東 李鋒;妙用 Cache 優(yōu)化 Windows 2000[N];電腦報;2001年

9 巖公;電信網加速不難[N];中國計算機報;2003年

10 北京共創(chuàng)開源軟件股份有限公司 董孝峰;共創(chuàng)NC的設計與實現(xiàn)[N];中國計算機報;2004年

相關博士學位論文 前10條

1 周宏偉;微處理器中Cache漏流功耗的體系結構級優(yōu)化技術研究[D];國防科學技術大學;2007年

2 田新華;面向性能優(yōu)化的壓縮cache技術研究[D];國防科學技術大學;2007年

3 陳黎明;嵌入式微處理器中動態(tài)可配置Cache結構的研究[D];華中科技大學;2009年

4 付雄;利用程序分析和優(yōu)化提高Cache性能[D];中國科學技術大學;2007年

5 賈小敏;多核處理器片上Cache訪問行為分析與優(yōu)化機制研究[D];國防科學技術大學;2011年

6 唐軼軒;面向多線程應用的Cache優(yōu)化策略及并行模擬研究[D];中國科學技術大學;2012年

7 項曉燕;體系結構級Cache功耗優(yōu)化技術研究[D];浙江大學;2013年

8 所光;面向科學計算應用的多核處理器Cache劃分策略研究[D];國防科學技術大學;2009年

9 彭蔓蔓;體系結構級低能耗Cache和動態(tài)電壓縮放技術研究[D];湖南大學;2007年

10 晏沛湘;片上多核處理器二級Cache結構及資源管理技術研究[D];國防科學技術大學;2012年

相關碩士學位論文 前10條

1 劉彬;基于路暫停方法的高性能低功耗Cache研究[D];湖南大學;2007年

2 李冬妮;嵌入式系統(tǒng)中低功耗Cache的重構技術研究[D];湖南大學;2012年

3 馮穎;可重構Cache體系結構和算法研究[D];西安電子科技大學;2008年

4 李黎;嵌入式系統(tǒng)中低功耗可重構Cache的分析與研究[D];上海交通大學;2006年

5 陳淑玉;低功耗高速片上緩沖存儲器（Cache）設計[D];復旦大學;2009年

6 曹飛;高性能DSP一級數(shù)據(jù)Cache控制器的設計與實現(xiàn)[D];國防科學技術大學;2009年

7 李曉麗;基于目錄協(xié)議的Cache結構設計[D];哈爾濱工程大學;2008年

8 姜難難;嵌入式處理器中Cache的研究與設計[D];哈爾濱工業(yè)大學;2009年

9 劉文佳;多核處理器Cache一致性研究與設計[D];哈爾濱工程大學;2010年

10 薛燕;Cache預測技術的研究[D];西北工業(yè)大學;2005年

本文編號：2537301