本文關(guān)鍵詞：基于HDFS的云存儲(chǔ)平臺(tái)在企業(yè)信息管理系統(tǒng)中的應(yīng)用研究

  更多相關(guān)文章： 小文件 二級索引機(jī)制 HDFS 云存儲(chǔ)

【摘要】：伴隨著現(xiàn)代科技的發(fā)展,各種信息呈現(xiàn)出爆炸是級數(shù)增長的方式。普通的存儲(chǔ)體系的結(jié)構(gòu)與方式已不再適應(yīng)現(xiàn)代煤炭企業(yè)的爆炸式增長數(shù)據(jù)存儲(chǔ)的需求,基于云計(jì)算的云存儲(chǔ)系統(tǒng)便應(yīng)運(yùn)而生。HDFS(Hadoop Distributed FileSystem)作為Hadoop技術(shù)框架的一部分,被稱為是分布式文件存儲(chǔ)系統(tǒng)。目前,國內(nèi)外很多大型企業(yè)都利用HDFS來進(jìn)行海量數(shù)據(jù)的存儲(chǔ)與管理,HDFS體系結(jié)構(gòu)構(gòu)造之初是為了系統(tǒng)存儲(chǔ)占用空間較大的文件而進(jìn)行開發(fā)的,但隨著HDFS分布式文件應(yīng)用范圍越來越廣,在某些應(yīng)用環(huán)境中,存在大量的小文件,會(huì)導(dǎo)致分布式文件系統(tǒng)便出現(xiàn)存儲(chǔ)瓶頸,如何高效處理這樣類型的文件成為一個(gè)亟待解決的問題。本文針對HDFS存儲(chǔ)小文件的問題展開了研究,對HDFS存儲(chǔ)前的小文件處理工作和存儲(chǔ)后的檢索分別提出了改進(jìn)方法,并將其應(yīng)用于煤炭企業(yè)的云存儲(chǔ)平臺(tái)。首先,在原有HDFS存儲(chǔ)結(jié)構(gòu)上添加小文件處理單元,目的在于對小文件進(jìn)行判斷和合并處理,小文件的索引和內(nèi)容以追加寫的方式存入合并文件,解決了大量小文件零散存儲(chǔ)帶來的浪費(fèi)空間問題。其次,在改進(jìn)后的存儲(chǔ)結(jié)構(gòu)上,提出二級索引機(jī)制,將合并索引與合并文件同時(shí)存儲(chǔ)在數(shù)字節(jié)點(diǎn)上,僅用名字節(jié)點(diǎn)上的一條元數(shù)據(jù)記錄合并文件中的小文件的文件名信息,用逐級索引解析的方式進(jìn)行小文件的查找定位,節(jié)約了名字節(jié)點(diǎn)內(nèi)存,提高了訪問效率。最后,開發(fā)了以基于HDFS的云存儲(chǔ)平臺(tái),并以煤炭企業(yè)生產(chǎn)與統(tǒng)計(jì)系統(tǒng)為例,詳細(xì)闡述了HDFS云存儲(chǔ)平臺(tái)在企業(yè)信息管理系統(tǒng)中的應(yīng)用。本系統(tǒng)采用Hadoop 0.20.1作為開發(fā)環(huán)境,1臺(tái)名字節(jié)點(diǎn)和3臺(tái)數(shù)字節(jié)點(diǎn)作為模擬平臺(tái)進(jìn)行改進(jìn)后的小文件存儲(chǔ)系統(tǒng)的性能測試試驗(yàn),分別從內(nèi)存消耗、小文件讀取時(shí)間、小文件寫入時(shí)間方面進(jìn)行測試,取得了較好的效果。
【關(guān)鍵詞】：小文件 二級索引機(jī)制 HDFS 云存儲(chǔ)
【學(xué)位授予單位】：西安科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要3-4
• abstract4-8
• 1 緒論8-13
• 1.1 研究背景及意義8
• 1.2 研究現(xiàn)狀8-11
• 1.2.1 云存儲(chǔ)8-9
• 1.2.2 HDFS小文件存儲(chǔ)的研究現(xiàn)狀9-11
• 1.3 研究內(nèi)容及論文組織安排11-13
• 2 云存儲(chǔ)關(guān)鍵技術(shù)13-20
• 2.1 云存儲(chǔ)關(guān)鍵技術(shù)13-19
• 2.1.1 HDFS系統(tǒng)結(jié)構(gòu)13-14
• 2.1.2 HDFS主要功能組件14-15
• 2.1.3 HDFS的讀寫機(jī)制15-17
• 2.1.4 元數(shù)據(jù)結(jié)構(gòu)17-18
• 2.1.5 通信協(xié)議18-19
• 2.2 本章小結(jié)19-20
• 3 基于HDFS的小文件存儲(chǔ)優(yōu)化方案20-36
• 3.1 HDFS小文件的存儲(chǔ)問題20-23
• 3.1.1 消耗NameNode內(nèi)存20-22
• 3.1.2 削弱訪問的效果22-23
• 3.2 HDFS經(jīng)典方案分析23-24
• 3.2.1 HAR方案23-24
• 3.2.2 Sequence File方案24
• 3.3 改進(jìn)方案24-33
• 3.3.1 存儲(chǔ)體系結(jié)構(gòu)改進(jìn)25-26
• 3.3.2 二級索引機(jī)制26-27
• 3.3.3 改進(jìn)方案的實(shí)現(xiàn)27-33
• 3.4 實(shí)驗(yàn)結(jié)果及分析33-35
• 3.5 本章小結(jié)35-36
• 4 基于HDFS云存儲(chǔ)平臺(tái)的煤炭企業(yè)信息管理系統(tǒng)設(shè)計(jì)36-54
• 4.1 煤炭企業(yè)計(jì)劃與統(tǒng)計(jì)管理系統(tǒng)36-45
• 4.1.1 系統(tǒng)設(shè)計(jì)36-41
• 4.1.2 數(shù)據(jù)庫設(shè)計(jì)41-43
• 4.1.3 系統(tǒng)實(shí)現(xiàn)43-45
• 4.2 云存儲(chǔ)平臺(tái)設(shè)計(jì)45-53
• 4.2.1 方案設(shè)計(jì)45-47
• 4.2.2 環(huán)境搭建47-49
• 4.2.3 系統(tǒng)實(shí)現(xiàn)49-53
• 4.3 本章小結(jié)53-54
• 5 總結(jié)與展望54-56
• 5.1 論文總結(jié)54
• 5.2 論文展望54-56
• 致謝56-57
• 參考文獻(xiàn)57-59
• 附錄59

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 王巖;;網(wǎng)絡(luò)信息存儲(chǔ)平臺(tái)的開發(fā)與應(yīng)用[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2013年10期

2 筱月;締造智能型網(wǎng)絡(luò)存儲(chǔ)平臺(tái)[J];中國計(jì)算機(jī)用戶;2003年28期

3 潘永東;;高校云存儲(chǔ)平臺(tái)建設(shè)的研究和規(guī)劃[J];電子技術(shù)與軟件工程;2013年23期

4 劉華日;陳志民;劉小波;葉志蟬;谷豐;;實(shí)驗(yàn)中心信息存儲(chǔ)平臺(tái)的改進(jìn)與應(yīng)用[J];實(shí)驗(yàn)室科學(xué);2013年05期

5 ;富士通推出全新存儲(chǔ)平臺(tái)[J];互聯(lián)網(wǎng)周刊;2006年22期

6 方延風(fēng);;提高福建省臺(tái)灣文獻(xiàn)信息中心存儲(chǔ)平臺(tái)性能的思考[J];情報(bào)探索;2010年11期

7 ;存儲(chǔ)平臺(tái)三維擴(kuò)展時(shí)代到來[J];中國金融電腦;2011年05期

8 ;存儲(chǔ)平臺(tái)三維擴(kuò)展時(shí)代[J];微電腦世界;2011年08期

9 ;基于HP StorageWorks的綠色存儲(chǔ)平臺(tái)[J];計(jì)算機(jī)與網(wǎng)絡(luò);2008年15期

10 馬天蔚;;150萬誰支撐——惠普為上海熱線計(jì)費(fèi)系統(tǒng)搭建存儲(chǔ)平臺(tái)[J];每周電腦報(bào);2001年61期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前5條

1 蔡靈靈;張艷萍;;新華社統(tǒng)一存儲(chǔ)平臺(tái)的設(shè)計(jì)與實(shí)踐[A];中國新聞技術(shù)工作者聯(lián)合會(huì)五屆一次理事會(huì)暨學(xué)術(shù)年會(huì)論文集（上篇）[C];2009年

2 王猛;蔡靈靈;;異構(gòu)存儲(chǔ)平臺(tái)統(tǒng)一監(jiān)控的設(shè)計(jì)與實(shí)現(xiàn)[A];中國新聞技術(shù)工作者聯(lián)合會(huì)五屆一次理事會(huì)暨學(xué)術(shù)年會(huì)論文集（上篇）[C];2009年

3 郭嘉;;以云存儲(chǔ)平臺(tái)助力電力企業(yè)信息化[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

4 陳志文;;數(shù)據(jù)集中安全存儲(chǔ)平臺(tái)研制[A];中國工程物理研究院科技年報(bào)(2012年版)[C];2012年

5 丁嵩;田敬;陳東;吳剛;代亞非;;UPStore:一個(gè)開放的P2P存儲(chǔ)平臺(tái)[A];第15屆全國信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 綦悠悠;黑龍江聯(lián)通打造網(wǎng)絡(luò)存儲(chǔ)平臺(tái)[N];人民郵電;2007年

2 江蘇省電力公司電力科學(xué)研究院 趙新冬 王勤 戴威;電力行業(yè)存儲(chǔ)平臺(tái)集中管理設(shè)計(jì)[N];中國信息化周報(bào);2014年

3 聞風(fēng);浪潮搭建高品質(zhì)存儲(chǔ)平臺(tái)[N];政府采購信息報(bào);2005年

4 ;富士通展示最新存儲(chǔ)平臺(tái)[N];人民郵電;2007年

5 日立數(shù)據(jù)系統(tǒng)公司(HDS)副總裁兼首席技術(shù)官 Hubert Yoshida;大數(shù)據(jù)存儲(chǔ)平臺(tái)必須具有彈性[N];中國計(jì)算機(jī)報(bào);2012年

6 本報(bào)記者 張廣彬;存儲(chǔ)平臺(tái) 通用為王[N];計(jì)算機(jī)世界;2004年

7 本報(bào)記者 霍皓迪;建設(shè)永續(xù)運(yùn)行的存儲(chǔ)平臺(tái)[N];通信產(chǎn)業(yè)報(bào);2002年

8 蔡彭年;浪潮成功構(gòu)建電子繳稅入庫存儲(chǔ)平臺(tái)[N];中國稅務(wù)報(bào);2007年

9 李佳師;微軟試水存儲(chǔ)平臺(tái)[N];中國電子報(bào);2003年

10 電腦商報(bào)記者 劉一冰;“兼”濟(jì)天下 有“容”乃大[N];電腦商報(bào);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 王雅山;云存儲(chǔ)平臺(tái)中加密數(shù)據(jù)的多關(guān)鍵字排序搜索技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2015年

2 張宇翔;指紋支付系統(tǒng)中海量指紋數(shù)據(jù)云存儲(chǔ)平臺(tái)的優(yōu)化設(shè)計(jì)與實(shí)現(xiàn)[D];浙江師范大學(xué);2015年

3 牛茜;基于HDFS的云存儲(chǔ)平臺(tái)在企業(yè)信息管理系統(tǒng)中的應(yīng)用研究[D];西安科技大學(xué);2015年

4 金晨;警務(wù)信息化系統(tǒng)中云存儲(chǔ)平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)[D];電子科技大學(xué);2013年

5 郝偉;湖南移動(dòng)網(wǎng)管集中云存儲(chǔ)平臺(tái)搭建與測試[D];中南大學(xué);2010年

6 何穎鵬;非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲(chǔ)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2013年

7 田原;云存儲(chǔ)中存儲(chǔ)平臺(tái)與數(shù)據(jù)安全關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2015年

8 劉亮成;小型云存儲(chǔ)平臺(tái)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2013年

9 王磊;一種高性能HDFS存儲(chǔ)平臺(tái)的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2013年

10 汪銳;基于Hadoop的公安系統(tǒng)信息存儲(chǔ)平臺(tái)[D];上海交通大學(xué);2012年

，

本文編號：744463