本文關(guān)鍵詞：基于云計(jì)算的數(shù)據(jù)存儲研究

  更多相關(guān)文章： 云計(jì)算 數(shù)據(jù)存儲 Hadoop

【摘要】：云計(jì)算是一種大規(guī)模的分布式計(jì)算技術(shù),是分布式計(jì)算和網(wǎng)格計(jì)算的延伸,近年來發(fā)展迅速,對IT行業(yè)產(chǎn)生了巨大影響。Hadoop是云計(jì)算技術(shù)中針對數(shù)據(jù)存儲進(jìn)行分布式處理的技術(shù)。Hadoop框架應(yīng)用廣泛,它可以通過云計(jì)算集群來實(shí)現(xiàn)海量數(shù)據(jù)存儲和應(yīng)用程序運(yùn)行。實(shí)現(xiàn)云計(jì)算服務(wù)的基本條件是實(shí)現(xiàn)高性能的云存儲,它通過應(yīng)用軟件將網(wǎng)絡(luò)中的各類存儲設(shè)備進(jìn)行整合后協(xié)同工作,對外提供數(shù)據(jù)存儲功能和業(yè)務(wù)訪問功能。本文首先深入理解現(xiàn)有的分布式計(jì)算和存儲技術(shù)、Hadoop的核心組件分布式文件系統(tǒng)HDFS、分布式計(jì)算模型MapReduce和分布式數(shù)據(jù)庫HBase的工作流程,在數(shù)據(jù)文件處理、安全加密處理、小文件處理和非結(jié)構(gòu)化數(shù)據(jù)處理等幾方面進(jìn)行分析和設(shè)計(jì),采用Linux集群技術(shù)結(jié)合并行分布式技術(shù)和Hadoop集群技術(shù),應(yīng)用Eclipse、Tomcat等開發(fā)工具整合虛擬機(jī)搭建基于Hadoop的云計(jì)算平臺,以HDFS和MapReduce作為處理海量數(shù)據(jù)的方法,建立基于Hadoop的云存儲模型,實(shí)現(xiàn)了海量數(shù)據(jù)的存儲和分布式處理。通過對基于云計(jì)算的數(shù)據(jù)存儲研究,對云計(jì)算環(huán)境下的數(shù)據(jù)存儲體系結(jié)構(gòu)、分布式文件系統(tǒng)進(jìn)行了分析,建立的云存儲模型可以為企業(yè)創(chuàng)建基于云計(jì)算的數(shù)據(jù)中心提供具有較高可用性、擴(kuò)展性和安全性的解決方案。將該模型應(yīng)用于海量數(shù)據(jù)的存儲中,可以在日志處理、搜索引擎和文件索引等領(lǐng)域得到更好的性能。
【關(guān)鍵詞】：云計(jì)算 數(shù)據(jù)存儲 Hadoop
【學(xué)位授予單位】：天津大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要4-5
• ABSTRACT5-8
• 第一章 緒論8-12
• 1.1 研究背景和意義8-9
• 1.2 研究內(nèi)容和研究現(xiàn)狀9-10
• 1.3 組織結(jié)構(gòu)10-12
• 第二章 相關(guān)技術(shù)綜述12-22
• 2.1 分布式系統(tǒng)12
• 2.2 云計(jì)算12-17
• 2.3 Hadoop17-20
• 2.4 開發(fā)工具20-22
• 第三章 云存儲平臺的分析22-27
• 3.1 可行性研究22
• 3.2 平臺整體分析22-24
• 3.2.1 整體分析22-23
• 3.2.2 性能需求23
• 3.2.3 平臺特點(diǎn)23-24
• 3.3 功能需求分析24-27
• 3.3.1 數(shù)據(jù)文件處理24
• 3.3.2 安全加密處理24-25
• 3.3.3 小文件處理25-26
• 3.3.4 非結(jié)構(gòu)化數(shù)據(jù)處理26-27
• 第四章 云存儲平臺的設(shè)計(jì)27-37
• 4.1 設(shè)計(jì)目標(biāo)27
• 4.2 整體設(shè)計(jì)方案27-29
• 4.3 數(shù)據(jù)文件處理29-30
• 4.4 安全加密處理30-33
• 4.5 小文件處理33-35
• 4.6 非結(jié)構(gòu)化數(shù)據(jù)處理35-37
• 第五章 云存儲平臺的搭建37-52
• 5.1 平臺技術(shù)架構(gòu)37-38
• 5.2 開發(fā)環(huán)境的配置38-39
• 5.3 平臺的配置39-47
• 5.4 平臺功能的實(shí)現(xiàn)47-49
• 5.4.1 平臺功能模塊47
• 5.4.2 文件瀏覽功能47-48
• 5.4.3 文件上傳功能48-49
• 5.4.4 文件共享功能49
• 5.4.5 文件下載功能49
• 5.5 平臺的測試49-52
• 第六章 總結(jié)與展望52-54
• 6.1 總結(jié)52
• 6.2 展望52-54
• 參考文獻(xiàn)54-56
• 致謝56-57

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 鄭士貴;數(shù)據(jù)存儲的全面管理[J];管理科學(xué)文摘;1997年09期

2 相曉明;網(wǎng)上存儲:X:Drive[J];互聯(lián)網(wǎng)周刊;2000年30期

3 王宇葳;誰來吞吐你的數(shù)據(jù)[J];互聯(lián)網(wǎng)周刊;2000年30期

4 袁勝,馮毅,伍顯峰,涂春明,盛云川;移動計(jì)費(fèi)營業(yè)系統(tǒng)中數(shù)據(jù)存儲的考慮[J];電信技術(shù);2001年01期

5 楊向東;數(shù)據(jù)存儲——深化金融電子化的奠基之石[J];華南金融電腦;2002年03期

6 李子臣,王振光,王文靜;外包數(shù)據(jù)存儲——經(jīng)濟(jì)、安全、高效[J];現(xiàn)代情報(bào);2002年11期

7 楊向東;數(shù)據(jù)存儲——金融電子化的基石[J];中國金融電腦;2002年03期

8 黃重訊;企業(yè)的數(shù)據(jù)存儲[J];鄉(xiāng)鎮(zhèn)企業(yè)研究;2003年06期

9 李婕;;醫(yī)院信息化促進(jìn)數(shù)據(jù)存儲中心的建立[J];醫(yī)學(xué)信息;2006年09期

10 夏歡;熊前興;馮櫻;;數(shù)據(jù)存儲的探討[J];科技信息;2006年S4期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 孫崢皓;汪宏f;閻巖;岑小鋒;鄧志均;;淺談信息化戰(zhàn)爭對大數(shù)據(jù)存儲與分析的要求及對策[A];2013第一屆中國指揮控制大會論文集[C];2013年

2 張沁川;王厚軍;;基于大容量閃存的數(shù)據(jù)存儲與管理[A];2008中國儀器儀表與測控技術(shù)進(jìn)展大會論文集（Ⅲ）[C];2008年

3 霍躍華;;IP SAN在煤炭企業(yè)數(shù)據(jù)存儲的應(yīng)用研究[A];煤礦自動化與信息化——第20屆全國煤礦自動化與信息化學(xué)術(shù)會議暨第2屆中國煤礦信息化與自動化高層論壇論文集[C];2010年

4 盛磊;李美華;程林;;一種軋鋼過程數(shù)據(jù)存儲方法[A];全國冶金自動化信息網(wǎng)2014年會論文集[C];2014年

5 王文峰;李佳;;芻議信息系統(tǒng)數(shù)據(jù)存儲與備份系統(tǒng)的構(gòu)建方式[A];2011年云南電力技術(shù)論壇論文集（入選部分）[C];2011年

6 張艷秋;李建中;楊艷;張兆功;;混合負(fù)載多媒體服務(wù)器的數(shù)據(jù)存儲和數(shù)據(jù)提交[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報(bào)告篇）[C];2003年

7 王淑江;;煙臺日報(bào)傳媒集團(tuán)存儲體系規(guī)劃[A];中國新聞技術(shù)工作者聯(lián)合會五屆一次理事會暨學(xué)術(shù)年會論文集（上篇）[C];2009年

8 ;Wallstor網(wǎng)絡(luò)數(shù)據(jù)存儲的新技術(shù)應(yīng)用[A];江蘇省微型電腦應(yīng)用協(xié)會產(chǎn)學(xué)研成果交流會會議資料[C];2010年

9 韋大偉;;分布式數(shù)據(jù)存儲中的機(jī)密性保護(hù)[A];2006年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會議論文集（三）[C];2006年

10 韓德志;;內(nèi)網(wǎng)數(shù)據(jù)存儲安全關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 中國惠普公司網(wǎng)絡(luò)存儲事業(yè)部技術(shù)顧問 周志峰;數(shù)據(jù)存儲面臨七大挑戰(zhàn)[N];計(jì)算機(jī)世界;2001年

2 本報(bào)記者 郭濤;中興通訊打造安全高效的大數(shù)據(jù)存儲[N];中國計(jì)算機(jī)報(bào);2013年

3 本報(bào)記者 陳巍巍;數(shù)據(jù)存儲 進(jìn)化正當(dāng)時(shí)[N];計(jì)算機(jī)世界;2013年

4 本報(bào)記者 黃銳;綠源巢:大數(shù)據(jù)存儲弄潮兒[N];東莞日報(bào);2014年

5 毛玲玲 吳非;數(shù)據(jù)存儲 安全為重[N];解放軍報(bào);2014年

6 本報(bào)記者 郭濤;華為存儲：高端存儲、大數(shù)據(jù)存儲齊頭并進(jìn)[N];中國計(jì)算機(jī)報(bào);2013年

7 本報(bào)記者 方慧玲;糾刪碼技術(shù)：大數(shù)據(jù)存儲的“安全衛(wèi)士”[N];江蘇科技報(bào);2014年

8 ;培養(yǎng)皿中的數(shù)據(jù)存儲[N];網(wǎng)絡(luò)世界;2007年

9 ;2010年中小企業(yè)數(shù)據(jù)存儲市場六大趨勢[N];網(wǎng)絡(luò)世界;2010年

10 本報(bào)實(shí)習(xí)記者 陳勛燕;數(shù)據(jù)存儲網(wǎng)絡(luò)凸現(xiàn)商機(jī) 上海郵通轉(zhuǎn)型前景看好[N];通信信息報(bào);2002年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 付松齡;分布式在線社交網(wǎng)絡(luò)數(shù)據(jù)存儲及優(yōu)化技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2014年

2 張杰;一種高速數(shù)據(jù)存儲方法的研究[D];中國科學(xué)技術(shù)大學(xué);2013年

3 付永忠;基于AFM和硫系相變材料的超高密度數(shù)據(jù)存儲機(jī)理研究[D];江蘇大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 葛佳;P2P網(wǎng)絡(luò)信譽(yù)數(shù)據(jù)存儲與恢復(fù)方法的研究與實(shí)現(xiàn)[D];昆明理工大學(xué);2015年

2 潘陽;基于Hadoop技術(shù)在分布式數(shù)據(jù)存儲中的應(yīng)用研究[D];大連海事大學(xué);2015年

3 秦崢惠;基于Leveldb的企業(yè)級大數(shù)據(jù)集群化存儲設(shè)計(jì)與實(shí)現(xiàn)[D];遼寧科技大學(xué);2015年

4 吉瑛;基于MongoDB的團(tuán)隊(duì)協(xié)作數(shù)據(jù)存儲方案研究與實(shí)現(xiàn)[D];中國科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院);2015年

5 姜威靈;CT仿真數(shù)據(jù)存儲與高速傳輸裝置設(shè)計(jì)[D];東北大學(xué);2014年

6 方頎;基于行數(shù)據(jù)存儲的CBCT圖像重建FPGA電路的優(yōu)化與設(shè)計(jì)[D];哈爾濱工業(yè)大學(xué);2015年

7 張路路;基于MongoDB的大數(shù)據(jù)存儲方法研究與應(yīng)用[D];成都理工大學(xué);2015年

8 張磊;基于Hadoop分布式數(shù)據(jù)存儲傳感設(shè)備平臺的描述[D];南京郵電大學(xué);2015年

9 賈新宇;基于云計(jì)算的GIS柵格數(shù)據(jù)存儲與算法研究[D];吉林大學(xué);2015年

10 李青;科技云平臺的數(shù)據(jù)存儲管理技術(shù)研究[D];北方工業(yè)大學(xué);2016年

，

本文編號：601757