本文關(guān)鍵詞：面向數(shù)字社區(qū)的云存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)

  更多相關(guān)文章： 云存儲(chǔ) Hadoop HDFS 類庫(kù)

【摘要】：隨著信息技術(shù)的不斷發(fā)展,越來越多的數(shù)據(jù)在不斷產(chǎn)生。傳統(tǒng)的存儲(chǔ)方式已經(jīng)漸漸不能夠應(yīng)對(duì)海量數(shù)據(jù)所帶來的挑戰(zhàn)。因此,如何存儲(chǔ)海量數(shù)據(jù)成為了一個(gè)亟需解決的問題。此外,使用傳統(tǒng)的數(shù)據(jù)存儲(chǔ)方式進(jìn)行數(shù)據(jù)存取時(shí),很大程度上受到地域和時(shí)間的限制,不能夠隨時(shí)隨地的存取數(shù)據(jù)或者與他人分享數(shù)據(jù),操作繁瑣。為了解決上述問題,本文面向數(shù)字社區(qū),通過數(shù)字社區(qū)和信息技術(shù)的契合點(diǎn),將云存儲(chǔ)技術(shù)運(yùn)用到其中,并參考多種設(shè)計(jì)模式,運(yùn)用Hadoop的HDFS技術(shù)、SSH2框架、MVC框架和B/S架構(gòu),研究并設(shè)計(jì)了一套云存儲(chǔ)系統(tǒng)。該系統(tǒng)可以存儲(chǔ)海量數(shù)據(jù),能夠?qū)崿F(xiàn)數(shù)據(jù)的隨時(shí)隨地存取,能夠?qū)⒃緩?fù)雜的數(shù)據(jù)共享操作變得簡(jiǎn)單,并且增強(qiáng)了人們之間的交流互動(dòng),從而良好地解決了上述問題。而且通過將云存儲(chǔ)系統(tǒng)與數(shù)字社區(qū)相結(jié)合,本文能夠使社區(qū)居民享受云存儲(chǔ)帶來的便利和樂趣。此外,當(dāng)今很多的云存儲(chǔ)應(yīng)用,僅僅是為普通用戶服務(wù),而沒有為開發(fā)人員設(shè)計(jì)一套開發(fā)工具,以提高開發(fā)效率。而本文不僅研究實(shí)現(xiàn)了一套云存儲(chǔ)系統(tǒng),還研究設(shè)計(jì)了一套基于該系統(tǒng)的類庫(kù),這也是本文的創(chuàng)新點(diǎn)。這套類庫(kù)封裝了開發(fā)云存儲(chǔ)類應(yīng)用所需要的各種接口、類以及方法,設(shè)計(jì)良好,功能完備,使用簡(jiǎn)單,能夠提高開發(fā)人員針對(duì)云存儲(chǔ)類應(yīng)用的開發(fā)效率,縮短開發(fā)周期,降低開發(fā)難度。本文的具體研究過程如下：第一,閱讀中外文文獻(xiàn),研究本文的關(guān)鍵技術(shù),包括云存儲(chǔ)技術(shù)、Hadoop框架技術(shù)、JSON技術(shù)以及SSH2框架技術(shù)。第二,研究本文的底層分布式文件系統(tǒng)。首先闡述系統(tǒng)底層的體系結(jié)構(gòu),介紹了NameNode與DataNode的作用。然后研究了副本管理機(jī)制,包括副本技術(shù)以及副本策略。隨后研究了底層數(shù)據(jù)操作機(jī)制,包括寫入操作和讀取操作。最后進(jìn)行了NameNode的優(yōu)化設(shè)計(jì)。第三,參考多種設(shè)計(jì)模式、設(shè)計(jì)原則,參考MVC框架和B/S架構(gòu),本文對(duì)云存儲(chǔ)系統(tǒng)進(jìn)行了設(shè)計(jì)。首先進(jìn)行系統(tǒng)的結(jié)構(gòu)設(shè)計(jì),然后進(jìn)行了數(shù)據(jù)庫(kù)設(shè)計(jì),最后本文按照前臺(tái)、后臺(tái)的順序,分別對(duì)前臺(tái)模塊和后臺(tái)模塊的關(guān)鍵功能做了研究與設(shè)計(jì)。第四,本文通過對(duì)開發(fā)人員的研發(fā)需求進(jìn)行分析,通過對(duì)軟件開發(fā)過程進(jìn)行一般化的抽象、歸納和概括,研究設(shè)計(jì)了基于本系統(tǒng)的類庫(kù)。然后使用該類哭快速開發(fā)了一個(gè)云存儲(chǔ)類的應(yīng)用,該過程驗(yàn)證了本類庫(kù)的易用性、功能完備性,以及其在開發(fā)云盤類應(yīng)用中起到的作用。
【關(guān)鍵詞】：云存儲(chǔ) Hadoop HDFS 類庫(kù)
【學(xué)位授予單位】：中國(guó)海洋大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP333
【目錄】：

• 摘要5-7
• Abstract7-12
• 1 緒論12-20
• 1.1 研究的背景和意義12-14
• 1.1.1 研究背景12-14
• 1.1.2 研究意義14
• 1.2 云存儲(chǔ)技術(shù)研究現(xiàn)狀14-18
• 1.2.1 國(guó)外研究現(xiàn)狀15-17
• 1.2.2 國(guó)內(nèi)研究現(xiàn)狀17-18
• 1.3 研究?jī)?nèi)容和思路18
• 1.4 本文的組織結(jié)構(gòu)18-19
• 1.5 本章小結(jié)19-20
• 2 云存儲(chǔ)關(guān)鍵技術(shù)的研究20-30
• 2.1 云存儲(chǔ)技術(shù)20-21
• 2.1.1 云存儲(chǔ)結(jié)構(gòu)20
• 2.1.2 云存儲(chǔ)分類20-21
• 2.2 Hadoop框架21-23
• 2.3 JSON技術(shù)23-25
• 2.4 SSH2框架25-29
• 2.4.1 Struts2框架25-28
• 2.4.2 Hibernate框架28-29
• 2.4.3 Spring框架29
• 2.5 本章小結(jié)29-30
• 3 底層分布式文件系統(tǒng)的研究與設(shè)計(jì)30-41
• 3.1 系統(tǒng)底層的體系結(jié)構(gòu)30-33
• 3.1.1 NameNode31-32
• 3.1.2 DataNode32-33
• 3.2 副本管理機(jī)制33-36
• 3.2.1 副本技術(shù)33-34
• 3.2.2 副本策略34-36
• 3.3 數(shù)據(jù)操作機(jī)制36-38
• 3.3.1 寫入操作36-37
• 3.3.2 讀取操作37-38
• 3.4 NameNode的優(yōu)化38-40
• 3.5 本章小結(jié)40-41
• 4 云存儲(chǔ)系統(tǒng)的設(shè)計(jì)41-62
• 4.1 系統(tǒng)結(jié)構(gòu)41-44
• 4.1.1 層次架構(gòu)41-42
• 4.1.2 網(wǎng)絡(luò)架構(gòu)42
• 4.1.3 技術(shù)結(jié)構(gòu)42-44
• 4.1.4 文件夾組織結(jié)構(gòu)44
• 4.2 數(shù)據(jù)庫(kù)設(shè)計(jì)44-48
• 4.2.1 概念結(jié)構(gòu)44-45
• 4.2.2 邏輯結(jié)構(gòu)45-48
• 4.3 前臺(tái)功能模塊的設(shè)計(jì)48-57
• 4.3.1 注冊(cè)功能48-50
• 4.3.2 上傳功能50-51
• 4.3.3 刪除功能51-52
• 4.3.4 下載功能52-53
• 4.3.5 復(fù)制功能53-54
• 4.3.6 分享功能54-55
• 4.3.7 回收站功能55-57
• 4.4 后臺(tái)關(guān)鍵功能的設(shè)計(jì)57-61
• 4.4.1 用戶搜索58-59
• 4.4.2 權(quán)限管理59-60
• 4.4.3 評(píng)論搜索60-61
• 4.5 本章小結(jié)61-62
• 5 類庫(kù)的設(shè)計(jì)以及應(yīng)用與驗(yàn)證62-81
• 5.1 總體結(jié)構(gòu)62-65
• 5.1.1 層次結(jié)構(gòu)62-63
• 5.1.2 功能結(jié)構(gòu)63-65
• 5.1.3 文件夾組織結(jié)構(gòu)65
• 5.2 類庫(kù)關(guān)鍵模塊的設(shè)計(jì)65-72
• 5.2.0 數(shù)據(jù)庫(kù)腳本庫(kù)65-66
• 5.2.1 服務(wù)類庫(kù)66-71
• 5.2.2 功能類庫(kù)71-72
• 5.3 類庫(kù)的應(yīng)用與驗(yàn)證72-80
• 5.3.1 準(zhǔn)備工作72-74
• 5.3.2 類庫(kù)的應(yīng)用過程74-79
• 5.3.3 結(jié)論79-80
• 5.4 本章小結(jié)80-81
• 6 總結(jié)與展望81-83
• 6.1 文章總結(jié)81
• 6.2 文章創(chuàng)新點(diǎn)81-82
• 6.3 研究展望82-83
• 參考文獻(xiàn)83-87
• 致謝87-88
• 個(gè)人簡(jiǎn)歷88

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 李紅;藍(lán)光存儲(chǔ)系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲(chǔ)系統(tǒng) 金融行業(yè)應(yīng)用卓越獎(jiǎng) 醫(yī)療行業(yè)應(yīng)用卓越獎(jiǎng)[J];每周電腦報(bào);2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲(chǔ)系統(tǒng) 超大容量 高速存取[J];中國(guó)計(jì)算機(jī)用戶;2005年31期

4 謝世誠(chéng);;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

5 ;昆騰分級(jí)存儲(chǔ)系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲(chǔ)系統(tǒng)或被地方政府看好[J];中國(guó)有線電視;2013年08期

7 湯赫男;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲(chǔ)系統(tǒng)[J];中國(guó)計(jì)算機(jī)用戶;2000年08期

10 賈莉;;Symmetrix8000實(shí)現(xiàn)19TB存儲(chǔ)[J];每周電腦報(bào);2000年18期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲(chǔ)系統(tǒng)[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

5 汪位龍;;設(shè)計(jì)院存儲(chǔ)系統(tǒng)建設(shè)初探[A];中國(guó)公路學(xué)會(huì)計(jì)算機(jī)應(yīng)用分會(huì)2004年年會(huì)學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲(chǔ)系統(tǒng)分析[A];2009年中國(guó)高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國(guó)氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測(cè)”分會(huì)場(chǎng)論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計(jì)算的冗余刪除存儲(chǔ)系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會(huì)論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[A];中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2010年

10 宮海林;郭長(zhǎng)國(guó);苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲(chǔ)系統(tǒng)GSL[A];2006年全國(guó)開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 ;第三季度中國(guó)存儲(chǔ)系統(tǒng)市場(chǎng)達(dá)19.1億元[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2005年

2 本報(bào)記者 薛斐;服務(wù)：存儲(chǔ)系統(tǒng)的靈魂[N];計(jì)算機(jī)世界;2002年

3 單群一;惠普推出全新一體化存儲(chǔ)系統(tǒng)[N];中國(guó)稅務(wù)報(bào);2007年

4 ;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲(chǔ)系統(tǒng)市場(chǎng)價(jià)值達(dá)12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2007年

7 陳耀光;朗登 扛起存儲(chǔ)系統(tǒng)設(shè)計(jì)院的大旗[N];中國(guó)企業(yè)報(bào);2001年

8 ;富士通存儲(chǔ)系統(tǒng)全面升級(jí)[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲(chǔ)系統(tǒng)有了“設(shè)計(jì)院”[N];網(wǎng)絡(luò)世界;2001年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 趙雨虹;云存儲(chǔ)系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 陸承濤;存儲(chǔ)系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

3 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

4 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

5 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

6 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

7 刁瑩;用數(shù)學(xué)建模方法評(píng)價(jià)存儲(chǔ)系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

8 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲(chǔ)系統(tǒng)研究[D];電子科技大學(xué);2009年

9 王玉林;多節(jié)點(diǎn)容錯(cuò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)與緩存組織研究[D];電子科技大學(xué);2010年

10 田敬;對(duì)等存儲(chǔ)系統(tǒng)中的數(shù)據(jù)可用性與安全性研究[D];北京大學(xué);2007年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 張明;IaaS中基于熱點(diǎn)數(shù)據(jù)的存儲(chǔ)系統(tǒng)研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 蔣靜遠(yuǎn);基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲(chǔ)系統(tǒng)[D];浙江大學(xué);2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

5 許孟杰;嵌入式快速存儲(chǔ)模塊的研究與實(shí)現(xiàn)[D];中國(guó)艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲(chǔ)系統(tǒng)存儲(chǔ)引擎設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 王曉;混合存儲(chǔ)系統(tǒng)高效快照技術(shù)研究[D];北京理工大學(xué);2015年

8 邱登峰;基于Hadoop可公共審計(jì)云存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

9 張致元;電子商品存儲(chǔ)系統(tǒng)設(shè)計(jì)與研究[D];復(fù)旦大學(xué);2014年

10 劉秉煦;云存儲(chǔ)環(huán)境下的混合存儲(chǔ)算法研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

，

本文編號(hào)：912621