本文關(guān)鍵詞：云存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)的開發(fā)研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著時(shí)代的發(fā)展和科技的不斷進(jìn)步,最近十年中,全球文件資源總量呈現(xiàn)爆發(fā)式的增長(zhǎng)。為了解決海量用戶文件的存儲(chǔ)問題,以網(wǎng)盤為代表的云存儲(chǔ)技術(shù)應(yīng)運(yùn)而生。目前互聯(lián)網(wǎng)上有許多網(wǎng)盤,而各類網(wǎng)盤由于當(dāng)初設(shè)計(jì)存在問題,因此普遍面臨著系統(tǒng)資源浪費(fèi)、可靠性低、文件上傳與下載效率不高、缺乏區(qū)分度的窘?jīng)r。筆者通過在實(shí)習(xí)公司參與云存儲(chǔ)開發(fā)項(xiàng)目,采用技術(shù)手段替換掉公司原有的FTP存儲(chǔ)方式,以期實(shí)現(xiàn)更快速率、更安全、更貼近用戶的云存儲(chǔ)系統(tǒng)。為此本文完成了基于FastDFS分布式文件系統(tǒng)的總體框架設(shè)計(jì),對(duì)該系統(tǒng)中的各個(gè)核心功能模塊進(jìn)行了設(shè)計(jì)和實(shí)現(xiàn),最終完成了整個(gè)系統(tǒng)的整合與優(yōu)化。本文研究的主要工作有：1.實(shí)現(xiàn)龐大規(guī)模數(shù)據(jù)文件的管理：采取分布式文件系統(tǒng)FastDFS來解決海量數(shù)據(jù)文件的管理難題。2.完整的業(yè)務(wù)邏輯的實(shí)現(xiàn)：構(gòu)建出web service server層,以實(shí)現(xiàn)用戶的私人賬戶安全、虛擬目錄映射管理、前后臺(tái)數(shù)據(jù)交互等功能。3.確保用戶上傳和下載文件的正確性：采用文件校驗(yàn)策略來解決這個(gè)問題。4.系統(tǒng)性能優(yōu)化：采用文件去重技術(shù)、文件秒傳機(jī)制、文件分塊上傳和合并下載技術(shù)來攻克這一難關(guān)。同時(shí)本文中對(duì)文件去重技術(shù)和文件上傳和下載進(jìn)行了優(yōu)化。本文研究的成果經(jīng)過驗(yàn)證符合項(xiàng)目預(yù)期的要求,對(duì)云存儲(chǔ)文件上傳、下載效率的優(yōu)化可以有效的提升用戶體驗(yàn)。大文件去重機(jī)制可以有效的節(jié)約存儲(chǔ)資源,同時(shí)由此引出的文件秒傳機(jī)制極大的縮短了用戶上傳文件的時(shí)間。提升了用戶的良好體驗(yàn)度的同時(shí),也可以帶來更多的盈利空間。
【關(guān)鍵詞】：云存儲(chǔ) FastDFS 分塊上傳 合并下載 文件去重 文件秒傳
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-9
• 第一章 緒論9-14
• 1.1 研究背景9-11
• 1.2 研究現(xiàn)狀11-12
• 1.3 研究?jī)?nèi)容12-13
• 1.4 論文結(jié)構(gòu)13-14
• 第二章 相關(guān)技術(shù)基礎(chǔ)14-26
• 2.1 分布式文件系統(tǒng)與本地文件系統(tǒng)的區(qū)別14
• 2.2 FastDFS簡(jiǎn)介14-17
• 2.2.1 FastDFS概述14-15
• 2.2.2 FastDFS架構(gòu)分析15-16
• 2.2.3 FastDFS的優(yōu)勢(shì)16-17
• 2.3 消息摘要算法和安全哈希算法17-25
• 2.3.1 MD5算法17-22
• 2.3.2 SHA-1算法22-24
• 2.3.3 SHA-1與MD5的對(duì)比24-25
• 2.4 本章小結(jié)25-26
• 第三章 基于FastDFS的云網(wǎng)盤系統(tǒng)的設(shè)計(jì)26-42
• 3.1 總體設(shè)計(jì)框架26-27
• 3.2 FastDFS的設(shè)計(jì)27-35
• 3.2.1 文件數(shù)據(jù)的管理27-29
• 3.2.2 文件上傳與下載29-34
• 3.2.3 文件去重與文件秒傳34-35
• 3.3 web service層的設(shè)計(jì)35-40
• 3.3.1 web service層的作用35
• 3.3.2 RESTful API設(shè)計(jì)35-36
• 3.3.3 目錄映射管理36-37
• 3.3.4 token身份校驗(yàn)機(jī)制37-40
• 3.4 本章小結(jié)40-42
• 第四章 系統(tǒng)性能優(yōu)化42-54
• 4.1 更優(yōu)的文件上傳和下載策略42-48
• 4.1.1 文件的分塊43
• 4.1.2 分塊文件的上傳43-45
• 4.1.3 分塊文件的合并下載45-47
• 4.1.4 性能分析47-48
• 4.2 文件去重效率優(yōu)化48-51
• 4.3 文件上傳和下載的優(yōu)化51-53
• 4.4 本章小結(jié)53-54
• 第五章 性能測(cè)試與評(píng)價(jià)54-60
• 5.1 文件校驗(yàn)碼計(jì)算的性能測(cè)試54-55
• 5.2 文件上傳和下載的性能測(cè)試55-57
• 5.3 文件去重的性能測(cè)試57-59
• 5.4 本章小結(jié)59-60
• 第六章 總結(jié)與展望60-62
• 6.1 論文工作總結(jié)60
• 6.2 展望60-62
• 參考文獻(xiàn)62-65
• 致謝65

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 李紅;藍(lán)光存儲(chǔ)系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲(chǔ)系統(tǒng) 金融行業(yè)應(yīng)用卓越獎(jiǎng) 醫(yī)療行業(yè)應(yīng)用卓越獎(jiǎng)[J];每周電腦報(bào);2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲(chǔ)系統(tǒng) 超大容量 高速存取[J];中國(guó)計(jì)算機(jī)用戶;2005年31期

4 謝世誠(chéng);;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

5 ;昆騰分級(jí)存儲(chǔ)系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲(chǔ)系統(tǒng)或被地方政府看好[J];中國(guó)有線電視;2013年08期

7 湯赫男;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲(chǔ)系統(tǒng)[J];中國(guó)計(jì)算機(jī)用戶;2000年08期

10 賈莉;;Symmetrix8000實(shí)現(xiàn)19TB存儲(chǔ)[J];每周電腦報(bào);2000年18期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲(chǔ)系統(tǒng)[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

5 汪位龍;;設(shè)計(jì)院存儲(chǔ)系統(tǒng)建設(shè)初探[A];中國(guó)公路學(xué)會(huì)計(jì)算機(jī)應(yīng)用分會(huì)2004年年會(huì)學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲(chǔ)系統(tǒng)分析[A];2009年中國(guó)高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國(guó)氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測(cè)”分會(huì)場(chǎng)論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計(jì)算的冗余刪除存儲(chǔ)系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會(huì)論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[A];中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2010年

10 宮海林;郭長(zhǎng)國(guó);苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲(chǔ)系統(tǒng)GSL[A];2006年全國(guó)開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 ;第三季度中國(guó)存儲(chǔ)系統(tǒng)市場(chǎng)達(dá)19.1億元[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2005年

2 本報(bào)記者 薛斐;服務(wù)：存儲(chǔ)系統(tǒng)的靈魂[N];計(jì)算機(jī)世界;2002年

3 單群一;惠普推出全新一體化存儲(chǔ)系統(tǒng)[N];中國(guó)稅務(wù)報(bào);2007年

4 ;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲(chǔ)系統(tǒng)市場(chǎng)價(jià)值達(dá)12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2007年

7 陳耀光;朗登 扛起存儲(chǔ)系統(tǒng)設(shè)計(jì)院的大旗[N];中國(guó)企業(yè)報(bào);2001年

8 ;富士通存儲(chǔ)系統(tǒng)全面升級(jí)[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲(chǔ)系統(tǒng)有了“設(shè)計(jì)院”[N];網(wǎng)絡(luò)世界;2001年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 趙雨虹;云存儲(chǔ)系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 王福偉;列存儲(chǔ)系統(tǒng)的數(shù)據(jù)安全與網(wǎng)絡(luò)性能優(yōu)化模型研究[D];燕山大學(xué);2016年

3 張菁;大規(guī)模分布式糾刪碼存儲(chǔ)系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2015年

4 沈志榮;糾刪碼存儲(chǔ)系統(tǒng)性能優(yōu)化研究[D];清華大學(xué);2015年

5 陸承濤;存儲(chǔ)系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

6 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

7 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

8 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

9 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

10 刁瑩;用數(shù)學(xué)建模方法評(píng)價(jià)存儲(chǔ)系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 俞新杰;跨數(shù)據(jù)中心容錯(cuò)的云存儲(chǔ)系統(tǒng)[D];浙江大學(xué);2016年

3 王振升;可重構(gòu)堆疊存儲(chǔ)系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)研究[D];太原理工大學(xué);2016年

4 王海群;面向數(shù)字社區(qū)的云存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];中國(guó)海洋大學(xué);2015年

5 范海震;基于Linux的MPEG-4圖像壓縮存儲(chǔ)系統(tǒng)[D];西安電子科技大學(xué);2008年

6 陳運(yùn)海;編碼容錯(cuò)的云存儲(chǔ)系統(tǒng)與性能優(yōu)化[D];南京大學(xué);2013年

7 盧義婉;基于網(wǎng)絡(luò)編碼的云存儲(chǔ)系統(tǒng)中負(fù)載均衡技術(shù)研究[D];南京大學(xué);2013年

8 王謙;云存儲(chǔ)系統(tǒng)基于屬性的數(shù)據(jù)訪問控制研究[D];江蘇大學(xué);2016年

9 蔡京津;基于Orleans的塊存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2016年

10 王丹丹;數(shù)字射頻存儲(chǔ)系統(tǒng)中高速DAC電路的設(shè)計(jì)與實(shí)現(xiàn)[D];燕山大學(xué);2016年

  本文關(guān)鍵詞：云存儲(chǔ)系統(tǒng)的關(guān)鍵技術(shù)的開發(fā)研究，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：252353