本文關(guān)鍵詞：基于Hadoop的海量圖片云存儲(chǔ)系統(tǒng)研究與設(shè)計(jì)

  更多相關(guān)文章： 云計(jì)算 Hadoop MapReduce 分布式 圖片存儲(chǔ)

【摘要】：進(jìn)入二十一世紀(jì)以后，隨著互聯(lián)網(wǎng)的不斷發(fā)展和互聯(lián)網(wǎng)技術(shù)的深入應(yīng)用，一些大型的門戶網(wǎng)站和電子商務(wù)網(wǎng)站迅速發(fā)展起來，如淘寶網(wǎng)、京東、亞馬遜、新浪等。這些網(wǎng)站圖片所占用的資源相當(dāng)大，且其數(shù)量呈爆炸式增長(zhǎng)，并且具有高并發(fā)訪問性。面對(duì)海量的圖片資源，如何高效的存儲(chǔ)以及如何在滿足高并發(fā)訪問的前提下構(gòu)建高效廉價(jià)的存儲(chǔ)系統(tǒng)成為軟件架構(gòu)師需要迫切解決的問題。 云計(jì)算的出現(xiàn)給我們提供了一條思路，通過分析我們可以采用分布式存儲(chǔ)系統(tǒng)來解決上述難題。本文通過分析海量圖片的存儲(chǔ)需求，以及對(duì)現(xiàn)有分布式系統(tǒng)的研究，提出了一種基于云計(jì)算的海量圖片存儲(chǔ)模型。該模型部署在Linux機(jī)器集群上，以Hadoop中的HDFS為基礎(chǔ)，并且通過優(yōu)化實(shí)現(xiàn)了高容錯(cuò)性，，并且能夠提供可靠的高并發(fā)訪問。采用新型的數(shù)據(jù)組織結(jié)構(gòu)，把文件名和物理地址相映射，從而提供了良好讀寫性。同時(shí)采用HA架構(gòu)，保證系統(tǒng)的可用性。 本文的研究?jī)?nèi)容主要包含以下三個(gè)方面： 第一，通過對(duì)海量圖片存儲(chǔ)的需求分析以及對(duì)現(xiàn)有分布式系統(tǒng)的研究，提出了基于Hadoop的存儲(chǔ)模型。通過采用Master/Slave架構(gòu)，實(shí)現(xiàn)了在廉價(jià)的計(jì)算機(jī)集群上部署系統(tǒng)，并且具有高容錯(cuò)性和擴(kuò)展性。 第二，通過設(shè)計(jì)緩存系統(tǒng)保證了存儲(chǔ)系統(tǒng)的穩(wěn)定性。通過設(shè)計(jì)均衡負(fù)載，實(shí)現(xiàn)了對(duì)各個(gè)存儲(chǔ)節(jié)點(diǎn)的優(yōu)化。 第三，在對(duì)圖片元數(shù)據(jù)的存儲(chǔ)中采用的是Hadoop的HBase。通過對(duì)圖片文件名的重新設(shè)計(jì)，使得同一類型的圖片所存儲(chǔ)的物理地址盡可能的靠近，從而提高了查詢的效率。 本文研究的存儲(chǔ)系統(tǒng)在Linux服務(wù)器上進(jìn)行了系統(tǒng)的搭建，通過一系列的測(cè)試所得的數(shù)據(jù)分析了系統(tǒng)的合理性和可行性，并且驗(yàn)證了文中所提方法的有效性和實(shí)用性。
【關(guān)鍵詞】：云計(jì)算 Hadoop MapReduce 分布式 圖片存儲(chǔ)
【學(xué)位授予單位】：中國(guó)海洋大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要5-6
• Abstract6-10
• 1 緒論10-14
• 1.1 課題研究的背景10-12
• 1.1.1 項(xiàng)目背景10-11
• 1.1.2 技術(shù)背景11-12
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀12-13
• 1.3 論文結(jié)構(gòu)13-14
• 2 云計(jì)算和分布式系統(tǒng)介紹14-28
• 2.1 云計(jì)算14-18
• 2.1.1 云計(jì)算的概念和特點(diǎn)14-16
• 2.1.2 云計(jì)算的分類16
• 2.1.3 云計(jì)算體系結(jié)構(gòu)介紹16-18
• 2.1.4 云計(jì)算發(fā)展現(xiàn)狀18
• 2.2 分布式系統(tǒng)介紹18-26
• 2.2.1 三種分布式系統(tǒng)模型簡(jiǎn)介18-23
• 2.2.2 分布式系統(tǒng)算法介紹23-26
• 2.3 本章小結(jié)26-28
• 3 Hadoop 云計(jì)算系統(tǒng)深入分析28-40
• 3.1 Hadoop 簡(jiǎn)介28-30
• 3.1.1 Hadoop 相關(guān)背景28-29
• 3.1.2 Hadoop 整體架構(gòu)模型29-30
• 3.1.3 Hadoop 應(yīng)用案例30
• 3.2 Hadoop 關(guān)鍵技術(shù)30-38
• 3.2.1 HDFS30-32
• 3.2.2 MapReduce32-36
• 3.2.3 HBase36-38
• 3.3 本章小結(jié)38-40
• 4 圖片存儲(chǔ)模型設(shè)計(jì)40-56
• 4.1 需求分析40-41
• 4.2 系統(tǒng)整體架構(gòu)41-42
• 4.3 讀寫流程42-43
• 4.4 存儲(chǔ)模型各個(gè)模塊設(shè)計(jì)43-54
• 4.4.1 業(yè)務(wù)處理模塊設(shè)計(jì)44-45
• 4.4.2 圖片索引模塊設(shè)計(jì)45-47
• 4.4.3 存儲(chǔ)控制模塊設(shè)計(jì)47-48
• 4.4.4 緩存服務(wù)模塊設(shè)計(jì)48-49
• 4.4.5 負(fù)載均衡模塊設(shè)計(jì)49-50
• 4.4.6 存儲(chǔ)模塊設(shè)計(jì)50-54
• 4.5 本章小結(jié)54-56
• 5 整體實(shí)驗(yàn)設(shè)計(jì)和結(jié)果分析56-66
• 5.1 實(shí)驗(yàn)設(shè)計(jì)56-60
• 5.1.1 實(shí)驗(yàn)?zāi)康?/span>56
• 5.1.2 實(shí)驗(yàn)準(zhǔn)備56-57
• 5.1.3 實(shí)驗(yàn)設(shè)計(jì)57-60
• 5.2 試驗(yàn)流程和結(jié)果分析60-64
• 5.2.1 實(shí)驗(yàn)流程60
• 5.2.2 實(shí)驗(yàn)結(jié)果分析60-64
• 5.3 本章小結(jié)64-66
• 6 總結(jié)和展望66-68
• 6.1 工作總結(jié)66
• 6.2 下一步工作66-68
• 參考文獻(xiàn)68-72
• 致謝72-74
• 附錄 A74-75
• 附錄 B75-76
• 附錄 C76-77
• 附錄 D77-79
• 個(gè)人簡(jiǎn)歷79
• 發(fā)表的學(xué)術(shù)論文79-80

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前6條

1 李臣波;劉潤(rùn)濤;;一種基于Dijkstra的最短路徑算法[J];哈爾濱理工大學(xué)學(xué)報(bào);2008年03期

2 孫牧;;云端的小飛象—Hadoop[J];程序員;2008年10期

3 陳全;鄧倩妮;;云計(jì)算及其關(guān)鍵技術(shù)[J];計(jì)算機(jī)應(yīng)用;2009年09期

4 張建勛;古志民;鄭超;;云計(jì)算研究進(jìn)展綜述[J];計(jì)算機(jī)應(yīng)用研究;2010年02期

5 辛軍;陳康;鄭緯民;;虛擬化的集群資源管理技術(shù)研究[J];計(jì)算機(jī)科學(xué)與探索;2010年04期

6 許春玲;張廣泉;;分布式文件系統(tǒng)Hadoop HDFS與傳統(tǒng)文件系統(tǒng)Linux FS的比較與分析[J];蘇州大學(xué)學(xué)報(bào)(工科版);2010年04期

本文編號(hào)：1030738