隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展與深入應(yīng)用,出現(xiàn)了越來(lái)越多像“新浪”“騰訊”“淘寶”等大型門戶網(wǎng)站或電子商務(wù)網(wǎng)站。這些網(wǎng)站都存儲(chǔ)有大量圖片資源,且圖片數(shù)量呈爆炸式的增長(zhǎng)。鑒于商業(yè)存儲(chǔ)擴(kuò)容成本太高,如何在滿足高并發(fā)訪問(wèn)的前提下構(gòu)建廉價(jià)高效的圖片存儲(chǔ)管理系統(tǒng)已經(jīng)成為軟件架構(gòu)師在工作中遇到的最令人頭疼的問(wèn)題。云存儲(chǔ)概念的提出給我們指出了一種解決思路,通過(guò)研究分析,我們可以采用分布式存儲(chǔ)解決上述問(wèn)題。本文在分析國(guó)內(nèi)外現(xiàn)有的分布式存儲(chǔ)系統(tǒng)實(shí)現(xiàn)的基礎(chǔ)上,通過(guò)對(duì)Hadoop的HDFS、MapReduce技術(shù)的研究以及自身圖片存儲(chǔ)的業(yè)務(wù)需求分析和實(shí)際軟硬件實(shí)力評(píng)估,提出了一種基于Hadoop的海量圖片存儲(chǔ)模型。該模型的實(shí)現(xiàn)以Hadoop的HDFS分布式文件系統(tǒng)為基礎(chǔ),硬件構(gòu)筑在普通的Linux機(jī)器集群上,通過(guò)內(nèi)部監(jiān)控實(shí)現(xiàn)高容錯(cuò)、高響應(yīng)、負(fù)載均衡,對(duì)外提供服務(wù)滿足高并發(fā)高可靠的應(yīng)用。它采用了HA架構(gòu)和平滑擴(kuò)容,保證了整個(gè)文件系統(tǒng)的可用性和擴(kuò)展性。它同時(shí)采用扁平化的數(shù)據(jù)組織結(jié)構(gòu),拋棄了傳統(tǒng)文件系統(tǒng)的目錄結(jié)構(gòu),可將文件名映射到文件的物理地址,簡(jiǎn)化了文件的訪問(wèn)流程,提供了良好的讀寫性能。本文主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下：首先... 

【文章來(lái)源】：杭州電子科技大學(xué)浙江省

【文章頁(yè)數(shù)】：85 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 課題研究背景
        1.1.1 項(xiàng)目背景
        1.1.2 技術(shù)背景
    1.2 國(guó)內(nèi)外研究概況
    1.3 研究意義與研究?jī)?nèi)容
    1.4 論文的組織結(jié)構(gòu)
第2章 分布式系統(tǒng)關(guān)鍵技術(shù)
    2.1 分布式系統(tǒng)模型簡(jiǎn)介
        2.1.1 Google的GFS
        2.1.2 Apache的Hadoop
        2.1.3 淘寶的TFS
    2.2 分布式系統(tǒng)基本算法
        2.2.1 分布式存儲(chǔ)算法
        2.2.2 分布式處理算法
    2.4 本章小結(jié)
第3章 Hadoop開源云計(jì)算系統(tǒng)
    3.1 Hadoop介紹
    3.2 Hadoop關(guān)鍵技術(shù)
        3.2.1 HDFS
        3.2.2 MapReduce
        3.2.3 HBase
    3.5 本章小結(jié)
第4章 圖片存儲(chǔ)模型架構(gòu)設(shè)計(jì)
    4.1 圖片存儲(chǔ)需求分析
    4.2 存儲(chǔ)系統(tǒng)整體架構(gòu)和讀寫流程
        4.2.1 存儲(chǔ)系統(tǒng)架構(gòu)
        4.2.2 存儲(chǔ)系統(tǒng)寫流程
        4.2.3 存儲(chǔ)系統(tǒng)讀流程
    4.3 圖片存儲(chǔ)模型設(shè)計(jì)
        4.3.1 存儲(chǔ)模塊
        4.3.2 圖片索引模塊
        4.3.3 存儲(chǔ)控制模塊
        4.3.4 緩存服務(wù)模塊
        4.3.5 業(yè)務(wù)處理模塊
        4.3.6 負(fù)載均衡模塊
    4.4 本章小結(jié)
第5章 實(shí)驗(yàn)設(shè)計(jì)和結(jié)果分析
    5.1 實(shí)驗(yàn)?zāi)康?br>    5.2 實(shí)驗(yàn)準(zhǔn)備
        5.2.1 硬件準(zhǔn)備
        5.2.2 軟件準(zhǔn)備
    5.3 實(shí)驗(yàn)設(shè)計(jì)
        5.3.1 部署Hadoop集群
        5.3.2 安裝配置Redis
        5.3.3 安裝配置HAProxy
    5.4 實(shí)驗(yàn)流程
    5.5 實(shí)驗(yàn)結(jié)果分析
        5.5.1 集群安全性測(cè)試
        5.5.2 圖片存取接口測(cè)試
    5.6 本章小結(jié)
第6章 總結(jié)與展望
    6.1 主要研究成果
    6.2 下一步工作
致謝
參考文獻(xiàn)
附錄
詳細(xì)摘要


【參考文獻(xiàn)】：
期刊論文
[1]淺析“云計(jì)算”概念[J]. 朱杰.  信息系統(tǒng)工程. 2011(08)
[2]云存儲(chǔ)技術(shù)在安防領(lǐng)域的應(yīng)用[J]. 汪玉學(xué).  中國(guó)安防. 2011(07)
[3]基于云計(jì)算的存儲(chǔ)技術(shù)研究[J]. 王勝川.  石油工業(yè)計(jì)算機(jī)應(yīng)用. 2011(02)
[4]淺談NDC技術(shù)[J]. 邵俊.  科技信息. 2011(12)
[5]云存儲(chǔ)在企業(yè)容災(zāi)備份中全新模式探析[J]. 祝建武.  現(xiàn)代商貿(mào)工業(yè). 2011(03)
[6]云計(jì)算與云數(shù)據(jù)存儲(chǔ)技術(shù)研究[J]. 拓守恒.  電腦開發(fā)與應(yīng)用. 2010(09)
[7]淺談云存儲(chǔ)技術(shù)與應(yīng)用[J]. 張明.  甘肅科技縱橫. 2010(03)
[8]云存儲(chǔ)技術(shù)[J]. 宋凱,耿義良.  才智. 2010(04)
[9]云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J]. 唐箭.  電腦知識(shí)與技術(shù). 2009(20)
[10]云存儲(chǔ)的應(yīng)用[J]. 王鶴群.  記錄媒體技術(shù). 2008(05)

博士論文
[1]分布式文件系統(tǒng)性能建模及應(yīng)用研究[D]. 趙鐵柱.華南理工大學(xué) 2011

碩士論文
[1]小學(xué)校園Web網(wǎng)絡(luò)硬盤應(yīng)用系統(tǒng)的研究及實(shí)現(xiàn)[D]. 王承才.華南理工大學(xué) 2011
[2]基于Hadoop的海量圖象數(shù)據(jù)管理[D]. 李波.華東師范大學(xué) 2011
[3]基于Hadoop平臺(tái)的數(shù)據(jù)分析和應(yīng)用[D]. 姜文.北京郵電大學(xué) 2011
[4]基于HADOOP的數(shù)據(jù)挖掘研究[D]. 楊宸鑄.重慶大學(xué) 2010
[5]分布式圖片搜索引擎設(shè)計(jì)與實(shí)現(xiàn)[D]. 詹恒飛.國(guó)防科學(xué)技術(shù)大學(xué) 2010
[6]基于HDFS的多用戶并行文件IO的設(shè)計(jì)與實(shí)現(xiàn)[D]. 金松昌.國(guó)防科學(xué)技術(shù)大學(xué) 2010
[7]MapReduce集群多用戶作業(yè)調(diào)度方法的研究與實(shí)現(xiàn)[D]. 王凱.國(guó)防科學(xué)技術(shù)大學(xué) 2010
[8]基于Hadoop的海量影像數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D]. 霍樹民.國(guó)防科學(xué)技術(shù)大學(xué) 2010
[9]基于HDFS的云存儲(chǔ)服務(wù)系統(tǒng)研究[D]. 黃曉云.大連海事大學(xué) 2010
[10]基于Hadoop的分布式搜索引擎研究與實(shí)現(xiàn)[D]. 封俊.太原理工大學(xué) 2010



本文編號(hào)：3005532