基于hadoop的海量圖片存儲模型的分析和設計
發(fā)布時間：2021-01-28 19:12
隨著互聯網技術的發(fā)展與深入應用,出現了越來越多像“新浪”“騰訊”“淘寶”等大型門戶網站或電子商務網站。這些網站都存儲有大量圖片資源,且圖片數量呈爆炸式的增長。鑒于商業(yè)存儲擴容成本太高,如何在滿足高并發(fā)訪問的前提下構建廉價高效的圖片存儲管理系統已經成為軟件架構師在工作中遇到的最令人頭疼的問題。云存儲概念的提出給我們指出了一種解決思路,通過研究分析,我們可以采用分布式存儲解決上述問題。本文在分析國內外現有的分布式存儲系統實現的基礎上,通過對Hadoop的HDFS、MapReduce技術的研究以及自身圖片存儲的業(yè)務需求分析和實際軟硬件實力評估,提出了一種基于Hadoop的海量圖片存儲模型。該模型的實現以Hadoop的HDFS分布式文件系統為基礎,硬件構筑在普通的Linux機器集群上,通過內部監(jiān)控實現高容錯、高響應、負載均衡,對外提供服務滿足高并發(fā)高可靠的應用。它采用了HA架構和平滑擴容,保證了整個文件系統的可用性和擴展性。它同時采用扁平化的數據組織結構,拋棄了傳統文件系統的目錄結構,可將文件名映射到文件的物理地址,簡化了文件的訪問流程,提供了良好的讀寫性能。本文主要研究內容和創(chuàng)新點如下：首先...
【文章來源】：杭州電子科技大學浙江省
【文章頁數】：85 頁
【學位級別】：碩士
【文章目錄】：
摘要
ABSTRACT
第1章 緒論
1.1 課題研究背景
1.1.1 項目背景
1.1.2 技術背景
1.2 國內外研究概況
1.3 研究意義與研究內容
1.4 論文的組織結構
第2章 分布式系統關鍵技術
2.1 分布式系統模型簡介
2.1.1 Google的GFS
2.1.2 Apache的Hadoop
2.1.3 淘寶的TFS
2.2 分布式系統基本算法
2.2.1 分布式存儲算法
2.2.2 分布式處理算法
2.4 本章小結
第3章 Hadoop開源云計算系統
3.1 Hadoop介紹
3.2 Hadoop關鍵技術
3.2.1 HDFS
3.2.2 MapReduce
3.2.3 HBase
3.5 本章小結
第4章 圖片存儲模型架構設計
4.1 圖片存儲需求分析
4.2 存儲系統整體架構和讀寫流程
4.2.1 存儲系統架構
4.2.2 存儲系統寫流程
4.2.3 存儲系統讀流程
4.3 圖片存儲模型設計
4.3.1 存儲模塊
4.3.2 圖片索引模塊
4.3.3 存儲控制模塊
4.3.4 緩存服務模塊
4.3.5 業(yè)務處理模塊
4.3.6 負載均衡模塊
4.4 本章小結
第5章 實驗設計和結果分析
5.1 實驗目的
5.2 實驗準備
5.2.1 硬件準備
5.2.2 軟件準備
5.3 實驗設計
5.3.1 部署Hadoop集群
5.3.2 安裝配置Redis
5.3.3 安裝配置HAProxy
5.4 實驗流程
5.5 實驗結果分析
5.5.1 集群安全性測試
5.5.2 圖片存取接口測試
5.6 本章小結
第6章 總結與展望
6.1 主要研究成果
6.2 下一步工作
致謝
參考文獻
附錄
詳細摘要
【參考文獻】：
期刊論文
[1]淺析“云計算”概念[J]. 朱杰. 信息系統工程. 2011(08)
[2]云存儲技術在安防領域的應用[J]. 汪玉學. 中國安防. 2011(07)
[3]基于云計算的存儲技術研究[J]. 王勝川. 石油工業(yè)計算機應用. 2011(02)
[4]淺談NDC技術[J]. 邵俊. 科技信息. 2011(12)
[5]云存儲在企業(yè)容災備份中全新模式探析[J]. 祝建武. 現代商貿工業(yè). 2011(03)
[6]云計算與云數據存儲技術研究[J]. 拓守恒. 電腦開發(fā)與應用. 2010(09)
[7]淺談云存儲技術與應用[J]. 張明. 甘肅科技縱橫. 2010(03)
[8]云存儲技術[J]. 宋凱,耿義良. 才智. 2010(04)
[9]云存儲系統的分析與應用研究[J]. 唐箭. 電腦知識與技術. 2009(20)
[10]云存儲的應用[J]. 王鶴群. 記錄媒體技術. 2008(05)
博士論文
[1]分布式文件系統性能建模及應用研究[D]. 趙鐵柱.華南理工大學 2011
碩士論文
[1]小學校園Web網絡硬盤應用系統的研究及實現[D]. 王承才.華南理工大學 2011
[2]基于Hadoop的海量圖象數據管理[D]. 李波.華東師范大學 2011
[3]基于Hadoop平臺的數據分析和應用[D]. 姜文.北京郵電大學 2011
[4]基于HADOOP的數據挖掘研究[D]. 楊宸鑄.重慶大學 2010
[5]分布式圖片搜索引擎設計與實現[D]. 詹恒飛.國防科學技術大學 2010
[6]基于HDFS的多用戶并行文件IO的設計與實現[D]. 金松昌.國防科學技術大學 2010
[7]MapReduce集群多用戶作業(yè)調度方法的研究與實現[D]. 王凱.國防科學技術大學 2010
[8]基于Hadoop的海量影像數據管理關鍵技術研究[D]. 霍樹民.國防科學技術大學 2010
[9]基于HDFS的云存儲服務系統研究[D]. 黃曉云.大連海事大學 2010
[10]基于Hadoop的分布式搜索引擎研究與實現[D]. 封俊.太原理工大學 2010
本文編號：3005532
【文章來源】：杭州電子科技大學浙江省
【文章頁數】：85 頁
【學位級別】：碩士
【文章目錄】：
摘要
ABSTRACT
第1章 緒論
1.1 課題研究背景
1.1.1 項目背景
1.1.2 技術背景
1.2 國內外研究概況
1.3 研究意義與研究內容
1.4 論文的組織結構
第2章 分布式系統關鍵技術
2.1 分布式系統模型簡介
2.1.1 Google的GFS
2.1.2 Apache的Hadoop
2.1.3 淘寶的TFS
2.2 分布式系統基本算法
2.2.1 分布式存儲算法
2.2.2 分布式處理算法
2.4 本章小結
第3章 Hadoop開源云計算系統
3.1 Hadoop介紹
3.2 Hadoop關鍵技術
3.2.1 HDFS
3.2.2 MapReduce
3.2.3 HBase
3.5 本章小結
第4章 圖片存儲模型架構設計
4.1 圖片存儲需求分析
4.2 存儲系統整體架構和讀寫流程
4.2.1 存儲系統架構
4.2.2 存儲系統寫流程
4.2.3 存儲系統讀流程
4.3 圖片存儲模型設計
4.3.1 存儲模塊
4.3.2 圖片索引模塊
4.3.3 存儲控制模塊
4.3.4 緩存服務模塊
4.3.5 業(yè)務處理模塊
4.3.6 負載均衡模塊
4.4 本章小結
第5章 實驗設計和結果分析
5.1 實驗目的
5.2 實驗準備
5.2.1 硬件準備
5.2.2 軟件準備
5.3 實驗設計
5.3.1 部署Hadoop集群
5.3.2 安裝配置Redis
5.3.3 安裝配置HAProxy
5.4 實驗流程
5.5 實驗結果分析
5.5.1 集群安全性測試
5.5.2 圖片存取接口測試
5.6 本章小結
第6章 總結與展望
6.1 主要研究成果
6.2 下一步工作
致謝
參考文獻
附錄
詳細摘要
【參考文獻】：
期刊論文
[1]淺析“云計算”概念[J]. 朱杰. 信息系統工程. 2011(08)
[2]云存儲技術在安防領域的應用[J]. 汪玉學. 中國安防. 2011(07)
[3]基于云計算的存儲技術研究[J]. 王勝川. 石油工業(yè)計算機應用. 2011(02)
[4]淺談NDC技術[J]. 邵俊. 科技信息. 2011(12)
[5]云存儲在企業(yè)容災備份中全新模式探析[J]. 祝建武. 現代商貿工業(yè). 2011(03)
[6]云計算與云數據存儲技術研究[J]. 拓守恒. 電腦開發(fā)與應用. 2010(09)
[7]淺談云存儲技術與應用[J]. 張明. 甘肅科技縱橫. 2010(03)
[8]云存儲技術[J]. 宋凱,耿義良. 才智. 2010(04)
[9]云存儲系統的分析與應用研究[J]. 唐箭. 電腦知識與技術. 2009(20)
[10]云存儲的應用[J]. 王鶴群. 記錄媒體技術. 2008(05)
博士論文
[1]分布式文件系統性能建模及應用研究[D]. 趙鐵柱.華南理工大學 2011
碩士論文
[1]小學校園Web網絡硬盤應用系統的研究及實現[D]. 王承才.華南理工大學 2011
[2]基于Hadoop的海量圖象數據管理[D]. 李波.華東師范大學 2011
[3]基于Hadoop平臺的數據分析和應用[D]. 姜文.北京郵電大學 2011
[4]基于HADOOP的數據挖掘研究[D]. 楊宸鑄.重慶大學 2010
[5]分布式圖片搜索引擎設計與實現[D]. 詹恒飛.國防科學技術大學 2010
[6]基于HDFS的多用戶并行文件IO的設計與實現[D]. 金松昌.國防科學技術大學 2010
[7]MapReduce集群多用戶作業(yè)調度方法的研究與實現[D]. 王凱.國防科學技術大學 2010
[8]基于Hadoop的海量影像數據管理關鍵技術研究[D]. 霍樹民.國防科學技術大學 2010
[9]基于HDFS的云存儲服務系統研究[D]. 黃曉云.大連海事大學 2010
[10]基于Hadoop的分布式搜索引擎研究與實現[D]. 封俊.太原理工大學 2010
本文編號：3005532
本文鏈接：http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3005532.html
