本文關(guān)鍵詞：可伸縮分布式文件系統(tǒng)及其應(yīng)用

  更多相關(guān)文章： 可伸縮性 分布式系統(tǒng) 文件系統(tǒng) 海量小文件

【摘要】：伴隨著移動互聯(lián)網(wǎng)的迅速發(fā)展,互聯(lián)網(wǎng)數(shù)據(jù)規(guī)模呈現(xiàn)出幾何式增長態(tài)勢,大數(shù)據(jù)時代隨之來臨。單獨的文件存儲服務(wù)器已經(jīng)無法應(yīng)對日益增長的數(shù)據(jù)規(guī)模,分布式文件存儲系統(tǒng)應(yīng)運而生。分布式文件系統(tǒng)已成為互聯(lián)網(wǎng)應(yīng)用的基礎(chǔ)組件之一。由于互聯(lián)網(wǎng)應(yīng)用業(yè)務(wù)之間的差異,相同的分布式文件系統(tǒng)在不同的業(yè)務(wù)應(yīng)用中的效率各不相同。為了保證文件系統(tǒng)的效率,通常需要針對具體的應(yīng)用業(yè)務(wù)設(shè)計特定的分布式文件存儲系統(tǒng)。本文在對分布式文件系統(tǒng)可靠性、可用性以及可伸縮性進行深入研究后,設(shè)計并實現(xiàn)了一套可伸縮的分布式文件系統(tǒng)。并且,針對當(dāng)前互聯(lián)網(wǎng)應(yīng)用中大部分圖片資源為大小不超過100KB的小文件這一具體應(yīng)用場景,進一步對本文設(shè)計的文件系統(tǒng)做出改進,確保本文件系統(tǒng)在應(yīng)對海量小文件存儲、頻繁讀寫時具有良好的性能。本文的主要的研究工作主要包括以下內(nèi)容。1.系統(tǒng)平滑擴容方法。在互聯(lián)網(wǎng)應(yīng)用中,業(yè)務(wù)規(guī)模會隨著時間的增大而擴大,文件存儲系統(tǒng)也會隨之需要擴容。良好的可伸縮性是衡量分布式文件系統(tǒng)性能的重要指標(biāo)。按照本文平滑擴容方法,可以根據(jù)業(yè)務(wù)需要,直接添加硬件即可完成容量擴展,無需其他任何配置。2.海量小尺寸文件的存儲和讀寫方法。在互聯(lián)網(wǎng)應(yīng)用中,大部分圖片資源為不超過100KB的小文件,在此應(yīng)用場景中,伴隨的是文件數(shù)據(jù)的頻繁讀寫,為了保證海量小文件的讀寫效率,本文對讀寫方法進行了重點優(yōu)化。
【學(xué)位授予單位】：北京理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 李紅;;基于Google Bigtable的海量數(shù)據(jù)存儲探索[J];鞍山師范學(xué)院學(xué)報;2013年04期

2 唐宏;;基于MapReduce的大規(guī)模流量分析系統(tǒng)的設(shè)計[J];電信科學(xué);2013年12期

3 馬飛;;多云工作流優(yōu)化傳輸費用的數(shù)據(jù)布局策略[J];電腦知識與技術(shù);2014年10期

4 劉鵬曦;許王燕;;一種冗余地理數(shù)據(jù)存儲系統(tǒng)[J];大眾科技;2014年01期

5 楊關(guān)建;華澤璽;楊彬;;Hadoop平臺在智能變電站中的應(yīng)用研究[J];電源技術(shù)應(yīng)用;2014年03期

6 劉琪;王小正;王磊;;基于本體的教育資源語義檢索關(guān)鍵技術(shù)研究[J];電腦知識與技術(shù);2014年16期

7 雷德龍;郭殿升;陳崇成;巫建偉;吳小竹;;基于MongoDB的矢量空間數(shù)據(jù)云存儲與處理系統(tǒng)[J];地球信息科學(xué)學(xué)報;2014年04期

8 費賢舉;王樹鋒;王文;;一種海量大數(shù)據(jù)云存儲系統(tǒng)框架設(shè)計[J];常州工學(xué)院學(xué)報;2014年03期

9 林穗;黃健;姜文超;覃國民;;基于HDFS的安全云存儲模型[J];廣東工業(yè)大學(xué)學(xué)報;2014年03期

10 辛剛;羅香玉;;支持容錯QoS的高效分布式文件存儲算法[J];電腦與電信;2014年06期

中國重要會議論文全文數(shù)據(jù)庫 前5條

1 祁昊穎;;大數(shù)據(jù)時代電信運營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進展論文集[C];2014年

2 汪中琳;喬自知;郭景贊;;移動運維支撐系統(tǒng)的互聯(lián)網(wǎng)思維重構(gòu)[A];2014全國無線及移動通信學(xué)術(shù)大會論文集[C];2014年

3 祁昊穎;;大數(shù)據(jù)時代電信運營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進展論文集[C];2014年

4 龔琪慧;劉偉;李坤;游攀利;;基于大數(shù)據(jù)的水利數(shù)據(jù)中心建設(shè)[A];大數(shù)據(jù)時代的信息化建設(shè)——2015（第三屆）中國水利信息化與數(shù)字水利技術(shù)論壇論文集[C];2015年

5 吳昊;余洋;;城市規(guī)劃信息化的新常態(tài)——試談那些“新”名詞[A];新常態(tài)：傳承與變革——2015中國城市規(guī)劃年會論文集（04城市規(guī)劃新技術(shù)應(yīng)用）[C];2015年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 孫茂華;安全多方計算及其應(yīng)用研究[D];北京郵電大學(xué);2013年

2 胡德鵬;基于農(nóng)業(yè)本體問句分析的問答系統(tǒng)研究與架構(gòu)設(shè)計[D];中國農(nóng)業(yè)科學(xué)院;2013年

3 王金寶;云計算系統(tǒng)中索引與查詢處理技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

4 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

5 董超;基于網(wǎng)絡(luò)流量監(jiān)測的移動互聯(lián)網(wǎng)特征研究[D];北京郵電大學(xué);2013年

6 姜春茂;基于移動P2P的分布式存儲和傳輸機制研究[D];哈爾濱工程大學(xué);2013年

7 陳軍;基于G/S模式的空間分析云服務(wù)關(guān)鍵技術(shù)研究[D];成都理工大學(xué);2012年

8 吳和生;云計算環(huán)境中多核多進程負(fù)載均衡技術(shù)的研究與應(yīng)用[D];南京大學(xué);2013年

9 孫鵬;動車組維修物聯(lián)網(wǎng)及其關(guān)鍵技術(shù)研究[D];中國鐵道科學(xué)研究院;2013年

10 徐達(dá)宇;云計算環(huán)境下資源需求預(yù)測與優(yōu)化配置方法研究[D];合肥工業(yè)大學(xué);2014年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李東升;基于Chord環(huán)的MongoDB數(shù)據(jù)均衡系統(tǒng)設(shè)計與實現(xiàn)[D];重慶大學(xué);2013年

2 陳席林;分布式持久化緩存系統(tǒng)的研究與實現(xiàn)[D];重慶大學(xué);2013年

3 陳貞;HDFS環(huán)境下的訪問控制技術(shù)研究[D];重慶大學(xué);2013年

4 郭峰;基于云計算的虛擬化技術(shù)在高校教學(xué)服務(wù)中的應(yīng)用研究[D];北京工業(yè)大學(xué);2013年

5 張丹;HDFS中文件存儲優(yōu)化的相關(guān)技術(shù)研究[D];南京師范大學(xué);2013年

6 杜超利;時空要素驅(qū)動的事件網(wǎng)頁信息檢索方法研究[D];南京師范大學(xué);2013年

7 謝長波;基于Hadoop遙感影像存儲與管理系統(tǒng)的設(shè)計與實現(xiàn)[D];昆明理工大學(xué);2013年

8 向宇;基于云計算的管理信息系統(tǒng)的訪問控制研究[D];重慶大學(xué);2013年

9 賈玉輝;面向語音交互的云計算系統(tǒng)的研究[D];中國海洋大學(xué);2013年

10 范晨熙;基于Hadoop的搜索引擎的研究與應(yīng)用[D];浙江理工大學(xué);2013年

，

本文編號：1285322