本文關(guān)鍵詞：基于云計算的分布式緩存系統(tǒng)的研究和實現(xiàn)　出處：《重慶大學》2012年碩士論文　論文類型：學位論文

  更多相關(guān)文章： 云計算 分布式緩存 數(shù)據(jù)緩存 海量數(shù)據(jù) 測試

【摘要】：互聯(lián)網(wǎng)的高速發(fā)展以及全球網(wǎng)民數(shù)量的快速增長，讓網(wǎng)絡服務的數(shù)據(jù)量以指數(shù)級增長。云計算作為一個新型的面向服務的計算模式，它具有資源高擴展、強大的計算和存儲能力等特點。因此，本文基于目前云計算IaaS，Paas以及SaaS的三層基礎(chǔ)框架的思想來構(gòu)建和部署分布式緩存系統(tǒng)。 本文首先介紹了該系統(tǒng)研究的背景及意義，國內(nèi)外研究成果及現(xiàn)狀。隨后分析及介紹了云計算的特點及架構(gòu)、云計算的典型應用及關(guān)鍵技術(shù)。在以上基礎(chǔ)之上形成了以下本文的主要內(nèi)容： 1.基于Dynamo系統(tǒng)框架的基礎(chǔ)上提出了DCache分布式緩存系統(tǒng)，并結(jié)合當下傳統(tǒng)關(guān)系數(shù)據(jù)庫的局限性進行需求分析，提出了分布式系統(tǒng)所需支持的三個需求：高并發(fā)讀寫、海量數(shù)據(jù)的高效率存儲和訪問、對數(shù)據(jù)庫的高可擴展性和高可用性。 2．對DCache分布式緩存系統(tǒng)的數(shù)據(jù)緩存層進行設計實現(xiàn)。本系統(tǒng)的數(shù)據(jù)緩存層技術(shù)采用memcached協(xié)議的內(nèi)存分配和數(shù)據(jù)刪除方式，并設計出多種存儲模式以滿足各種應用場景�；谠摷夹g(shù)設計并詳細介紹了緩存層與數(shù)據(jù)層的功能框架。 3．本系統(tǒng)采用BDB嵌入式數(shù)據(jù)庫作為本系統(tǒng)的持久化存儲，并采用基于內(nèi)存索引的順序持久化模式（IFS）來解決BDB數(shù)據(jù)庫面臨海量數(shù)據(jù)存儲與讀取時的效率低下問題。IFS模式可以將隨機寫變成順序?qū)�，將�?chuàng)建、修改、刪除都演化為文件的追加。而內(nèi)存中存放數(shù)據(jù)的索引，，永遠指向最新的數(shù)據(jù),因此大大提高了海量數(shù)據(jù)的存儲及讀取速度。 4．本文針對高性能分布式緩存系統(tǒng)DCache的海量數(shù)據(jù)應用場景，分別在JAVA和.net環(huán)境下設計、編寫測試用例。并用每秒響應次數(shù)（IOPS）、帶寬（throughput）這兩個指標來評估數(shù)據(jù)訪問能力，成功率來評估系統(tǒng)的可靠性。 最后的測試結(jié)果證明了DCache系統(tǒng)在并發(fā)量和數(shù)據(jù)處理方面的優(yōu)勢，已經(jīng)滿足了預期的面對海量數(shù)據(jù)時所需要達到的需求。
[Abstract]:The rapid development of the Internet and the rapid growth in the number of Internet users worldwide, so the amount of data network services to increase exponentially. Cloud computing as a new service-oriented computing model, it has the characteristics of highly scalable, powerful computing and storage capacity. Therefore, this paper based on the cloud computing IaaS, Paas and SaaS the three layer based framework to build and deploy a distributed cache system.
This paper first introduces the background and significance of the system, the research results and the current situation at home and abroad. Then it analyzes and introduces the characteristics and architecture of cloud computing, the typical applications and key technologies of cloud computing.
1. based on the Dynamo system framework is put forward on the DCache distributed cache system, and combined with the current limitations of the traditional relational database needs analysis, put forward three requirements needed to support distributed systems: high concurrent read and write, high efficiency of mass data storage and access to the database, high scalability and high availability.
The data cache layer 2. of the DCache distributed cache system was designed and implemented. The system data cache layer using memcached protocol memory allocation and data deletion, and a variety of storage modes are designed to meet a variety of application scenarios. This design and introduces the function of frame buffer layer and data layer based on.
3. this system adopts BDB embedded database as the persistence of the system, and uses the memory indexed sequential persistence model based on (IFS) to solve the BDB database facing massive data storage and read the problem of low efficiency of.IFS mode can be written into a sequence of random write, modify, delete all will be created for the evolution of the file append. While the memory index of the data is stored, always pointing to the new data, thus greatly improving the massive data storage and reading speed.
The application of massive data scene 4. according to the high performance distributed cache system of DCache, JAVA and.Net respectively in the design environment, write test cases. And the second response times (IOPS), bandwidth (throughput) of the two indicators to evaluate the ability of data access, the success rate to assess the reliability of the system.
The final test results prove the advantages of DCache system in concurrency and data processing, and have already met the expected needs of massive data.

【學位授予單位】：重慶大學
【學位級別】：碩士
【學位授予年份】：2012
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 張馳;李安波;;房產(chǎn)產(chǎn)權(quán)產(chǎn)籍系統(tǒng)中數(shù)據(jù)緩存的應用[J];測繪科學;2009年03期

2 楊偉偉;胡黎瑋;孟利民;胡海勇;;基于H.264的無線視頻監(jiān)控系統(tǒng)設計與實現(xiàn)[J];杭州電子科技大學學報;2010年05期

3 黃世能,奚建清;分布數(shù)據(jù)緩存體系[J];軟件學報;2001年07期

4 馬騰;羅軍舟;王小鵬;;AMS實驗中的副本管理研究[J];華中科技大學學報(自然科學版);2005年S1期

5 郭天杰;曹強;謝長生;;基于iSCSI的遠程鏡像系統(tǒng)設計與實現(xiàn)[J];小型微型計算機系統(tǒng);2006年01期

6 謝強;于雅麗;丁秋林;;基于對象池和數(shù)據(jù)緩存技術(shù)的Web-OLAP系統(tǒng)[J];應用科學學報;2007年02期

7 程明君;趙銳;;基于ASP.NET的緩存機制提升數(shù)據(jù)訪問性能的分析與實現(xiàn)[J];華南金融電腦;2007年10期

8 湯迪斌;王勁林;倪宏;;一種CDN中的動態(tài)數(shù)據(jù)存儲方案——UbDP[J];計算機應用;2008年08期

9 趙婉芳;王梅;趙妍;;基于校園網(wǎng)學習系統(tǒng)實時響應能力研究[J];科技創(chuàng)新導報;2009年22期

10 姚金武;霍劍青;楊旭;袁泉;王曉蒲;;基于C/S的RBI專家系統(tǒng)的設計與實現(xiàn)[J];中國科學技術(shù)大學學報;2010年06期

相關(guān)會議論文 前10條

1 鄧可學;;隊列管理和SDRAM控制器的FPGA設計[A];全國第十三次光纖通信暨第十四屆集成光學學術(shù)會議論文集[C];2007年

2 任淑琴;周柏濤;;基于Web的數(shù)據(jù)庫應用程序的優(yōu)化技術(shù)[A];探索創(chuàng)新交流－－中國航空學會青年科技論壇文集[C];2004年

3 盧珞先;羅婷;;基于LabView的汽車故障診斷系統(tǒng)的軟件設計[A];中國汽車工程學會汽車電子技術(shù)分會第七屆（2006）年會暨學術(shù)研討會論文集[C];2006年

4 石磊;陳曉敏;朱巖;李昆;;基于SDRAM的高速數(shù)據(jù)緩存的FPGA控制實現(xiàn)[A];第二十三屆全國空間探測學術(shù)交流會論文摘要集[C];2010年

5 盧朝霞;王家華;;一個大型分布式數(shù)據(jù)庫應用系統(tǒng)的設計和實現(xiàn)[A];第九屆全國數(shù)據(jù)庫學術(shù)會議論文集(下)[C];1990年

6 匡可;;EPON帶寬管理在ONU側(cè)的FPGA實現(xiàn)[A];2008年中國高校通信類院系學術(shù)研討會論文集（下冊）[C];2009年

7 涂征;徐潔磐;;簡述Softbase Internet平臺體系結(jié)構(gòu)[A];第十七屆全國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2000年

8 周萬軍;胡鋼;郭立新;王之昊;;基于NIOSⅡ的ARINC429通信板設計[A];2006中國西部青年通信學術(shù)會議論文集[C];2006年

9 王振華;李楠;劉以農(nóng);鄧智;;800MSPS FADC數(shù)據(jù)采樣系統(tǒng)[A];第十三屆全國核電子學與核探測技術(shù)學術(shù)年會論文集（上冊）[C];2006年

10 姜大龍;曾東;王月忠;李少洪;;SAR數(shù)據(jù)記錄和回放接口的設計與實現(xiàn)[A];第十屆全國信號處理學術(shù)年會（CCSP-2001）論文集[C];2001年

相關(guān)重要報紙文章 前10條

1 大鋒;性能、服務還是價格[N];中國電腦教育報;2003年

2 張寶;選購COMBO還得看品牌[N];中國企業(yè)報;2003年

3 北京 卡拉贊馕;四核“大錘”砸向“扣肉”[N];中國電腦教育報;2007年

4 邊月;暢快網(wǎng)游 鋒速體驗[N];計算機世界;2005年

5 小子;光驅(qū)助讀器[N];電腦報;2001年

6 安燁;新一代32位CPU群像[N];計算機世界;2001年

7 重慶 雙杰;深入解析Xbox（中）[N];電腦報;2001年

8 董冬;硬盤發(fā)展 各領(lǐng)風騷[N];中國計算機報;2002年

9 江南計算技術(shù)研究所 董立平 胡蘇太;創(chuàng)新型多核處理器的發(fā)展[N];計算機世界;2006年

10 ;硬盤小常識[N];電腦報;2002年

相關(guān)博士學位論文 前10條

1 葉凡;無線網(wǎng)絡中移動數(shù)據(jù)緩存若干問題的研究[D];中國科學技術(shù)大學;2010年

2 陳靜;分布式虛擬GIS關(guān)鍵技術(shù)研究[D];武漢大學;2004年

3 李洪亮;支持Live遷移機制的動態(tài)虛擬集群研究[D];吉林大學;2012年

4 陳秀忠;面向云計算的基礎(chǔ)網(wǎng)絡提供技術(shù)研究[D];北京郵電大學;2011年

5 裴科;PRSoC三層服務架構(gòu)及其URAP協(xié)議研究[D];太原理工大學;2010年

6 高紅莉;面向數(shù)字視頻解碼器的存儲管理方法研究[D];清華大學;2010年

7 張偉華;基于千兆以太網(wǎng)的光電經(jīng)緯儀分布式實時通訊系統(tǒng)的研究[D];中國科學院研究生院（長春光學精密機械與物理研究所）;2011年

8 朱勇;基于SoC的實時紅外圖像高速通道設計與研究[D];華中科技大學;2007年

9 魏建生;高性能重復數(shù)據(jù)檢測與刪除技術(shù)研究[D];華中科技大學;2012年

10 彭博;大范圍交通控制與交通流誘導協(xié)同關(guān)鍵技術(shù)研究[D];吉林大學;2011年

相關(guān)碩士學位論文 前10條

1 鄭偉;基于云計算的分布式緩存系統(tǒng)的研究和實現(xiàn)[D];重慶大學;2012年

2 王俊;基于數(shù)據(jù)傳輸?shù)木W(wǎng)絡架構(gòu)仿真與性能評估技術(shù)研究[D];上海交通大學;2008年

3 王志剛;基于FPGA的高速數(shù)字化接收與處理技術(shù)[D];南京信息工程大學;2009年

4 林帆;下一代網(wǎng)絡安全態(tài)勢評估系統(tǒng)中數(shù)據(jù)緩存子系統(tǒng)的設計與實現(xiàn)[D];北京郵電大學;2010年

5 謝鵬;空間數(shù)據(jù)庫數(shù)據(jù)緩存與調(diào)度技術(shù)研究[D];解放軍信息工程大學;2009年

6 關(guān)海生;數(shù)據(jù)緩存實現(xiàn)快速數(shù)據(jù)訪問的設計[D];上海交通大學;2012年

7 喬穩(wěn);數(shù)據(jù)集中化管理技術(shù)在融合計費系統(tǒng)中的應用研究與設計[D];浙江工業(yè)大學;2011年

8 李偉宏;面向醫(yī)療信息管理系統(tǒng)的云存儲技術(shù)研究與實現(xiàn)[D];華南理工大學;2012年

9 馬驍威;分布式緩存在普招網(wǎng)報系統(tǒng)的應用研究[D];河南大學;2010年

10 賀燕;論文分享系統(tǒng)緩存管理關(guān)鍵技術(shù)研究[D];華中科技大學;2012年

本文編號：1393052