本文關(guān)鍵詞：基于云計(jì)算的分布式緩存系統(tǒng)的研究和實(shí)現(xiàn)　出處：《重慶大學(xué)》2012年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 云計(jì)算 分布式緩存 數(shù)據(jù)緩存 海量數(shù)據(jù) 測(cè)試

【摘要】：互聯(lián)網(wǎng)的高速發(fā)展以及全球網(wǎng)民數(shù)量的快速增長(zhǎng)，讓網(wǎng)絡(luò)服務(wù)的數(shù)據(jù)量以指數(shù)級(jí)增長(zhǎng)。云計(jì)算作為一個(gè)新型的面向服務(wù)的計(jì)算模式，它具有資源高擴(kuò)展、強(qiáng)大的計(jì)算和存儲(chǔ)能力等特點(diǎn)。因此，本文基于目前云計(jì)算IaaS，Paas以及SaaS的三層基礎(chǔ)框架的思想來(lái)構(gòu)建和部署分布式緩存系統(tǒng)。 本文首先介紹了該系統(tǒng)研究的背景及意義，國(guó)內(nèi)外研究成果及現(xiàn)狀。隨后分析及介紹了云計(jì)算的特點(diǎn)及架構(gòu)、云計(jì)算的典型應(yīng)用及關(guān)鍵技術(shù)。在以上基礎(chǔ)之上形成了以下本文的主要內(nèi)容： 1.基于Dynamo系統(tǒng)框架的基礎(chǔ)上提出了DCache分布式緩存系統(tǒng)，并結(jié)合當(dāng)下傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的局限性進(jìn)行需求分析，提出了分布式系統(tǒng)所需支持的三個(gè)需求：高并發(fā)讀寫、海量數(shù)據(jù)的高效率存儲(chǔ)和訪問(wèn)、對(duì)數(shù)據(jù)庫(kù)的高可擴(kuò)展性和高可用性。 2．對(duì)DCache分布式緩存系統(tǒng)的數(shù)據(jù)緩存層進(jìn)行設(shè)計(jì)實(shí)現(xiàn)。本系統(tǒng)的數(shù)據(jù)緩存層技術(shù)采用memcached協(xié)議的內(nèi)存分配和數(shù)據(jù)刪除方式，并設(shè)計(jì)出多種存儲(chǔ)模式以滿足各種應(yīng)用場(chǎng)景。基于該技術(shù)設(shè)計(jì)并詳細(xì)介紹了緩存層與數(shù)據(jù)層的功能框架。 3．本系統(tǒng)采用BDB嵌入式數(shù)據(jù)庫(kù)作為本系統(tǒng)的持久化存儲(chǔ)，并采用基于內(nèi)存索引的順序持久化模式（IFS）來(lái)解決BDB數(shù)據(jù)庫(kù)面臨海量數(shù)據(jù)存儲(chǔ)與讀取時(shí)的效率低下問(wèn)題。IFS模式可以將隨機(jī)寫變成順序?qū)�，將�?chuàng)建、修改、刪除都演化為文件的追加。而內(nèi)存中存放數(shù)據(jù)的索引，，永遠(yuǎn)指向最新的數(shù)據(jù),因此大大提高了海量數(shù)據(jù)的存儲(chǔ)及讀取速度。 4．本文針對(duì)高性能分布式緩存系統(tǒng)DCache的海量數(shù)據(jù)應(yīng)用場(chǎng)景，分別在JAVA和.net環(huán)境下設(shè)計(jì)、編寫測(cè)試用例。并用每秒響應(yīng)次數(shù)（IOPS）、帶寬（throughput）這兩個(gè)指標(biāo)來(lái)評(píng)估數(shù)據(jù)訪問(wèn)能力，成功率來(lái)評(píng)估系統(tǒng)的可靠性。 最后的測(cè)試結(jié)果證明了DCache系統(tǒng)在并發(fā)量和數(shù)據(jù)處理方面的優(yōu)勢(shì)，已經(jīng)滿足了預(yù)期的面對(duì)海量數(shù)據(jù)時(shí)所需要達(dá)到的需求。
[Abstract]:The rapid development of the Internet and the rapid growth in the number of Internet users worldwide, so the amount of data network services to increase exponentially. Cloud computing as a new service-oriented computing model, it has the characteristics of highly scalable, powerful computing and storage capacity. Therefore, this paper based on the cloud computing IaaS, Paas and SaaS the three layer based framework to build and deploy a distributed cache system.
This paper first introduces the background and significance of the system, the research results and the current situation at home and abroad. Then it analyzes and introduces the characteristics and architecture of cloud computing, the typical applications and key technologies of cloud computing.
1. based on the Dynamo system framework is put forward on the DCache distributed cache system, and combined with the current limitations of the traditional relational database needs analysis, put forward three requirements needed to support distributed systems: high concurrent read and write, high efficiency of mass data storage and access to the database, high scalability and high availability.
The data cache layer 2. of the DCache distributed cache system was designed and implemented. The system data cache layer using memcached protocol memory allocation and data deletion, and a variety of storage modes are designed to meet a variety of application scenarios. This design and introduces the function of frame buffer layer and data layer based on.
3. this system adopts BDB embedded database as the persistence of the system, and uses the memory indexed sequential persistence model based on (IFS) to solve the BDB database facing massive data storage and read the problem of low efficiency of.IFS mode can be written into a sequence of random write, modify, delete all will be created for the evolution of the file append. While the memory index of the data is stored, always pointing to the new data, thus greatly improving the massive data storage and reading speed.
The application of massive data scene 4. according to the high performance distributed cache system of DCache, JAVA and.Net respectively in the design environment, write test cases. And the second response times (IOPS), bandwidth (throughput) of the two indicators to evaluate the ability of data access, the success rate to assess the reliability of the system.
The final test results prove the advantages of DCache system in concurrency and data processing, and have already met the expected needs of massive data.

【學(xué)位授予單位】：重慶大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張馳;李安波;;房產(chǎn)產(chǎn)權(quán)產(chǎn)籍系統(tǒng)中數(shù)據(jù)緩存的應(yīng)用[J];測(cè)繪科學(xué);2009年03期

2 楊偉偉;胡黎瑋;孟利民;胡海勇;;基于H.264的無(wú)線視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];杭州電子科技大學(xué)學(xué)報(bào);2010年05期

3 黃世能,奚建清;分布數(shù)據(jù)緩存體系[J];軟件學(xué)報(bào);2001年07期

4 馬騰;羅軍舟;王小鵬;;AMS實(shí)驗(yàn)中的副本管理研究[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2005年S1期

5 郭天杰;曹強(qiáng);謝長(zhǎng)生;;基于iSCSI的遠(yuǎn)程鏡像系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];小型微型計(jì)算機(jī)系統(tǒng);2006年01期

6 謝強(qiáng);于雅麗;丁秋林;;基于對(duì)象池和數(shù)據(jù)緩存技術(shù)的Web-OLAP系統(tǒng)[J];應(yīng)用科學(xué)學(xué)報(bào);2007年02期

7 程明君;趙銳;;基于ASP.NET的緩存機(jī)制提升數(shù)據(jù)訪問(wèn)性能的分析與實(shí)現(xiàn)[J];華南金融電腦;2007年10期

8 湯迪斌;王勁林;倪宏;;一種CDN中的動(dòng)態(tài)數(shù)據(jù)存儲(chǔ)方案——UbDP[J];計(jì)算機(jī)應(yīng)用;2008年08期

9 趙婉芳;王梅;趙妍;;基于校園網(wǎng)學(xué)習(xí)系統(tǒng)實(shí)時(shí)響應(yīng)能力研究[J];科技創(chuàng)新導(dǎo)報(bào);2009年22期

10 姚金武;霍劍青;楊旭;袁泉;王曉蒲;;基于C/S的RBI專家系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào);2010年06期

相關(guān)會(huì)議論文 前10條

1 鄧可學(xué);;隊(duì)列管理和SDRAM控制器的FPGA設(shè)計(jì)[A];全國(guó)第十三次光纖通信暨第十四屆集成光學(xué)學(xué)術(shù)會(huì)議論文集[C];2007年

2 任淑琴;周柏濤;;基于Web的數(shù)據(jù)庫(kù)應(yīng)用程序的優(yōu)化技術(shù)[A];探索創(chuàng)新交流－－中國(guó)航空學(xué)會(huì)青年科技論壇文集[C];2004年

3 盧珞先;羅婷;;基于LabView的汽車故障診斷系統(tǒng)的軟件設(shè)計(jì)[A];中國(guó)汽車工程學(xué)會(huì)汽車電子技術(shù)分會(huì)第七屆（2006）年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2006年

4 石磊;陳曉敏;朱巖;李昆;;基于SDRAM的高速數(shù)據(jù)緩存的FPGA控制實(shí)現(xiàn)[A];第二十三屆全國(guó)空間探測(cè)學(xué)術(shù)交流會(huì)論文摘要集[C];2010年

5 盧朝霞;王家華;;一個(gè)大型分布式數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[A];第九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集(下)[C];1990年

6 匡可;;EPON帶寬管理在ONU側(cè)的FPGA實(shí)現(xiàn)[A];2008年中國(guó)高校通信類院系學(xué)術(shù)研討會(huì)論文集（下冊(cè)）[C];2009年

7 涂征;徐潔磐;;簡(jiǎn)述Softbase Internet平臺(tái)體系結(jié)構(gòu)[A];第十七屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2000年

8 周萬(wàn)軍;胡鋼;郭立新;王之昊;;基于NIOSⅡ的ARINC429通信板設(shè)計(jì)[A];2006中國(guó)西部青年通信學(xué)術(shù)會(huì)議論文集[C];2006年

9 王振華;李楠;劉以農(nóng);鄧智;;800MSPS FADC數(shù)據(jù)采樣系統(tǒng)[A];第十三屆全國(guó)核電子學(xué)與核探測(cè)技術(shù)學(xué)術(shù)年會(huì)論文集（上冊(cè)）[C];2006年

10 姜大龍;曾東;王月忠;李少洪;;SAR數(shù)據(jù)記錄和回放接口的設(shè)計(jì)與實(shí)現(xiàn)[A];第十屆全國(guó)信號(hào)處理學(xué)術(shù)年會(huì)（CCSP-2001）論文集[C];2001年

相關(guān)重要報(bào)紙文章 前10條

1 大鋒;性能、服務(wù)還是價(jià)格[N];中國(guó)電腦教育報(bào);2003年

2 張寶;選購(gòu)COMBO還得看品牌[N];中國(guó)企業(yè)報(bào);2003年

3 北京 卡拉贊馕;四核“大錘”砸向“扣肉”[N];中國(guó)電腦教育報(bào);2007年

4 邊月;暢快網(wǎng)游 鋒速體驗(yàn)[N];計(jì)算機(jī)世界;2005年

5 小子;光驅(qū)助讀器[N];電腦報(bào);2001年

6 安燁;新一代32位CPU群像[N];計(jì)算機(jī)世界;2001年

7 重慶 雙杰;深入解析Xbox（中）[N];電腦報(bào);2001年

8 董冬;硬盤發(fā)展 各領(lǐng)風(fēng)騷[N];中國(guó)計(jì)算機(jī)報(bào);2002年

9 江南計(jì)算技術(shù)研究所 董立平 胡蘇太;創(chuàng)新型多核處理器的發(fā)展[N];計(jì)算機(jī)世界;2006年

10 ;硬盤小常識(shí)[N];電腦報(bào);2002年

相關(guān)博士學(xué)位論文 前10條

1 葉凡;無(wú)線網(wǎng)絡(luò)中移動(dòng)數(shù)據(jù)緩存若干問(wèn)題的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2010年

2 陳靜;分布式虛擬GIS關(guān)鍵技術(shù)研究[D];武漢大學(xué);2004年

3 李洪亮;支持Live遷移機(jī)制的動(dòng)態(tài)虛擬集群研究[D];吉林大學(xué);2012年

4 陳秀忠;面向云計(jì)算的基礎(chǔ)網(wǎng)絡(luò)提供技術(shù)研究[D];北京郵電大學(xué);2011年

5 裴科;PRSoC三層服務(wù)架構(gòu)及其URAP協(xié)議研究[D];太原理工大學(xué);2010年

6 高紅莉;面向數(shù)字視頻解碼器的存儲(chǔ)管理方法研究[D];清華大學(xué);2010年

7 張偉華;基于千兆以太網(wǎng)的光電經(jīng)緯儀分布式實(shí)時(shí)通訊系統(tǒng)的研究[D];中國(guó)科學(xué)院研究生院（長(zhǎng)春光學(xué)精密機(jī)械與物理研究所）;2011年

8 朱勇;基于SoC的實(shí)時(shí)紅外圖像高速通道設(shè)計(jì)與研究[D];華中科技大學(xué);2007年

9 魏建生;高性能重復(fù)數(shù)據(jù)檢測(cè)與刪除技術(shù)研究[D];華中科技大學(xué);2012年

10 彭博;大范圍交通控制與交通流誘導(dǎo)協(xié)同關(guān)鍵技術(shù)研究[D];吉林大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 鄭偉;基于云計(jì)算的分布式緩存系統(tǒng)的研究和實(shí)現(xiàn)[D];重慶大學(xué);2012年

2 王俊;基于數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)架構(gòu)仿真與性能評(píng)估技術(shù)研究[D];上海交通大學(xué);2008年

3 王志剛;基于FPGA的高速數(shù)字化接收與處理技術(shù)[D];南京信息工程大學(xué);2009年

4 林帆;下一代網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估系統(tǒng)中數(shù)據(jù)緩存子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2010年

5 謝鵬;空間數(shù)據(jù)庫(kù)數(shù)據(jù)緩存與調(diào)度技術(shù)研究[D];解放軍信息工程大學(xué);2009年

6 關(guān)海生;數(shù)據(jù)緩存實(shí)現(xiàn)快速數(shù)據(jù)訪問(wèn)的設(shè)計(jì)[D];上海交通大學(xué);2012年

7 喬穩(wěn);數(shù)據(jù)集中化管理技術(shù)在融合計(jì)費(fèi)系統(tǒng)中的應(yīng)用研究與設(shè)計(jì)[D];浙江工業(yè)大學(xué);2011年

8 李偉宏;面向醫(yī)療信息管理系統(tǒng)的云存儲(chǔ)技術(shù)研究與實(shí)現(xiàn)[D];華南理工大學(xué);2012年

9 馬驍威;分布式緩存在普招網(wǎng)報(bào)系統(tǒng)的應(yīng)用研究[D];河南大學(xué);2010年

10 賀燕;論文分享系統(tǒng)緩存管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2012年

本文編號(hào)：1393052