【摘要】： 21世紀(jì)初期,互聯(lián)網(wǎng)進(jìn)入了一個(gè)全新的發(fā)展高峰期。數(shù)據(jù)量以指數(shù)增長(zhǎng),提高對(duì)海量數(shù)據(jù)的管理、訪問(wèn)能力的需求變得越來(lái)越迫切。海量的數(shù)據(jù)和巨大的用戶數(shù)量對(duì)存儲(chǔ)資源和計(jì)算資源的可擴(kuò)展性提出了巨大的挑戰(zhàn)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)并不能提供這些應(yīng)用所需要的高可擴(kuò)展性。一種新型的、存儲(chǔ)非關(guān)系型數(shù)據(jù)的、具有高可擴(kuò)展性的鍵值存儲(chǔ)系統(tǒng)應(yīng)運(yùn)而生。本文首先介紹了研究背景。其次,分析了分布式文件系統(tǒng)、P2P系統(tǒng)與鍵值存儲(chǔ)系統(tǒng)相關(guān)的關(guān)鍵技術(shù)。最后,設(shè)計(jì)了一個(gè)高可靠、高擴(kuò)展性、高可用的鍵值存儲(chǔ)系統(tǒng)KV-Store。KV-Store具有的基本特征或創(chuàng)新點(diǎn): 第一基于改進(jìn)的一致性哈希算法的數(shù)據(jù)分散算法,該算法成功地解決了基本的一致性哈希算法和Dynamo使用的數(shù)據(jù)分配算法存在的熱點(diǎn)問(wèn)題、數(shù)據(jù)分散和集群拓?fù)涞木o耦合問(wèn)題、存儲(chǔ)節(jié)點(diǎn)的異構(gòu)性問(wèn)題。 第二基于PG劃分的負(fù)載均衡算法。使用哈希算法進(jìn)行數(shù)據(jù)分散的一個(gè)根本缺點(diǎn)是這種映射關(guān)系是不可改變的。映射關(guān)系不能改變直接導(dǎo)致了數(shù)據(jù)的位置不能根據(jù)系統(tǒng)的負(fù)載進(jìn)行動(dòng)態(tài)的改變,所以一旦系統(tǒng)出現(xiàn)熱點(diǎn)或負(fù)載失衡將束手無(wú)策。KV-Store使用了哈希算法進(jìn)行數(shù)據(jù)分散,同時(shí)也創(chuàng)造性的實(shí)現(xiàn)了動(dòng)態(tài)的負(fù)載均衡算法。 第三基于Chubby的消息傳輸和集群管理。Chord,BT等P2P系統(tǒng)通過(guò)復(fù)雜的路由和查詢協(xié)議進(jìn)行消息的傳輸,KV-Store使用Chubby的改進(jìn)版進(jìn)行集群管理和消息的快速傳輸。 第四KV-Store使得元數(shù)據(jù)和數(shù)據(jù)徹底解耦合。與傳統(tǒng)的文件存儲(chǔ)系統(tǒng)不同,KV-Store使用哈希規(guī)則來(lái)聯(lián)系數(shù)據(jù)和其對(duì)應(yīng)的元數(shù)據(jù)。系統(tǒng)進(jìn)行數(shù)據(jù)遷移,查找時(shí)不需要進(jìn)行資源的檢索,而是自己計(jì)算得出。在KV-Store中只存在很少量的元數(shù)據(jù)信息。 最后KV-Store是用erlang程序語(yǔ)言進(jìn)行實(shí)現(xiàn)的。erlang是一個(gè)函數(shù)式編程語(yǔ)言,該語(yǔ)言的特性是易于分布式編程,程序設(shè)計(jì)簡(jiǎn)單,實(shí)現(xiàn)相同功能的代碼量大約是C++語(yǔ)言代碼量的四分之一。
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2010
【分類號(hào)】：TP393.09;TP333

【引證文獻(xiàn)】

相關(guān)碩士學(xué)位論文 前2條

1 王毅桐;分布式網(wǎng)絡(luò)爬蟲(chóng)技術(shù)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2012年

2 鐘強(qiáng);基于鍵值存儲(chǔ)的RTB廣告買(mǎi)方平臺(tái)的研究與設(shè)計(jì)[D];華中師范大學(xué);2013年

，

本文編號(hào)：2682265