分布式數(shù)據(jù)緩存技術(shù)的研究與應(yīng)用
發(fā)布時間:2021-11-06 04:35
隨著互聯(lián)網(wǎng)的普及,越來越多的用戶通過互聯(lián)網(wǎng)獲取信息和服務(wù),在現(xiàn)代企業(yè)互聯(lián)網(wǎng)應(yīng)用面對大量請求時,為了減少用戶請求的延遲等待時間,減輕數(shù)據(jù)庫服務(wù)器端的負(fù)載,通常引入數(shù)據(jù)緩存系統(tǒng)。數(shù)據(jù)緩存系統(tǒng)能夠有效減少數(shù)據(jù)庫服務(wù)器端的訪問負(fù)載量,降低用戶請求的延遲等待時間,提高應(yīng)用的整體性能。近年來,出現(xiàn)了很多開源緩存系統(tǒng),但這些緩存系統(tǒng)在數(shù)據(jù)冗余備份和失敗恢復(fù)方面都存在一定的不足,而商用緩存系統(tǒng)不但費用高,而且不透明,不能以最有效率的方式使用。因此,本文結(jié)合某機票查詢網(wǎng)站項目的實際需求,設(shè)計并實現(xiàn)了一個具有數(shù)據(jù)冗余備份和失敗恢復(fù)機制的分布式數(shù)據(jù)緩存系統(tǒng)。首先,本文對分布式緩存技術(shù)展開深入的研究,具體包括:緩存拓?fù)浣Y(jié)構(gòu)、數(shù)據(jù)分布模式、緩存同步策略、緩存替換算法、以及分布式緩存協(xié)議。然后對分布式數(shù)據(jù)緩存系統(tǒng)的重要部分展開深入分析,通過分析一致性哈希算法,設(shè)計了一種基于虛擬節(jié)點一致性哈希算法的數(shù)據(jù)分布模式,并在該數(shù)據(jù)分布模式下,基于JGroups技術(shù)開發(fā)了一套通信協(xié)議,用于緩存節(jié)點間通信;分析影響緩存系統(tǒng)性能的因素和傳統(tǒng)的緩存替換算法,針對機票數(shù)據(jù)信息的特點,設(shè)計了一種緩存機票數(shù)據(jù)時采用的替換算法,通過日志模...
【文章來源】:大連理工大學(xué)遼寧省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:69 頁
【學(xué)位級別】:碩士
【部分圖文】:
服務(wù)器端緩存結(jié)構(gòu)
戶一般需要等待較長的延遲時間得到查詢結(jié)果,用戶體驗非常不好,為了減輕數(shù)據(jù)庫服務(wù)器端的負(fù)載量和降低用戶查詢機票信息時的延遲時間,提高整個系統(tǒng)在處理大量并發(fā)請求時的性能和用戶的體驗,把數(shù)據(jù)緩存系統(tǒng)引入到該網(wǎng)站的系統(tǒng)架構(gòu)中,圖4.1顯示了在該網(wǎng)站架構(gòu)中加入數(shù)據(jù)緩存系統(tǒng)后的系統(tǒng)應(yīng)用分層架構(gòu)圖,在該架構(gòu)中,數(shù)據(jù)緩存系統(tǒng)部署在應(yīng)用服務(wù)器集群上,即在應(yīng)用程序?qū)泳彺鏀?shù)據(jù)庫的數(shù)據(jù),首次對來自客戶端的數(shù)據(jù)請求,需要到數(shù)據(jù)庫服務(wù)器上讀取數(shù)據(jù),同時把數(shù)據(jù)放入緩存系統(tǒng)中,如果下次有相同的數(shù)據(jù)請求到達(dá),就直接從緩存系統(tǒng)中返回結(jié)果,減少了客戶端的延遲等待時間,也減輕了數(shù)據(jù)庫服務(wù)器端的負(fù)載,從而有效地提高了系統(tǒng)的整體性能。貂蕩貂Web服務(wù)器集群應(yīng)用服務(wù)器集群圖4.1應(yīng)用架構(gòu)圖 Fig.4.1APPlicationarehiteeturediagram根據(jù)該網(wǎng)站項目的實際需求,其網(wǎng)站系統(tǒng)架構(gòu)中的緩存系統(tǒng)應(yīng)具有數(shù)據(jù)冗余備份和失敗恢復(fù)機制。近年來,出現(xiàn)了不少開源緩存產(chǎn)品,如Memcaehed
4.2系統(tǒng)拓?fù)浣Y(jié)構(gòu)設(shè)計本文設(shè)計的分布式數(shù)據(jù)緩存系統(tǒng)采用Peer一to一Peer的拓?fù)浣Y(jié)構(gòu),該拓?fù)浣Y(jié)構(gòu)的架構(gòu)如圖4.2所示,在該結(jié)構(gòu)下,每臺緩存服務(wù)器既充當(dāng)服務(wù)器端角色也充當(dāng)客戶端角色,這種結(jié)構(gòu)具有動態(tài)節(jié)點發(fā)現(xiàn)的特征,整個緩存系統(tǒng)有更好的可擴展性。本文設(shè)計的分布式數(shù)據(jù)緩存系統(tǒng)是要具有失敗恢復(fù)功能的,這體現(xiàn)了緩存系統(tǒng)應(yīng)具有較好的可伸縮性,另一方面,本緩存系統(tǒng)是以某機票查詢網(wǎng)站項目為依托的,在系統(tǒng)整個架構(gòu)中,緩存系統(tǒng)主要用來保存那些不是頻繁變化的數(shù)據(jù),這也是Peer一to一Peer拓?fù)浣Y(jié)構(gòu)的最佳應(yīng)用場2鑒「習(xí)。圖4.2系統(tǒng)拓?fù)浣Y(jié)構(gòu) Fig.4.2SysterntoPologystrueture
【參考文獻(xiàn)】:
期刊論文
[1]基于JGroups的分布式緩存的設(shè)計與實現(xiàn)[J]. 肖祎,方鈺. 計算機應(yīng)用與軟件. 2011(02)
[2]Web緩存的一致性策略研究分析[J]. 黨壽江,劉學(xué),曾學(xué)文. 微計算機信息. 2010(33)
[3]基于預(yù)測的Web緩存替換算法[J]. 韓向春,田玉根. 計算機工程與設(shè)計. 2010(01)
[4]代理緩存替換一致性算法的研究[J]. 韓向春,邊瑋,沈峰,樊書娟. 計算機工程與設(shè)計. 2009(11)
[5]一種基于DHT的Web緩存共享方法[J]. 劉建,孫曉輝,倪宏. 計算機應(yīng)用研究. 2008(12)
[6]Web緩存命中率與字節(jié)命中率關(guān)系[J]. 石磊,葉海琴,衛(wèi)琳,連衛(wèi)民. 計算機工程. 2007(13)
[7]基于分布式協(xié)同緩存機制的Web Proxy研究[J]. 符青云,劉心松. 計算機工程. 2007(11)
[8]基于協(xié)同緩存的分布式數(shù)據(jù)庫更新機制研究[J]. 符青云,劉心松. 計算機工程. 2007(07)
[9]一種有效的Web代理緩存替換算法[J]. 楊春貴,吳產(chǎn)樂,彭鴻雁. 計算機工程. 2007(03)
[10]關(guān)系數(shù)據(jù)庫語義緩存的研究進(jìn)展[J]. 蔡建宇,楊樹強,賈焰,鄒鵬. 計算機工程與科學(xué). 2005(10)
博士論文
[1]WWW訪問特性與代理緩存研究[D]. 郝沁汾.中國科學(xué)院研究生院(計算技術(shù)研究所) 2001
碩士論文
[1]Web緩存替換策略與預(yù)取技術(shù)的研究[D]. 張旺俊.中國科學(xué)技術(shù)大學(xué) 2011
[2]HTTP實現(xiàn)代理服務(wù)器及緩存替換算法的研究[D]. 狄剛.吉林大學(xué) 2010
[3]分布式搜索引擎中緩存系統(tǒng)的研究與實現(xiàn)[D]. 謝瑞蓮.西北大學(xué) 2009
[4]基于池化技術(shù)的分布式數(shù)據(jù)緩存模型研究與實現(xiàn)[D]. 楊開杰.蘇州大學(xué) 2009
[5]分布式緩存模式研究及其在金融系統(tǒng)中的應(yīng)用[D]. 戚偉強.浙江大學(xué) 2008
[6]Web緩存與預(yù)取模型研究[D]. 衛(wèi)琳.鄭州大學(xué) 2006
[7]基于Web對象流行度的預(yù)取模型[D]. 裴云霞.鄭州大學(xué) 2005
[8]合作式Web集群緩存系統(tǒng)的研究與實現(xiàn)[D]. 王昭.武漢大學(xué) 2004
本文編號:3479174
【文章來源】:大連理工大學(xué)遼寧省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:69 頁
【學(xué)位級別】:碩士
【部分圖文】:
服務(wù)器端緩存結(jié)構(gòu)
戶一般需要等待較長的延遲時間得到查詢結(jié)果,用戶體驗非常不好,為了減輕數(shù)據(jù)庫服務(wù)器端的負(fù)載量和降低用戶查詢機票信息時的延遲時間,提高整個系統(tǒng)在處理大量并發(fā)請求時的性能和用戶的體驗,把數(shù)據(jù)緩存系統(tǒng)引入到該網(wǎng)站的系統(tǒng)架構(gòu)中,圖4.1顯示了在該網(wǎng)站架構(gòu)中加入數(shù)據(jù)緩存系統(tǒng)后的系統(tǒng)應(yīng)用分層架構(gòu)圖,在該架構(gòu)中,數(shù)據(jù)緩存系統(tǒng)部署在應(yīng)用服務(wù)器集群上,即在應(yīng)用程序?qū)泳彺鏀?shù)據(jù)庫的數(shù)據(jù),首次對來自客戶端的數(shù)據(jù)請求,需要到數(shù)據(jù)庫服務(wù)器上讀取數(shù)據(jù),同時把數(shù)據(jù)放入緩存系統(tǒng)中,如果下次有相同的數(shù)據(jù)請求到達(dá),就直接從緩存系統(tǒng)中返回結(jié)果,減少了客戶端的延遲等待時間,也減輕了數(shù)據(jù)庫服務(wù)器端的負(fù)載,從而有效地提高了系統(tǒng)的整體性能。貂蕩貂Web服務(wù)器集群應(yīng)用服務(wù)器集群圖4.1應(yīng)用架構(gòu)圖 Fig.4.1APPlicationarehiteeturediagram根據(jù)該網(wǎng)站項目的實際需求,其網(wǎng)站系統(tǒng)架構(gòu)中的緩存系統(tǒng)應(yīng)具有數(shù)據(jù)冗余備份和失敗恢復(fù)機制。近年來,出現(xiàn)了不少開源緩存產(chǎn)品,如Memcaehed
4.2系統(tǒng)拓?fù)浣Y(jié)構(gòu)設(shè)計本文設(shè)計的分布式數(shù)據(jù)緩存系統(tǒng)采用Peer一to一Peer的拓?fù)浣Y(jié)構(gòu),該拓?fù)浣Y(jié)構(gòu)的架構(gòu)如圖4.2所示,在該結(jié)構(gòu)下,每臺緩存服務(wù)器既充當(dāng)服務(wù)器端角色也充當(dāng)客戶端角色,這種結(jié)構(gòu)具有動態(tài)節(jié)點發(fā)現(xiàn)的特征,整個緩存系統(tǒng)有更好的可擴展性。本文設(shè)計的分布式數(shù)據(jù)緩存系統(tǒng)是要具有失敗恢復(fù)功能的,這體現(xiàn)了緩存系統(tǒng)應(yīng)具有較好的可伸縮性,另一方面,本緩存系統(tǒng)是以某機票查詢網(wǎng)站項目為依托的,在系統(tǒng)整個架構(gòu)中,緩存系統(tǒng)主要用來保存那些不是頻繁變化的數(shù)據(jù),這也是Peer一to一Peer拓?fù)浣Y(jié)構(gòu)的最佳應(yīng)用場2鑒「習(xí)。圖4.2系統(tǒng)拓?fù)浣Y(jié)構(gòu) Fig.4.2SysterntoPologystrueture
【參考文獻(xiàn)】:
期刊論文
[1]基于JGroups的分布式緩存的設(shè)計與實現(xiàn)[J]. 肖祎,方鈺. 計算機應(yīng)用與軟件. 2011(02)
[2]Web緩存的一致性策略研究分析[J]. 黨壽江,劉學(xué),曾學(xué)文. 微計算機信息. 2010(33)
[3]基于預(yù)測的Web緩存替換算法[J]. 韓向春,田玉根. 計算機工程與設(shè)計. 2010(01)
[4]代理緩存替換一致性算法的研究[J]. 韓向春,邊瑋,沈峰,樊書娟. 計算機工程與設(shè)計. 2009(11)
[5]一種基于DHT的Web緩存共享方法[J]. 劉建,孫曉輝,倪宏. 計算機應(yīng)用研究. 2008(12)
[6]Web緩存命中率與字節(jié)命中率關(guān)系[J]. 石磊,葉海琴,衛(wèi)琳,連衛(wèi)民. 計算機工程. 2007(13)
[7]基于分布式協(xié)同緩存機制的Web Proxy研究[J]. 符青云,劉心松. 計算機工程. 2007(11)
[8]基于協(xié)同緩存的分布式數(shù)據(jù)庫更新機制研究[J]. 符青云,劉心松. 計算機工程. 2007(07)
[9]一種有效的Web代理緩存替換算法[J]. 楊春貴,吳產(chǎn)樂,彭鴻雁. 計算機工程. 2007(03)
[10]關(guān)系數(shù)據(jù)庫語義緩存的研究進(jìn)展[J]. 蔡建宇,楊樹強,賈焰,鄒鵬. 計算機工程與科學(xué). 2005(10)
博士論文
[1]WWW訪問特性與代理緩存研究[D]. 郝沁汾.中國科學(xué)院研究生院(計算技術(shù)研究所) 2001
碩士論文
[1]Web緩存替換策略與預(yù)取技術(shù)的研究[D]. 張旺俊.中國科學(xué)技術(shù)大學(xué) 2011
[2]HTTP實現(xiàn)代理服務(wù)器及緩存替換算法的研究[D]. 狄剛.吉林大學(xué) 2010
[3]分布式搜索引擎中緩存系統(tǒng)的研究與實現(xiàn)[D]. 謝瑞蓮.西北大學(xué) 2009
[4]基于池化技術(shù)的分布式數(shù)據(jù)緩存模型研究與實現(xiàn)[D]. 楊開杰.蘇州大學(xué) 2009
[5]分布式緩存模式研究及其在金融系統(tǒng)中的應(yīng)用[D]. 戚偉強.浙江大學(xué) 2008
[6]Web緩存與預(yù)取模型研究[D]. 衛(wèi)琳.鄭州大學(xué) 2006
[7]基于Web對象流行度的預(yù)取模型[D]. 裴云霞.鄭州大學(xué) 2005
[8]合作式Web集群緩存系統(tǒng)的研究與實現(xiàn)[D]. 王昭.武漢大學(xué) 2004
本文編號:3479174
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3479174.html
最近更新
教材專著