發(fā)布時(shí)間：2024-03-15 06:17

　　近年來(lái),隨著互聯(lián)網(wǎng)的普及與大數(shù)據(jù)的蓬勃發(fā)展,各大云服務(wù)提供商和各大電商的業(yè)務(wù)不斷擴(kuò)張,數(shù)據(jù)量呈爆發(fā)式增長(zhǎng),海量數(shù)據(jù)的存儲(chǔ)與管理給分布式數(shù)據(jù)庫(kù)系統(tǒng)帶來(lái)嚴(yán)峻的挑戰(zhàn)。傳統(tǒng)分布式數(shù)據(jù)庫(kù)架構(gòu)的一個(gè)顯著特點(diǎn)是計(jì)算(查詢解析、查詢優(yōu)化等)與存儲(chǔ)(數(shù)據(jù)持久化、備份、故障恢復(fù)等)在物理上緊耦合,但是該模式下計(jì)算與存儲(chǔ)業(yè)務(wù)存在資源競(jìng)爭(zhēng),性能相互制約,同時(shí)也使得集群難以實(shí)現(xiàn)快速?gòu)椥詳U(kuò)展,系統(tǒng)調(diào)度效率較低。本論文針對(duì)以上問題進(jìn)行深入研究,將數(shù)據(jù)庫(kù)這個(gè)“黑盒子”打開,研究如何在分布式數(shù)據(jù)庫(kù)上實(shí)現(xiàn)計(jì)算與存儲(chǔ)分離,即將查詢解析、查詢優(yōu)化等計(jì)算邏輯與數(shù)據(jù)持久化、備份、故障恢復(fù)等存儲(chǔ)業(yè)務(wù)在物理上解耦,實(shí)現(xiàn)上層計(jì)算層無(wú)狀態(tài),底層存儲(chǔ)層池化。同時(shí),由于近年來(lái)NoSQL數(shù)據(jù)庫(kù)憑借其高可用、高可擴(kuò)展的優(yōu)良特性被廣泛應(yīng)用于海量數(shù)據(jù)管理,因此本論文采用NoSQL中的一個(gè)重要分支Key-Value數(shù)據(jù)模型進(jìn)行數(shù)據(jù)庫(kù)系統(tǒng)的實(shí)現(xiàn)。具體而言,本論文主要完成以下工作:(1)深入研究數(shù)據(jù)庫(kù)計(jì)算與存儲(chǔ)分離的意義與可行性,調(diào)研當(dāng)前國(guó)內(nèi)外計(jì)算與存儲(chǔ)分離數(shù)據(jù)庫(kù)系統(tǒng)的發(fā)展現(xiàn)狀,在充分的調(diào)研工作基礎(chǔ)上完成本論文系統(tǒng)整體架構(gòu)設(shè)計(jì)與功能模塊設(shè)計(jì)。(2)針對(duì)計(jì)...

【文章頁(yè)數(shù)】：81 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖5-1增刪改基本操作測(cè)試代碼片段

圖5-1增刪改基本操作測(cè)試代碼片段圖5-2增刪改基本操作結(jié)果單點(diǎn)故障恢復(fù)測(cè)試本小節(jié)將測(cè)試系統(tǒng)自愈能力，主要測(cè)試計(jì)算層主節(jié)點(diǎn)宕機(jī)之后，系統(tǒng)能否監(jiān)測(cè)到異常并重新發(fā)起選舉，完成新主節(jié)點(diǎn)的更替，繼續(xù)提供服務(wù)。首先啟動(dòng)集群，CacheRaft進(jìn)行一次選舉，從日志文件可以看出，節(jié)點(diǎn)....

圖5-4集群選舉過程

圖5-4集群選舉過程負(fù)載均衡測(cè)試本小節(jié)為負(fù)載均衡測(cè)試。由于計(jì)算層沒有數(shù)據(jù)持久化功能，因此僅測(cè)試存儲(chǔ)層數(shù)據(jù)分布情況。本小節(jié)測(cè)試中，調(diào)用Put函數(shù)向系統(tǒng)輸入測(cè)試數(shù)據(jù)100w條，單條記錄大小為1KB，由于存儲(chǔ)層采用三副本模式，因此系統(tǒng)存儲(chǔ)總數(shù)據(jù)量大約為3GB。操作完成后....

圖5-5OSD存儲(chǔ)空間使用情況

圖5-4集群選舉過程負(fù)載均衡測(cè)試本小節(jié)為負(fù)載均衡測(cè)試。由于計(jì)算層沒有數(shù)據(jù)持久化功能，因此僅測(cè)試存儲(chǔ)層數(shù)據(jù)分布情況。本小節(jié)測(cè)試中，調(diào)用Put函數(shù)向系統(tǒng)輸入測(cè)試數(shù)據(jù)100w條，單條記錄大小為1KB，由于存儲(chǔ)層采用三副本模式，因此系統(tǒng)存儲(chǔ)總數(shù)據(jù)量大約為3GB。操作完成后....

本文編號(hào)：3928665