發(fā)布時(shí)間：2020-08-23 17:16

【摘要】：為了解決非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)與訪問(wèn)問(wèn)題,向上層應(yīng)用提供數(shù)據(jù)存儲(chǔ)基礎(chǔ)性架構(gòu),加快應(yīng)用開(kāi)發(fā)進(jìn)度,設(shè)計(jì)并實(shí)現(xiàn)了面向非結(jié)構(gòu)化數(shù)據(jù)查詢優(yōu)化的存儲(chǔ)系統(tǒng),提供統(tǒng)一、簡(jiǎn)單、透明、安全的數(shù)據(jù)訪問(wèn)接口和查詢方式,有效組織、管理非結(jié)構(gòu)化數(shù)據(jù),保證低延遲、高吞吐量的數(shù)據(jù)服務(wù)及系統(tǒng)的高可用性。 面向非結(jié)構(gòu)化數(shù)據(jù)查詢優(yōu)化的存儲(chǔ)系統(tǒng)的主要思想是借鑒Bigtable的數(shù)據(jù)模型和架構(gòu)思路并做出改進(jìn),采用鍵值對(duì)的形式提取非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)信息、建立索引,并將索引信息及非結(jié)構(gòu)化數(shù)據(jù)持久化存儲(chǔ)到文檔數(shù)據(jù)庫(kù),同時(shí),系統(tǒng)接口采用REST架構(gòu),提供系統(tǒng)平臺(tái)、語(yǔ)言無(wú)關(guān)的數(shù)據(jù)訪問(wèn)方式,解決了Bigtable將復(fù)雜的數(shù)據(jù)處理和控制交由用戶實(shí)現(xiàn)的問(wèn)題,工作主要集中在以下幾個(gè)方面:(1)根據(jù)NWR模型在數(shù)據(jù)一致性與可用性之間做出權(quán)衡,大量使用層次化的緩存結(jié)構(gòu),并根據(jù)數(shù)據(jù)的相關(guān)性建立了預(yù)緩存機(jī)制;(2)采用基于消息隊(duì)列的數(shù)據(jù)同步機(jī)制同步緩存與持久化存儲(chǔ),使數(shù)據(jù)達(dá)到最終一致,同時(shí)還進(jìn)行節(jié)點(diǎn)之間數(shù)據(jù)同步、備份,以保證有限數(shù)量節(jié)點(diǎn)失效時(shí)系統(tǒng)始終可用;(3)采用基于URL數(shù)字簽名的方式保證數(shù)據(jù)訪問(wèn)的安全性,最后,提供復(fù)雜查詢功能以滿足不同層次的用戶需求,通過(guò)將鍵值對(duì)形式的查詢語(yǔ)法翻譯為類似于SQL的查詢語(yǔ)句進(jìn)行實(shí)現(xiàn)。 在充分挖掘系統(tǒng)需求和特點(diǎn)的前提下實(shí)現(xiàn)了上述系統(tǒng),實(shí)驗(yàn)表明,在高負(fù)載情況下該系統(tǒng)也能穩(wěn)定提供數(shù)據(jù)存儲(chǔ)服務(wù)。相比于以文件形式存于文件系統(tǒng)和以BLOB類型存于關(guān)系數(shù)據(jù)庫(kù)這兩種方式,面向非結(jié)構(gòu)化數(shù)據(jù)查詢優(yōu)化的存儲(chǔ)系統(tǒng)在吞吐量和并發(fā)處理能力上提高了大約30%,響應(yīng)時(shí)間保持在200ms左右。
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2011
【分類號(hào)】：TP333

【引證文獻(xiàn)】

相關(guān)期刊論文 前1條

1 李春林;;海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)管理技術(shù)解析[J];中國(guó)-東盟博覽;2012年12期

本文編號(hào)：2801798