隨著大數(shù)據(jù)時(shí)代的來(lái)臨以及大數(shù)據(jù)概念的普及,人們已經(jīng)普遍認(rèn)識(shí)到大規(guī)模數(shù)據(jù)信息資源的巨大價(jià)值,大數(shù)據(jù)時(shí)代會(huì)像互聯(lián)網(wǎng)時(shí)代一樣,給人類社會(huì)帶來(lái)巨大的改變和發(fā)展機(jī)遇。然而,機(jī)遇總是伴隨著挑戰(zhàn),在大數(shù)據(jù)分析應(yīng)用所涉及的存儲(chǔ)管理和計(jì)算分析等技術(shù)環(huán)節(jié)上,都面臨著諸多的技術(shù)挑戰(zhàn)。在大數(shù)據(jù)存儲(chǔ)管理和查詢技術(shù)上,傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)無(wú)法適應(yīng)大數(shù)據(jù)環(huán)境下的分布式存儲(chǔ)管理和查詢需求。關(guān)系數(shù)據(jù)庫(kù)難以進(jìn)行橫向擴(kuò)展,也難以有效應(yīng)對(duì)非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的高效存儲(chǔ)和查詢需求。計(jì)算機(jī)硬件的發(fā)展和體系結(jié)構(gòu)的演變,使得數(shù)據(jù)索引和查詢優(yōu)化方法必須考慮新的硬件性能和體系結(jié)構(gòu)特點(diǎn)。大規(guī)模分布式數(shù)據(jù)存儲(chǔ)管理和查詢研究受到了國(guó)內(nèi)外研究團(tuán)隊(duì)的普遍關(guān)注,如最廣為接受和使用的HBase系統(tǒng)、Facebook公司的Cassandra等諸多系統(tǒng)為大數(shù)據(jù)分布式數(shù)據(jù)管理和查詢分析應(yīng)用提供了良好的支撐。然而,由于現(xiàn)實(shí)世界中行業(yè)大數(shù)據(jù)容量巨大、數(shù)據(jù)形態(tài)復(fù)雜多樣,現(xiàn)有的大數(shù)據(jù)管理技術(shù)與系統(tǒng)在數(shù)據(jù)的查詢管理能力和查詢性能上還不能完全滿足實(shí)際應(yīng)用的要求,技術(shù)上還遠(yuǎn)未達(dá)到完全成熟的地步。例如,HBase雖然較好地解決了高擴(kuò)展性問(wèn)題,可以存儲(chǔ)管理高達(dá)數(shù)百億以上規(guī)模的... 

【文章來(lái)源】：南京大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：158 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

圖２．１傳統(tǒng)的數(shù)據(jù)分片策略??Ｔｃｒａｄａｔａ１％和ＧＲＡＣＥ１１＃是并行數(shù)據(jù)庫(kù)產(chǎn)品的典型代表，他們的分片都采用了哈希??策略

??圖３．７給出了兩種算法緩存命中率的對(duì)比。從圖中可以看出，查詢的緩存命中率隨??著緩存空間的增加逐漸提高。熱度累積緩存調(diào)度算法的緩存命中率高于ＨＢａｓｅ塊緩存策??略，特別是在數(shù)據(jù)緩存比例比較低的情況下。例如，當(dāng)數(shù)據(jù)緩存比率為數(shù)據(jù)集大小的０．２％??時(shí)，熱度累積緩存調(diào)度算法的緩存命中率是ＨＢａｓｅ塊緩存策略的２．５１倍。這是由于熱??度累積緩存調(diào)度算法的熱度累積機(jī)制能夠更精確地記錄數(shù)據(jù)的冷熱程度。在大數(shù)據(jù)查詢??場(chǎng)景下，數(shù)據(jù)的體量大，緩存空間受到物理內(nèi)存空間的限制，熱度累積緩存調(diào)度算法在??數(shù)據(jù)緩存比率較低的情況下對(duì)查詢性能的提升效果更為顯著，因此，本章提出的分層式??非主鍵索引查詢方法和熱度累積緩存調(diào)度算法更適用于大數(shù)據(jù)場(chǎng)景下的查詢性能優(yōu)化。??８０％??１??１?１?１?１?１??７０％?一????－??６０％?＿?＾????’－??｜?概－??５?３〇％?－?￣??▽?ＨＢａｓｅ?Ｂｌｏｃｋ?Ｃａｃｈｅ??２０％?□?Ｈｏｌｓｃｏｒｅ??１０％??｜?Ｉ?Ｉ?Ｉ?１???０．２?０４?０８?１６?３．２?６４?１２?８??ｃａｃｈｅ?ｒａｔｉｏ?（?％?ｏｆ?ｄａｔａ?ｓｉｚｅ）??圖３．７熱度累積緩存調(diào)度算法和ＨＢａｓｅ塊緩存策略的命中率對(duì)比??３８??

即熱度累積緩存調(diào)度算法在數(shù)據(jù)緩存比率較低的情況下對(duì)查詢性能的提升效果更為顯??著。當(dāng)數(shù)據(jù)緩存比率為數(shù)據(jù)集大小的０．２％時(shí)，Ｈｏｔｓｃｏｒｅ算法的查詢執(zhí)行吋間比ＨＢａｓｅ??塊緩存策略提升可以達(dá)到２７．３％。査詢執(zhí)行時(shí)間的對(duì)比如圖３．８。??ｘｉｉｌ，?，?，?，?，?，?，?

【參考文獻(xiàn)】：
期刊論文
[1]在線密度敏感哈希算法研究[J]. 王星,于江旭,唐曉亮,閆慧斌.  小型微型計(jì)算機(jī)系統(tǒng). 2018(05)
[2]位圖連接索引服務(wù)機(jī)制研究[J]. 張延松,蘇明川,張宇,王方舟.  計(jì)算機(jī)工程與應(yīng)用. 2015(05)



本文編號(hào)：3262430