大數(shù)據(jù)時代下,傳統(tǒng)關(guān)系型數(shù)據(jù)庫遭遇了數(shù)據(jù)爆發(fā)式增長帶來的巨大挑戰(zhàn),導(dǎo)致一些需要大規(guī)模存儲和高效檢索的業(yè)務(wù)需求很難處理和實現(xiàn)。由于擁有高可用、可擴展、分區(qū)容錯等特性,Hadoop系列項目逐漸成為大規(guī)模數(shù)據(jù)計算和管理的有效方案。作為基于Hadoop分布式文件系統(tǒng)HDFS的分布式非關(guān)系型數(shù)據(jù)庫,HBase有著許多關(guān)系型數(shù)據(jù)庫不具備的適合海量數(shù)據(jù)存儲和管理的優(yōu)勢。但隨著研究和實踐的深入,人們發(fā)現(xiàn)HBase進行非主鍵數(shù)據(jù)檢索時,需要對整個數(shù)據(jù)表進行掃描,耗時較長并且代價很高,這限制了HBase在很多方面的應(yīng)用。借鑒傳統(tǒng)數(shù)據(jù)庫中索引的思想,科研人員和工程師對HBase非主鍵數(shù)據(jù)索引進行了大量的研究,本文在總結(jié)并分析了這些研究面臨的難點和關(guān)鍵問題的基礎(chǔ)上,設(shè)計并實現(xiàn)了一種基于日志結(jié)構(gòu)合并樹LSM-Tree和計數(shù)布魯姆過濾器CBF的HBase層次化輔助索引系統(tǒng)LB-Indexer。主要工作內(nèi)容如下:（1）按照LSM-Tree層次化模型的思想,將整個輔助索引系統(tǒng)分為內(nèi)存緩存和持久化存儲兩部分。內(nèi)存緩存使用空間和時間復(fù)雜度低的跳躍表作為索引存儲的底層數(shù)據(jù)結(jié)構(gòu),保證數(shù)據(jù)的寫入和檢索效率;利用HDFS分布式文... 

【文章來源】：西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校

【文章頁數(shù)】：85 頁

【學(xué)位級別】：碩士

【部分圖文】：

批量構(gòu)建索引數(shù)據(jù)分布情況

致性哈希實現(xiàn)索引集群可擴展方法的有效性 增加節(jié)點后，索引數(shù)據(jù)的分布情況如圖5.7 所示 圖5.7 增加 IndexWorker 節(jié)點后索引數(shù)據(jù)分布情況本次實驗還對IndexBalance()執(zhí)行過程中的各節(jié)點CPU和內(nèi)存使用情況與增加之前做了對比觀察，具體變化情況如圖 5.8 和圖 5.9 所示 圖5.8 增加 IndexWorker 節(jié)點前后 CPU 使用情況Node2,19.32%,Node3,21.43%Node4,20.58%Node5,18.61%Node6,20


本文編號：3308779