【摘要】：針對(duì)HBase全表掃描查詢效率問題,對(duì)HBase第二索引功能進(jìn)行研究,實(shí)現(xiàn)一種基于HBase協(xié)處理器的服務(wù)端區(qū)域級(jí)第二索引擴(kuò)展功能。通過將索引維護(hù)與查詢放到服務(wù)端完成,極大地減少了網(wǎng)絡(luò)通信開銷。索引文件使用HFile格式組織。利用HFile成熟的編程接口以及高效的讀寫性能,使得索引維護(hù)變得簡單易行,也保證了索引讀寫的效率,提供了高效的查詢性能。實(shí)踐表明,該索引擴(kuò)展機(jī)制能有效地滿足集群應(yīng)用中對(duì)大數(shù)據(jù)集的第二索引查詢功能需求。
[Abstract]:Aiming at the efficiency of HBase full-table scanning query, the second index function of HBase is studied, and a server-side region-level second index extension function based on HBase coprocessor is implemented. By putting index maintenance and query on the server, the network communication overhead is greatly reduced. Index files are organized in HFile format. With the mature programming interface of HFile and the high performance of reading and writing, the index maintenance becomes simple and easy, the efficiency of index reading and writing is guaranteed, and the efficient query performance is provided. Practice shows that the index extension mechanism can effectively meet the requirement of the second index query for big data sets in cluster applications.
【作者單位】： 公安部第三研究所網(wǎng)絡(luò)安全研發(fā)中心;
【基金】：上海市科委項(xiàng)目(13511504100)
【分類號(hào)】：TP311.13;TP332

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 Tim O Gara;在定點(diǎn)DSP上實(shí)現(xiàn)浮點(diǎn)運(yùn)算[J];電子產(chǎn)品世界;2005年22期

2 曾曉洋;;可重配置的嵌入式安全協(xié)處理器IP核及其應(yīng)用[J];中國集成電路;2006年12期

3 梁松海,張武健,周潤德,羊性滋,葛元慶;一種適用于智能卡應(yīng)用的RSA協(xié)處理器[J];微電子學(xué);1999年01期

4 ;傻博士信箱[J];電腦愛好者;1999年15期

5 ;Cell最新細(xì)節(jié)[J];微電腦世界;2005年09期

6 Kevin Krewell;;遍地開花的多核技術(shù) 多核技術(shù)從嵌入式擴(kuò)展到服務(wù)器,再到客戶機(jī)[J];電子產(chǎn)品世界;2006年05期

7 ;面向便攜高清視頻應(yīng)用的DaVinci DM355處理器[J];世界電子元器件;2008年08期

8 王左利;;Nehalem微結(jié)構(gòu):革命性的改變[J];中國教育網(wǎng)絡(luò);2010年Z1期

9 阿英;一個(gè)32位微處理器和一些輔助部件[J];計(jì)算機(jī)工程與設(shè)計(jì);1987年02期

10 ;消息樹[J];每周電腦報(bào);1999年13期

相關(guān)會(huì)議論文 前8條

1 孟憲元;;FPGA實(shí)現(xiàn)DSP系統(tǒng)的結(jié)構(gòu)模型[A];全國第二屆嵌入式技術(shù)聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2007年

2 劉磊;;基于便簽式存儲(chǔ)器的SoC多處理器訪存結(jié)構(gòu)設(shè)計(jì)與實(shí)現(xiàn)[A];2008通信理論與技術(shù)新進(jìn)展——第十三屆全國青年通信學(xué)術(shù)會(huì)議論文集（上）[C];2008年

3 陳廣寧;;如何測試PC軟硬盤驅(qū)動(dòng)器參數(shù)[A];廣西計(jì)算機(jī)學(xué)會(huì)2008年年會(huì)論文集[C];2008年

4 劉海清;陸洪毅;童元滿;;基于隨機(jī)掩碼的AES算法抗DPA攻擊硬件實(shí)現(xiàn)[A];全國計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集（第二十三卷）[C];2008年

5 趙秋平;楊燦群;王鋒;;LBM算法在Cell處理器上的實(shí)現(xiàn)和優(yōu)化[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

6 康婧;石盛平;江濤;郭健;;網(wǎng)絡(luò)處理器的發(fā)展及其技術(shù)[A];全國第一屆嵌入式技術(shù)聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2006年

7 陸慶杭;張彬;盛立東;;基于PCI總線下的漢字識(shí)別加速硬件卡的實(shí)現(xiàn)[A];中國圖象圖形科學(xué)技術(shù)新進(jìn)展——第九屆全國圖象圖形科技大會(huì)論文集[C];1998年

8 潘向峰;王建庭;高輝;黨力明;;基于ARM微處理器的Bootloader設(shè)計(jì)與實(shí)現(xiàn)[A];教育部中南地區(qū)高等學(xué)校電子電氣基礎(chǔ)課教學(xué)研究會(huì)第二十屆學(xué)術(shù)年會(huì)會(huì)議論文集（上冊(cè)）[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 徐淼;四核心與多核心處理器的發(fā)展[N];中國計(jì)算機(jī)報(bào);2007年

2 謝文硯;非x86處理器將再度繁榮[N];中國計(jì)算機(jī)報(bào);2008年

3 電腦商報(bào)記者 祁萌;曙光研制HPC協(xié)處理器部件[N];電腦商報(bào);2007年

4 姜波;用戶眼中x86技術(shù)的未來[N];網(wǎng)絡(luò)世界;2006年

5 Altera公司高級(jí)產(chǎn)品行銷經(jīng)理 Paul Ekas;FPGA協(xié)處理器優(yōu)化汽車信息系統(tǒng)設(shè)計(jì)[N];中國電子報(bào);2004年

6 姜波;AMD亮劍[N];網(wǎng)絡(luò)世界;2006年

7 霍光;異構(gòu)協(xié)作沖擊萬億次[N];中國計(jì)算機(jī)報(bào);2007年

8 江南計(jì)算技術(shù)研究所 王飆 胡蘇太;通用多核產(chǎn)品技術(shù)現(xiàn)狀[N];計(jì)算機(jī)世界;2006年

9 本版編輯邋陳斌 李洋;打開計(jì)算的潘多拉魔盒[N];計(jì)算機(jī)世界;2007年

10 記者　 孫永杰;“核”戰(zhàn)何時(shí)休 客戶需求最重要[N];中國電子報(bào);2006年

相關(guān)博士學(xué)位論文 前10條

1 杜學(xué)亮;定制指令與協(xié)處理器加速機(jī)制的研究[D];中國科學(xué)技術(shù)大學(xué);2009年

2 張曉明;網(wǎng)絡(luò)處理器設(shè)計(jì)的若干關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2006年

3 吳丹;高效能計(jì)算型存儲(chǔ)器體系結(jié)構(gòu)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];華中科技大學(xué);2012年

4 孟建熠;超標(biāo)量嵌入式處理器關(guān)鍵技術(shù)設(shè)計(jì)研究[D];浙江大學(xué);2009年

5 段然;嵌入式可重構(gòu)DSP體系結(jié)構(gòu)研究[D];西北工業(yè)大學(xué);2005年

6 任小西;基于可重構(gòu)計(jì)算的高可靠星載計(jì)算機(jī)體系結(jié)構(gòu)研究[D];湖南大學(xué);2007年

7 嚴(yán)明;面向領(lǐng)域應(yīng)用的異構(gòu)多核SoC系統(tǒng)結(jié)構(gòu)設(shè)計(jì)與優(yōu)化[D];國防科學(xué)技術(shù)大學(xué);2011年

8 錢江波;連續(xù)查詢硬處理器及相關(guān)算法研究[D];東南大學(xué);2006年

9 彭和平;基于航天及空間應(yīng)用的單片多處理體系結(jié)構(gòu)研究[D];西北工業(yè)大學(xué);2006年

10 張宇;面向主動(dòng)存儲(chǔ)服務(wù)處理的可重構(gòu)計(jì)算技術(shù)研究[D];華中科技大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 龐博;高性能專用數(shù)字協(xié)處理器的設(shè)計(jì)與測試[D];電子科技大學(xué);2009年

2 張朝華;基于EFI/Tiano的協(xié)處理器模型的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2007年

3 張薇;可靠通信服務(wù)模型及實(shí)例研究：Net SPU[D];蘭州大學(xué);2009年

4 高路;面向語音編解碼算法的高性能SOC架構(gòu)的研究[D];中國科學(xué)技術(shù)大學(xué);2009年

5 董冕;高性能混合計(jì)算協(xié)處理器計(jì)算內(nèi)核的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2012年

6 范凱;基于動(dòng)態(tài)可重構(gòu)技術(shù)的陣列型協(xié)處理器架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2010年

7 郭超;基于AES的安全協(xié)處理器設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2012年

8 張秀平;MMU協(xié)處理器仿真模型的研究及軟件仿真實(shí)現(xiàn)[D];電子科技大學(xué);2011年

9 王松;基于FPGA的浮點(diǎn)協(xié)處理器IP核設(shè)計(jì)[D];南京航空航天大學(xué);2010年

10 賴明澈;數(shù)據(jù)并行協(xié)處理器體系結(jié)構(gòu)的研究與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2005年

，

本文編號(hào)：2188744