發(fā)布時間：2017-06-27 13:12

  本文關(guān)鍵詞：高階熵壓縮的全文自索引，由筆耕文化傳播整理發(fā)布。

【摘要】：大數(shù)據(jù)集正在以前所未有的速度產(chǎn)生,研制大數(shù)據(jù)集的實用壓縮全文自索引是目前的挑戰(zhàn)問題之一.該文提出了一種高階熵壓縮的全文自索引.對于長為n的文本T以及任意k≤clog_σn-1和c1,該壓縮索引占用2nH_k(T)+n+o(n)位的空間,其中Hk(T)表示文本T的k階經(jīng)驗熵,σ為字符表的大小.此外,該壓縮索引可在線性時間O(n)內(nèi)構(gòu)造.在此基礎(chǔ)上,該文還給出了上述壓縮索引的一種實用改進.這種改進引入了混合編碼方法,額外的空間開銷為o(n)位.對于PizzaChili Corpus上的三類典型數(shù)據(jù)的實驗表明:該文的壓縮索引較之主流壓縮索引在壓縮率和查詢時間上具有顯著的優(yōu)勢.該文所述的壓縮索引軟件可在GitHub上訪問.
【作者單位】： 西安電子科技大學(xué)計算機學(xué)院;
【關(guān)鍵詞】： 大數(shù)據(jù) 壓縮索引 自索引 高階熵 混合編碼
【基金】：國家自然科學(xué)基金(61173025,61373044)資助~~
【分類號】：TP391.3
【正文快照】： 士,教授,中國計算機學(xué)會(CCF)高級會員,主要研究領(lǐng)域為算法設(shè)計與分析、大數(shù)據(jù)壓縮索引與檢索、壓縮數(shù)據(jù)結(jié)構(gòu)、外存算法、生物信息學(xué)算法,算法工程.E-mail:hwhuo@mail.xidian.edu.cn.陳曉陽,男,1991年生,博士研究生,主要研究方向為大數(shù)據(jù)壓縮索引與檢索、圖索引、外存算法.陳

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 楊淼淇;孫納新;柴華;;大數(shù)據(jù)時代教育模式的研究[J];計算機工程與科學(xué);2014年S1期

2 陳飛;;“大數(shù)據(jù)”對軍事外宣的影響探析[J];軍事記者;2014年05期

3 石岱;;大數(shù)據(jù)帶給圖書館的影響和挑戰(zhàn)[J];黑龍江教育(理論與實踐);2014年05期

4 王玉筠;;淺談大數(shù)據(jù)背景下的圖書館服務(wù)[J];合作經(jīng)濟與科技;2014年09期

5 趙偉;郭軍;;大數(shù)據(jù)——我該用怎樣的戰(zhàn)略眼光看待你[J];中國新通信;2014年12期

6 趙建偉;;大數(shù)據(jù)初探[J];科技資訊;2013年20期

7 潘海鵬;;淺談電信行業(yè)大數(shù)據(jù)的意義與應(yīng)用[J];電子世界;2014年03期

8 黃鍇;;世界杯中大數(shù)據(jù)顯大威風(fēng)[J];物聯(lián)網(wǎng)技術(shù);2014年07期

9 繆其浩;;當情報遇到大數(shù)據(jù)——大數(shù)據(jù)熱點情報跟蹤的回顧與感悟[J];情報探索;2013年05期

10 桑慶兵;;大數(shù)據(jù)在高校的應(yīng)用與思考[J];南通紡織職業(yè)技術(shù)學(xué)院學(xué)報;2013年02期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 康慶陽;;建立面向用戶的架構(gòu)推動新聞傳播變革[A];中國新聞技術(shù)工作者聯(lián)合會第六次會員代表大會、2014年學(xué)術(shù)年會暨第七屆《王選新聞科學(xué)技術(shù)獎》和優(yōu)秀論文獎頒獎大會論文集（三等獎）[C];2014年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前7條

1 張占軍;訂閱式云存儲方案設(shè)計[D];電子科技大學(xué);2014年

2 王雪皎;大數(shù)據(jù)驅(qū)動下的數(shù)據(jù)新聞生產(chǎn)研究[D];電子科技大學(xué);2015年

3 曲娜;基于網(wǎng)絡(luò)數(shù)據(jù)的CPI典型商品采價質(zhì)量優(yōu)化方案研究[D];吉林大學(xué);2016年

4 姚孟樂;大數(shù)據(jù)視野下的新聞傳播變革[D];吉林大學(xué);2016年

5 崔路云;基于大數(shù)據(jù)時代背景對統(tǒng)計學(xué)教育的幾點思考[D];首都經(jīng)濟貿(mào)易大學(xué);2014年

6 李佳飛;論遺忘權(quán)[D];西南政法大學(xué);2015年

7 張曉帆;未來銀行的設(shè)計與規(guī)劃[D];河北大學(xué);2014年

  本文關(guān)鍵詞：高階熵壓縮的全文自索引，由筆耕文化傳播整理發(fā)布。

，

本文編號：489935