本文關(guān)鍵詞：高階熵壓縮的全文自索引，由筆耕文化傳播整理發(fā)布。

【摘要】：大數(shù)據(jù)集正在以前所未有的速度產(chǎn)生,研制大數(shù)據(jù)集的實(shí)用壓縮全文自索引是目前的挑戰(zhàn)問(wèn)題之一.該文提出了一種高階熵壓縮的全文自索引.對(duì)于長(zhǎng)為n的文本T以及任意k≤clog_σn-1和c1,該壓縮索引占用2nH_k(T)+n+o(n)位的空間,其中Hk(T)表示文本T的k階經(jīng)驗(yàn)熵,σ為字符表的大小.此外,該壓縮索引可在線性時(shí)間O(n)內(nèi)構(gòu)造.在此基礎(chǔ)上,該文還給出了上述壓縮索引的一種實(shí)用改進(jìn).這種改進(jìn)引入了混合編碼方法,額外的空間開(kāi)銷為o(n)位.對(duì)于PizzaChili Corpus上的三類典型數(shù)據(jù)的實(shí)驗(yàn)表明:該文的壓縮索引較之主流壓縮索引在壓縮率和查詢時(shí)間上具有顯著的優(yōu)勢(shì).該文所述的壓縮索引軟件可在GitHub上訪問(wèn).
【作者單位】： 西安電子科技大學(xué)計(jì)算機(jī)學(xué)院;
【關(guān)鍵詞】： 大數(shù)據(jù) 壓縮索引 自索引 高階熵 混合編碼
【基金】：國(guó)家自然科學(xué)基金(61173025,61373044)資助~~
【分類號(hào)】：TP391.3
【正文快照】： 士,教授,中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)高級(jí)會(huì)員,主要研究領(lǐng)域?yàn)樗惴ㄔO(shè)計(jì)與分析、大數(shù)據(jù)壓縮索引與檢索、壓縮數(shù)據(jù)結(jié)構(gòu)、外存算法、生物信息學(xué)算法,算法工程.E-mail:hwhuo@mail.xidian.edu.cn.陳曉陽(yáng),男,1991年生,博士研究生,主要研究方向?yàn)榇髷?shù)據(jù)壓縮索引與檢索、圖索引、外存算法.陳

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 楊淼淇;孫納新;柴華;;大數(shù)據(jù)時(shí)代教育模式的研究[J];計(jì)算機(jī)工程與科學(xué);2014年S1期

2 陳飛;;“大數(shù)據(jù)”對(duì)軍事外宣的影響探析[J];軍事記者;2014年05期

3 石岱;;大數(shù)據(jù)帶給圖書(shū)館的影響和挑戰(zhàn)[J];黑龍江教育(理論與實(shí)踐);2014年05期

4 王玉筠;;淺談大數(shù)據(jù)背景下的圖書(shū)館服務(wù)[J];合作經(jīng)濟(jì)與科技;2014年09期

5 趙偉;郭軍;;大數(shù)據(jù)——我該用怎樣的戰(zhàn)略眼光看待你[J];中國(guó)新通信;2014年12期

6 趙建偉;;大數(shù)據(jù)初探[J];科技資訊;2013年20期

7 潘海鵬;;淺談電信行業(yè)大數(shù)據(jù)的意義與應(yīng)用[J];電子世界;2014年03期

8 黃鍇;;世界杯中大數(shù)據(jù)顯大威風(fēng)[J];物聯(lián)網(wǎng)技術(shù);2014年07期

9 繆其浩;;當(dāng)情報(bào)遇到大數(shù)據(jù)——大數(shù)據(jù)熱點(diǎn)情報(bào)跟蹤的回顧與感悟[J];情報(bào)探索;2013年05期

10 桑慶兵;;大數(shù)據(jù)在高校的應(yīng)用與思考[J];南通紡織職業(yè)技術(shù)學(xué)院學(xué)報(bào);2013年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前1條

1 康慶陽(yáng);;建立面向用戶的架構(gòu)推動(dòng)新聞傳播變革[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)第六次會(huì)員代表大會(huì)、2014年學(xué)術(shù)年會(huì)暨第七屆《王選新聞科學(xué)技術(shù)獎(jiǎng)》和優(yōu)秀論文獎(jiǎng)?lì)C獎(jiǎng)大會(huì)論文集（三等獎(jiǎng)）[C];2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前7條

1 張占軍;訂閱式云存儲(chǔ)方案設(shè)計(jì)[D];電子科技大學(xué);2014年

2 王雪皎;大數(shù)據(jù)驅(qū)動(dòng)下的數(shù)據(jù)新聞生產(chǎn)研究[D];電子科技大學(xué);2015年

3 曲娜;基于網(wǎng)絡(luò)數(shù)據(jù)的CPI典型商品采價(jià)質(zhì)量?jī)?yōu)化方案研究[D];吉林大學(xué);2016年

4 姚孟樂(lè);大數(shù)據(jù)視野下的新聞傳播變革[D];吉林大學(xué);2016年

5 崔路云;基于大數(shù)據(jù)時(shí)代背景對(duì)統(tǒng)計(jì)學(xué)教育的幾點(diǎn)思考[D];首都經(jīng)濟(jì)貿(mào)易大學(xué);2014年

6 李佳飛;論遺忘權(quán)[D];西南政法大學(xué);2015年

7 張曉帆;未來(lái)銀行的設(shè)計(jì)與規(guī)劃[D];河北大學(xué);2014年

  本文關(guān)鍵詞：高階熵壓縮的全文自索引，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：489935