發(fā)布時(shí)間：2020-02-08 18:21

【摘要】：隨著互聯(lián)網(wǎng)飛速的發(fā)展，網(wǎng)絡(luò)信息量不斷增加，為提高實(shí)時(shí)檢索的效率，需要一種快速的索引方法。就搜索引擎而言，對(duì)大規(guī)模文本構(gòu)建索引涉及較大的數(shù)據(jù)量和計(jì)算量，會(huì)消耗大量計(jì)算資源，如何實(shí)現(xiàn)海量文本數(shù)據(jù)高性能索引，是搜索應(yīng)用中不可或缺的議題。 為提高索引構(gòu)建的性能，采用了GPU協(xié)作計(jì)算的模式，利用GPU高效并行計(jì)算能力來(lái)解決密集計(jì)算的問(wèn)題。為充分利用CPU和GPU的計(jì)算優(yōu)勢(shì)，分析了索引構(gòu)建的機(jī)制，提出了一種加速索引構(gòu)建的CPU、GPU的任務(wù)協(xié)作模型，分解文本索引各個(gè)過(guò)程，將文本解析、詞條索引等可并行化任務(wù)交給GPU完成，而讀寫文件、索引合并等任務(wù)則由CPU串行完成。為提高多線程并行計(jì)算的效率，根據(jù)GPU內(nèi)存結(jié)構(gòu)特點(diǎn)，設(shè)計(jì)了基于哈希表的并行索引結(jié)構(gòu)，對(duì)每個(gè)詞條增加了線程獨(dú)立的頻率統(tǒng)計(jì)區(qū)，在構(gòu)建索引時(shí)，索引詞條按不同的索引結(jié)構(gòu)進(jìn)行分類管理，以減少內(nèi)存開(kāi)銷。根據(jù)詞條類型的不同，設(shè)計(jì)了基于哈希表的立即索引的并行算法，和基于合并的并行索引算法，包括并行詞頻統(tǒng)計(jì)和索引轉(zhuǎn)換的方案。最后，針對(duì)GPU并行計(jì)算的特點(diǎn)，在并行粒度和指令級(jí)進(jìn)行了優(yōu)化，進(jìn)一步提高了索引構(gòu)建的效率。 實(shí)驗(yàn)表明，，設(shè)計(jì)的并行索引構(gòu)建方案適合GPU計(jì)算，相應(yīng)的優(yōu)化策略也取得了較好的效果，綜合比較，GPU并行索引的效率是CPU的五倍。因此，GPU能夠提高文本索引構(gòu)建的效率。
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類號(hào)】：TP391.3

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉金娟;張東晨;鞏天寧;李濤;;流水線技術(shù)及并行計(jì)算在GPU中的應(yīng)用分析[J];軟件導(dǎo)刊;2008年09期

2 方建文;于金輝;馬文龍;;基于硬件加速和粒子系統(tǒng)的實(shí)時(shí)噴泉模擬[J];計(jì)算機(jī)工程與應(yīng)用;2006年14期

3 許楠;郝愛(ài)民;王莉莉;;一種基于GPU的粒子系統(tǒng)[J];計(jì)算機(jī)工程與應(yīng)用;2006年19期

4 羅軍;王玲;;基于大規(guī)模粒子系統(tǒng)的實(shí)時(shí)噴泉模擬[J];計(jì)算機(jī)與信息技術(shù);2007年04期

5 林偉明;余輪;;基于GPU多紋理混合技術(shù)的循經(jīng)感傳模擬的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2009年04期

6 李建明;吳云龍;何榮盛;錢昆明;;基于粒子系統(tǒng)和GPU加速的噴泉實(shí)時(shí)仿真[J];系統(tǒng)仿真學(xué)報(bào);2009年10期

7 陳占芳;張國(guó)玉;師為禮;任濤;;基于GPU加速的光線跟蹤體繪制算法研究[J];長(zhǎng)春理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年01期

8 劉昊;;基于異構(gòu)平臺(tái)的細(xì)胞神經(jīng)網(wǎng)絡(luò)算法研究[J];電子質(zhì)量;2010年12期

9 王海鵬;吳昊;;可伸縮地形渲染中的GPU光線投射算法[J];微計(jì)算機(jī)信息;2010年35期

10 鄭寶林;趙建峰;;基于GPU的地形渲染技術(shù)的研究與實(shí)現(xiàn)[J];民營(yíng)科技;2011年03期

相關(guān)會(huì)議論文 前10條

1 王一博;常旭;劉伊克;;時(shí)域多尺度波形反演方法的GPU實(shí)現(xiàn)[A];中國(guó)地球物理學(xué)會(huì)第二十七屆年會(huì)論文集[C];2011年

2 ;GPU加速基于經(jīng)驗(yàn)?zāi)B(tài)分解的高動(dòng)態(tài)范圍圖像色調(diào)映射[A];第六屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2010)、第19屆全國(guó)多媒體學(xué)術(shù)會(huì)議（NCMT2010）、第6屆全國(guó)人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2010）、第5屆全國(guó)普適計(jì)算學(xué)術(shù)會(huì)議（PCC2010）論文集[C];2010年

3 尹鳳玲;劉天啟;鄭亮;張懷;石耀霖;;三維有限元地震波數(shù)值模擬的GPU加速[A];中國(guó)地球物理2010——中國(guó)地球物理學(xué)會(huì)第二十六屆年會(huì)、中國(guó)地震學(xué)會(huì)第十三次學(xué)術(shù)大會(huì)論文集[C];2010年

4 鄭亮;Taras Gerya;張懷;David A.Yuen;石耀霖;;GPU的內(nèi)存與線程機(jī)制及其在地球動(dòng)力學(xué)計(jì)算中的算例[A];中國(guó)地球物理2010——中國(guó)地球物理學(xué)會(huì)第二十六屆年會(huì)、中國(guó)地震學(xué)會(huì)第十三次學(xué)術(shù)大會(huì)論文集[C];2010年

5 劉勐;王健平;;利用GPU進(jìn)行連續(xù)爆轟發(fā)動(dòng)機(jī)的并行數(shù)值模擬[A];第十四屆全國(guó)激波與激波管學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];2010年

6 石穎;劉洪;;基于GPU的表面多次波預(yù)測(cè)技術(shù)[A];中國(guó)科學(xué)院地質(zhì)與地球物理研究所第十屆（2010年度）學(xué)術(shù)年會(huì)論文集(中)[C];2011年

7 王健;許明;陳飛國(guó);葛蔚;李靜海;;單相流動(dòng)直接數(shù)值模擬在GPU上的實(shí)現(xiàn)[A];中國(guó)顆粒學(xué)會(huì)第七屆學(xué)術(shù)年會(huì)暨海峽兩岸顆粒技術(shù)研討會(huì)論文集[C];2010年

8 段玉婷;李靖宇;胡天躍;;基于GPU的三維精細(xì)積分法正演模擬[A];中國(guó)地球物理學(xué)會(huì)第二十七屆年會(huì)論文集[C];2011年

9 方剛;杜啟振;;疊前逆時(shí)偏移的GPU并行算法[A];中國(guó)地球物理學(xué)會(huì)第二十七屆年會(huì)論文集[C];2011年

10 陳召曦;孟小紅;;海量重磁數(shù)據(jù)三維約束反演GPU加速試驗(yàn)研究[A];中國(guó)地球物理學(xué)會(huì)第二十七屆年會(huì)論文集[C];2011年

相關(guān)重要報(bào)紙文章 前10條

1 記者 嚴(yán)天秀;昆明新機(jī)場(chǎng)全球首安“GPU”[N];昆明日?qǐng)?bào);2010年

2 本報(bào)記者 宋家雨;GPU還是CPU? 高性能計(jì)算的一個(gè)問(wèn)題![N];網(wǎng)絡(luò)世界;2010年

3 ;GPU市場(chǎng)Q2創(chuàng)八年最大增幅[N];計(jì)算機(jī)世界;2009年

4 電腦報(bào) 朱文利;GPU助力，高性能計(jì)算機(jī)“異構(gòu)化”[N];電腦報(bào);2009年

5 本報(bào)記者 霍光;GPU計(jì)算逐漸大規(guī)模商用[N];中國(guó)計(jì)算機(jī)報(bào);2009年

6 游訊;圖形處理器GPU[N];人民郵電;2011年

7 記者 劉歡;全國(guó)首個(gè)GPU計(jì)算應(yīng)用測(cè)試中心在京成立[N];北京日?qǐng)?bào);2011年

8 李大慶;首套分布式GPU超級(jí)計(jì)算系統(tǒng)啟用[N];中國(guó)技術(shù)市場(chǎng)報(bào);2010年

9 本報(bào)記者 霍光;CPU集成GPU挑戰(zhàn)主板設(shè)計(jì)[N];中國(guó)計(jì)算機(jī)報(bào);2010年

10 劉穎;PCI-E3.0幫GPU開(kāi)發(fā)“副業(yè)”[N];電腦報(bào);2010年

相關(guān)博士學(xué)位論文 前10條

1 石林;GPU通用計(jì)算虛擬化方法研究[D];湖南大學(xué);2012年

2 王英俊;結(jié)構(gòu)分析中的GPU并行快速多極邊界元法研究[D];華中科技大學(xué);2013年

3 陳鋼;眾核GPU體系結(jié)構(gòu)相關(guān)技術(shù)研究[D];復(fù)旦大學(xué);2011年

4 劉勇;基于GPU的內(nèi)存數(shù)據(jù)庫(kù)索引技術(shù)研究[D];華南理工大學(xué);2013年

5 孫賀;基于GPU加速算法的納米流體振蕩流的分子動(dòng)力學(xué)模擬[D];吉林大學(xué);2013年

6 甘新標(biāo);面向眾核GPU的編程模型及編譯優(yōu)化關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

7 劉華海;節(jié)點(diǎn)內(nèi)多CPU多GPU協(xié)同并行繪制關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

8 毛華慶;基于GPU優(yōu)化的三維實(shí)時(shí)渲染技術(shù)的研究[D];武漢大學(xué);2010年

9 李仕;航空異速像移模糊實(shí)時(shí)恢復(fù)算法研究與GPU平臺(tái)實(shí)現(xiàn)[D];中國(guó)科學(xué)院研究生院（長(zhǎng)春光學(xué)精密機(jī)械與物理研究所）;2010年

10 畢慶貞;面向五軸高效銑削加工的刀具可行空間GPU計(jì)算與刀具方向整體優(yōu)化[D];上海交通大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 劉丹;基于GPU的分子動(dòng)力學(xué)模擬方法研究[D];武漢理工大學(xué);2010年

2 陳楓;基于GPU技術(shù)的疊前時(shí)間偏移及其在瑪湖地區(qū)的應(yīng)用[D];中國(guó)地質(zhì)大學(xué)（北京）;2011年

3 覃方濤;基于GPU的車牌定位關(guān)鍵技術(shù)并行研究[D];重慶大學(xué);2010年

4 魏卓群;GPU并行免疫算法在冷軋生產(chǎn)調(diào)度中的應(yīng)用[D];大連理工大學(xué);2010年

5 金鷺;基于GPU的表面形貌測(cè)量系統(tǒng)的研究[D];浙江大學(xué);2011年

6 譚洪頌;基于GPU加速的真實(shí)感渲染系統(tǒng)研究與實(shí)現(xiàn)[D];大連理工大學(xué);2010年

7 張煜君;基于GPU的真實(shí)感實(shí)時(shí)渲染技術(shù)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

8 孫亞妮;基于GPU的正交多幕光線散射補(bǔ)償算法研究[D];長(zhǎng)春理工大學(xué);2010年

9 明星;基于GPU的醫(yī)學(xué)圖像三維重建算法及其應(yīng)用[D];華中科技大學(xué);2009年

10 胡一帆;基于GPU加速的并行人工魚群算法及其應(yīng)用[D];浙江大學(xué);2011年

本文編號(hào)：2577576