【摘要】：文本消重是搜索引擎中的一項(xiàng)重要技術(shù),能將搜集到的網(wǎng)頁中的近似鏡像網(wǎng)頁去掉,而后再建索引提供服務(wù),這樣用戶查詢時(shí)就不會(huì)出現(xiàn)大量?jī)?nèi)容重復(fù)的網(wǎng)頁。通過對(duì)近似鏡像文本檢測(cè)算法的分析和研究,提出了應(yīng)用MD5指紋的近似鏡像算法對(duì)文本文檔進(jìn)行消重處理的方法,并將該算法在基于P2PKM的學(xué)習(xí)支持平臺(tái)上的索引模塊中作了測(cè)試。測(cè)試結(jié)果表明,這種算法的應(yīng)用,知識(shí)包中的重復(fù)文檔有了明顯的減少。
[Abstract]:Text elimination is an important technology in search engine. It can remove the approximate mirror pages from the collected pages, and then build index to provide services, so that users do not have a lot of duplicate pages when querying. Based on the analysis and research of approximate mirroring text detection algorithm, an approximate image algorithm based on MD5 fingerprint is proposed to eliminate the reprocessing of text document. The algorithm is tested in the index module of learning support platform based on P2PKM. The test results show that the application of this algorithm can reduce the duplicate document in the knowledge package.
【作者單位】： 廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院;湖南師范大學(xué)計(jì)算機(jī)教學(xué)部;
【基金】：湖南省自然科學(xué)基金項(xiàng)目(06JJ50105)
【分類號(hào)】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 王建勇,謝正茂,雷鳴,李曉明;近似鏡像網(wǎng)頁檢測(cè)算法的研究與評(píng)價(jià)[J];電子學(xué)報(bào);2000年S1期

2 梁京章;李幼紅;潘瑩;葉云;;P2P資料搜索引擎的研究和設(shè)計(jì)[J];廣西大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年04期

3 趙汀,孟祥武;基于LUCENEAPI的中文全文數(shù)據(jù)庫設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2003年20期

4 張明輝,王成耀,宋威;一種基于段落的分段簽名近似鏡像新算法[J];情報(bào)雜志;2005年01期

5 葉云;梁京章;;基于Lucene的搜索引擎在遠(yuǎn)程教育平臺(tái)中的應(yīng)用[J];現(xiàn)代計(jì)算機(jī);2007年04期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 雷鳴,王建勇,趙江華,單松巍,陳葆玨;第三代搜索引擎與天網(wǎng)二期[J];北京大學(xué)學(xué)報(bào)(自然科學(xué)版);2001年05期

2 樊勇;鄭家恒;;基于主題的網(wǎng)頁去重[J];電腦開發(fā)與應(yīng)用;2008年04期

3 溫艷鴻;;基于lucene的文件搜索引擎的設(shè)計(jì)與擴(kuò)展[J];福建電腦;2007年08期

4 韓正服;楊喜權(quán);張一鳴;叢榮華;;基于特征碼的大規(guī)模XML文檔去重研究[J];中國(guó)管理信息化(綜合版);2006年07期

5 郭艾俠;張連寬;吳小紅;潘春華;;基于P2P網(wǎng)絡(luò)中信譽(yù)機(jī)制的安全電子交易協(xié)議[J];廣西大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年04期

6 王正;陸余良;劉金紅;施凡;;基于Lucene的互聯(lián)網(wǎng)文獻(xiàn)信息檢索系統(tǒng)的研究[J];安徽大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年05期

7 劉磊安;符志強(qiáng);;基于Lucene.net網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2010年08期

8 李曉明,朱家稷,閆宏飛;互聯(lián)網(wǎng)上主題信息的一種收集與處理模型及其應(yīng)用[J];計(jì)算機(jī)研究與發(fā)展;2003年12期

9 張駿;郭慧;;基于文件指紋的Web文本挖掘[J];計(jì)算機(jī)與信息技術(shù);2009年05期

10 宋佳;諸云強(qiáng);劉潤(rùn)達(dá);;一種基于Lucene改進(jìn)的全文檢索工具包[J];計(jì)算機(jī)工程與應(yīng)用;2008年04期

相關(guān)博士學(xué)位論文 前3條

1 李衛(wèi);領(lǐng)域知識(shí)的獲取[D];北京郵電大學(xué);2008年

2 詹川;反垃圾郵件技術(shù)的研究[D];電子科技大學(xué);2005年

3 程軍;基于統(tǒng)計(jì)的文本分類技術(shù)研究[D];中國(guó)科學(xué)院研究生院（文獻(xiàn)情報(bào)中心）;2003年

相關(guān)碩士學(xué)位論文 前10條

1 譚鳴;基于Lucene技術(shù)的垂直搜索引擎的研究與實(shí)現(xiàn)[D];江西理工大學(xué);2009年

2 楊永毅;基于Lucene的二手汽車交易信息垂直搜索引擎的研究與實(shí)現(xiàn)[D];重慶大學(xué);2009年

3 楊娜;基于lucene的輕量級(jí)全文檢索系統(tǒng)模型研究[D];鄭州大學(xué);2009年

4 辛聰;基于特征碼的大規(guī)模中文網(wǎng)頁并行去重方法[D];哈爾濱工業(yè)大學(xué);2008年

5 馬志強(qiáng);校園網(wǎng)搜索引擎核心技術(shù)—中文自動(dòng)分詞[D];北京機(jī)械工業(yè)學(xué)院;2006年

6 翁云鶴;基于自然語言處理的網(wǎng)頁去重關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2009年

7 王巖;基于本體的數(shù)字圖書館的檢索方法的研究[D];哈爾濱工程大學(xué);2008年

8 劉峰;垂直搜索中的數(shù)據(jù)清洗和排序算法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2009年

9 劉運(yùn)佳;基于Lucene和Heririx構(gòu)建搜索引擎的研究和示例實(shí)現(xiàn)[D];電子科技大學(xué);2008年

10 魏麗霞;基于文本結(jié)構(gòu)的近似鏡像網(wǎng)頁去重[D];山西大學(xué);2008年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 王建勇,謝正茂,雷鳴,李曉明;近似鏡像網(wǎng)頁檢測(cè)算法的研究與評(píng)價(jià)[J];電子學(xué)報(bào);2000年S1期

2 郎小偉;王申康;;基于Lucene的全文檢索系統(tǒng)研究與開發(fā)[J];計(jì)算機(jī)工程;2006年04期

3 孫西全;馬瑞芳;李燕靈;;基于Lucene的信息檢索的研究與應(yīng)用[J];情報(bào)理論與實(shí)踐;2006年01期

4 向暉;郭一平;王亮;;基于Lucene的中文字典分詞模塊的設(shè)計(jì)與實(shí)現(xiàn)[J];現(xiàn)代圖書情報(bào)技術(shù);2006年08期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王建勇,謝正茂,雷鳴,李曉明;近似鏡像網(wǎng)頁檢測(cè)算法的研究與評(píng)價(jià)[J];電子學(xué)報(bào);2000年S1期

2 張明輝,王成耀,宋威;一種基于段落的分段簽名近似鏡像新算法[J];情報(bào)雜志;2005年01期

3 胡燕;也談消重[J];中國(guó)檔案;1997年03期

4 楊文忠;彭曙蓉;;簡(jiǎn)報(bào)近似網(wǎng)頁的一種檢測(cè)算法[J];微計(jì)算機(jī)應(yīng)用;2006年01期

5 李傳目;WEB上用戶口令的安全傳輸[J];集美大學(xué)學(xué)報(bào)(自然科學(xué)版);2002年04期

6 高勁松，，孟令奎;基于神經(jīng)網(wǎng)絡(luò)的關(guān)系消重和排序運(yùn)算[J];華中師范大學(xué)學(xué)報(bào)(自然科學(xué)版);1994年03期

7 李家國(guó),李建華,章 程;一種Web站點(diǎn)網(wǎng)頁資源保護(hù)設(shè)計(jì)方案[J];計(jì)算機(jī)工程;2002年04期

8 于泠,陳波;基于數(shù)字指紋的網(wǎng)頁監(jiān)控與恢復(fù)系統(tǒng)[J];計(jì)算機(jī)工程與應(yīng)用;2002年02期

9 王貴竹,李津生,洪佩琳;MD5報(bào)文摘要算法與IPv6認(rèn)證[J];小型微型計(jì)算機(jī)系統(tǒng);2001年01期

10 徐小龍,王汝傳,鄧玉龍;用MD5技術(shù)構(gòu)建高安全性電子商務(wù)系統(tǒng)[J];南京郵電學(xué)院學(xué)報(bào);2002年04期

相關(guān)會(huì)議論文 前10條

1 雍信陽;陳懷琛;;一種眼動(dòng)信號(hào)的檢測(cè)算法[A];第一屆全國(guó)人—機(jī)—環(huán)境系統(tǒng)工程學(xué)術(shù)會(huì)議論文集[C];1993年

2 劉健;董超華;朱小祥;;FY—1C資料在云頂粒子熱力學(xué)相態(tài)分析中的應(yīng)用研究[A];第五屆全國(guó)優(yōu)秀青年氣象科技工作者學(xué)術(shù)研討會(huì)學(xué)術(shù)論文集[C];2002年

3 劉永斌;閻寧;封錦華;;第八部分 應(yīng)用研究 康復(fù)與人-機(jī)-環(huán)境系統(tǒng)工程[A];第一屆全國(guó)人—機(jī)—環(huán)境系統(tǒng)工程學(xué)術(shù)會(huì)議論文集[C];1993年

4 孫文強(qiáng);孫文力;夏國(guó)忠;;船載自動(dòng)識(shí)別系統(tǒng)在未來航海中的應(yīng)用研究[A];2001航海技術(shù)現(xiàn)狀與發(fā)展趨勢(shì)論文集[C];2001年

5 周玉林;;鏑鐵合金粉的應(yīng)用研究[A];第九屆中國(guó)稀土企業(yè)家聯(lián)誼會(huì)會(huì)議論文集[C];2002年

6 劉建華;曾文憲;;城鎮(zhèn)基準(zhǔn)地價(jià)評(píng)估中樓面價(jià)的應(yīng)用研究[A];新世紀(jì)土地問題研究[C];2002年

7 韋燕飛;潘潤(rùn)秋;;“3S”技術(shù)在西部土地監(jiān)察中的應(yīng)用研究[A];認(rèn)識(shí)地理過程 關(guān)注人類家園——中國(guó)地理學(xué)會(huì)2003年學(xué)術(shù)年會(huì)文集[C];2003年

8 姚志明;;上游站水位法原理淺析及應(yīng)用研究[A];中國(guó)水利學(xué)會(huì)2003學(xué)術(shù)年會(huì)論文集[C];2003年

9 章之蓉;謝瑞生;李俊;;聲馴化魚應(yīng)用研究[A];首屆粵港生物物理學(xué)術(shù)研討會(huì)論文集[C];1999年

10 戴曉陽;姚樹橋;蔡太生;楊堅(jiān);;NEO-PI-R在中國(guó)的應(yīng)用研究[A];第九屆全國(guó)心理學(xué)學(xué)術(shù)會(huì)議文摘選集[C];2001年

相關(guān)重要報(bào)紙文章 前10條

1 陳智罡;算法復(fù)雜度的分析方法及其運(yùn)用[N];中國(guó)電腦教育報(bào);2002年

2 范德生 鄧亞玲;守住網(wǎng)頁的秘密[N];電腦報(bào);2005年

3 本報(bào)記者 陳曉晟;網(wǎng)游概念股走勢(shì)平穩(wěn) 網(wǎng)頁游戲或成新亮點(diǎn)[N];通信信息報(bào);2008年

4 本報(bào)記者 楊陽;“我要玩”：網(wǎng)頁游戲集中營(yíng)[N];經(jīng)濟(jì)觀察報(bào);2009年

5 商報(bào)記者 金朝力;網(wǎng)頁游戲繁華之后難掩衰落[N];北京商報(bào);2009年

6 本報(bào)記者 廖慶升;網(wǎng)游巨頭紛紛“涉水” 網(wǎng)頁游戲面臨洗牌[N];通信信息報(bào);2009年

7 劉思齊;網(wǎng)頁游戲的春天即將來臨或?qū)②s超大型網(wǎng)游[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2009年

8 許冰洲　鞠金華;全國(guó)首個(gè)網(wǎng)頁游戲孵化器欲成網(wǎng)頁游戲產(chǎn)業(yè)基地[N];嘉興日?qǐng)?bào);2009年

9 商報(bào)記者 李鵬;網(wǎng)頁游戲:成長(zhǎng)的煩惱[N];中國(guó)圖書商報(bào);2009年

10 本報(bào)記者 李忠存;網(wǎng)頁游戲魚龍混雜 “偷菜”模式能否成救命稻草？[N];中國(guó)計(jì)算機(jī)報(bào);2009年

相關(guān)博士學(xué)位論文 前10條

1 種勁松;合成孔徑雷達(dá)圖像艦船目標(biāo)檢測(cè)算法與應(yīng)用研究[D];中國(guó)科學(xué)院研究生院（電子學(xué)研究所）;2002年

2 趙慧;MIMO系統(tǒng)中信號(hào)檢測(cè)技術(shù)的研究[D];北京郵電大學(xué);2006年

3 譚德慶;多維博弈及應(yīng)用研究[D];西南交通大學(xué);2004年

4 羅振東;MIMO無線通信系統(tǒng)的關(guān)鍵理論與技術(shù)研究[D];北京郵電大學(xué);2006年

5 許聯(lián)鋒;水氣兩相流動(dòng)的數(shù)字圖像測(cè)量方法及應(yīng)用研究[D];西安理工大學(xué);2004年

6 華鋒;破碎波統(tǒng)計(jì)及應(yīng)用研究[D];中國(guó)科學(xué)院研究生院（海洋研究所）;2005年

7 王勇;矩陣變換器的空間矢量調(diào)制、系統(tǒng)集成及應(yīng)用研究[D];浙江大學(xué);2005年

8 李艷菊;元寶楓繁育技術(shù)與應(yīng)用研究[D];北京林業(yè)大學(xué);2005年

9 李強(qiáng);放射狀土壤桿菌M-503產(chǎn)生物絮凝劑的制備、純化及應(yīng)用研究[D];山東大學(xué);2005年

10 符朝興;車輛彈性元件振動(dòng)沖擊波動(dòng)機(jī)理及其應(yīng)用研究[D];大連交通大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 謝寒生;基于視頻技術(shù)的車輛違章檢測(cè)算法研究與設(shè)計(jì)[D];華中科技大學(xué);2004年

2 趙雪梅;電腦音樂軟件在小學(xué)音樂教學(xué)中的應(yīng)用研究[D];東北師范大學(xué);2004年

3 王波;數(shù)字校園的實(shí)現(xiàn)與應(yīng)用研究[D];大連理工大學(xué);2005年

4 涂濤;嵌入式瀏覽器網(wǎng)頁排版技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2004年

5 陳國(guó)強(qiáng);有限元逆算法在汽車覆蓋件沖壓成形數(shù)值模擬中的應(yīng)用研究[D];華中科技大學(xué);2004年

6 符鶴;基于系統(tǒng)調(diào)用的入侵檢測(cè)實(shí)現(xiàn)與評(píng)估[D];中南大學(xué);2005年

7 成玉娟;液體中小目標(biāo)檢測(cè)算法研究及應(yīng)用[D];浙江大學(xué);2002年

8 劉娜;基于脈搏波的血壓和心血管狀態(tài)檢測(cè)算法的研究[D];浙江大學(xué);2004年

9 羅曉鳴;基于日志信息統(tǒng)計(jì)（異常）的檢測(cè)算法設(shè)計(jì)[D];電子科技大學(xué);2004年

10 胡卓穎;專題型網(wǎng)頁搜集器關(guān)鍵算法的研究及實(shí)現(xiàn)[D];江西師范大學(xué);2005年

本文編號(hào)：2387910