發(fā)布時間：2017-12-05 06:23

  本文關(guān)鍵詞：基于T-Graph算法的主題爬蟲研究

  更多相關(guān)文章： 主題爬蟲 T-Graph 維基百科 相似度計算 權(quán)重

【摘要】：為解決傳統(tǒng)主題爬蟲抓取特定領(lǐng)域的網(wǎng)頁信息效率低下問題,在分析主題爬蟲算法T-Graph的基礎(chǔ)上,提出一種改進(jìn)的T-Graph主題爬蟲算法。利用維基百科的相關(guān)知識,采用語義分析的特征項提取算法提取特征項,在詞的語義層次上對文本進(jìn)行相似度計算,且綜合考慮了網(wǎng)頁中不同位置文本的權(quán)重問題。將改進(jìn)前后的算法進(jìn)行實驗對比,實驗結(jié)果表明,在提高主題爬行質(zhì)量方面,改進(jìn)后的算法效果更好。
【作者單位】： 山東師范大學(xué)信息科學(xué)與工程學(xué)院;
【基金】：山東省教育科學(xué)規(guī)劃攻關(guān)課題基金項目(ZK1037123C023)
【分類號】：TP393.092;TP391.1
【正文快照】： 0引言針對通用網(wǎng)絡(luò)爬蟲查準(zhǔn)率低、信息冗余大等缺點,主題網(wǎng)絡(luò)爬蟲應(yīng)運而生。主題爬行算法主要分為基于內(nèi)容分析的主題相關(guān)性算法和基于鏈接結(jié)構(gòu)的主題相關(guān)性算法兩大類。基于內(nèi)容分析的主題相關(guān)性算法有Best FirstSearch、Fish Search以及Shark Search等算法,這類算法只注重文

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李歡,宋麥玲,楊捷;基于內(nèi)容的圖像檢索系統(tǒng)[J];自動化博覽;2005年04期

2 王煜;白石;王正歐;;用于Web文本分類的快速KNN算法[J];情報學(xué)報;2007年01期

3 趙俊杰;胡學(xué)鋼;;基于文本分類的文檔相似度計算[J];微型電腦應(yīng)用;2008年12期

4 郝祥根;楊思春;高遠(yuǎn)飆;張偉;;基于向量空間模型的中文問答系統(tǒng)研究與實現(xiàn)[J];蘇州科技學(xué)院學(xué)報(自然科學(xué)版);2009年01期

5 王波;薛媛媚;;網(wǎng)上銷售常問問答系統(tǒng)的構(gòu)建[J];軟件導(dǎo)刊;2009年02期

6 袁正午;李玉森;張雪英;;基于屬性的文本相似度計算算法改進(jìn)[J];計算機工程;2009年17期

7 繆勇;宋斌;;基于Web日志的典型匿名用戶路徑挖掘研究[J];計算機應(yīng)用;2009年10期

8 張愛琦;左萬利;王英;梁浩;;基于多個領(lǐng)域本體的文本層次被定義聚類方法[J];計算機科學(xué);2010年03期

9 江耿豪;;基于VisualProlog的自動答疑系統(tǒng)設(shè)計與實現(xiàn)[J];現(xiàn)代教育技術(shù);2010年07期

10 蘇慧群;;XML文檔數(shù)對序列模型與結(jié)構(gòu)相似度算法研究[J];湖南廣播電視大學(xué)學(xué)報;2010年03期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 陳立;宋自林;鄭世明;張英;;基于本體的概念相似度計算研究[A];江蘇省系統(tǒng)工程學(xué)會第十一屆學(xué)術(shù)年會論文集[C];2009年

2 車萬翔;劉挺;秦兵;李生;;面向雙語句對檢索的漢語句子相似度計算[A];語言計算與基于內(nèi)容的文本處理——全國第七屆計算語言學(xué)聯(lián)合學(xué)術(shù)會議論文集[C];2003年

3 張奇;黃萱菁;吳立德;;一種新的句子相似度度量及其在文本自動摘要中的應(yīng)用[A];NCIRCS2004第一屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2004年

4 林民;宋柔;;基于結(jié)構(gòu)描述的漢字字形相似度計算[A];第三屆學(xué)生計算語言學(xué)研討會論文集[C];2006年

5 鄧錦輝;余正濤;章程;毛存禮;郭劍毅;;漢語語言處理接口的集成與應(yīng)用[A];2007年中國智能自動化會議論文集[C];2007年

6 朱嫣嵐;閔錦;周雅倩;黃萱菁;吳立德;;基于HowNet的詞匯語義傾向計算[A];全國第八屆計算語言學(xué)聯(lián)合學(xué)術(shù)會議（JSCL-2005）論文集[C];2005年

7 劉寶艷;林鴻飛;楊志豪;;基于改進(jìn)編輯距離和依存結(jié)構(gòu)的句子相似度計算[A];第三屆學(xué)生計算語言學(xué)研討會論文集[C];2006年

8 張學(xué);黃德根;;EBMT中翻譯模板的抽取與匹配[A];全國第八屆計算語言學(xué)聯(lián)合學(xué)術(shù)會議（JSCL-2005）論文集[C];2005年

9 朱麗麗;鄭家恒;;一種基于實例學(xué)習(xí)的人名識別方法[A];中文信息處理前沿進(jìn)展——中國中文信息學(xué)會二十五周年學(xué)術(shù)會議論文集[C];2006年

10 王振宇;譚紅葉;鄭家恒;;基于Bootstrapping的交通工具名識別[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 宋萬鵬;短文本相似度計算在用戶交互式問答系統(tǒng)中的應(yīng)用[D];中國科學(xué)技術(shù)大學(xué);2010年

2 王秀紅;文本相似度計算核函數(shù)的構(gòu)造及其在分布式信息檢索中的應(yīng)用研究[D];江蘇大學(xué);2012年

3 李輝;移動商務(wù)導(dǎo)購系統(tǒng)的研究[D];大連理工大學(xué);2008年

4 王吉華;基于特征函數(shù)的產(chǎn)品造型進(jìn)化設(shè)計研究[D];山東師范大學(xué);2009年

5 盧湖川;人臉識別中幾個關(guān)鍵算法研究[D];大連理工大學(xué);2008年

6 朱朝勇;基于本體的知識庫分類研究[D];中國科學(xué)技術(shù)大學(xué);2013年

7 馮曉寧;基于本體的語義Petri網(wǎng)研究及其在系統(tǒng)建模中的應(yīng)用[D];哈爾濱工程大學(xué);2009年

8 王剛;基于本體的服務(wù)模型及方法研究[D];西南大學(xué);2008年

9 楊云;中藥指紋圖譜數(shù)據(jù)處理技術(shù)的研究及應(yīng)用[D];華南理工大學(xué);2007年

10 江少鋒;醫(yī)學(xué)圖像的特征自動提取及基于模糊特征的圖像檢索研究[D];南方醫(yī)科大學(xué);2008年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 王德剛;智能答疑系統(tǒng)的設(shè)計[D];內(nèi)蒙古大學(xué);2008年

2 張宇;關(guān)系數(shù)據(jù)庫中基于元組的關(guān)鍵詞查詢研究[D];燕山大學(xué);2009年

3 張猛;基于話題的事件相似度計算[D];河北大學(xué);2014年

4 郭競;三維地形模型檢索系統(tǒng)設(shè)計與實現(xiàn)[D];西北大學(xué);2007年

5 王婷;OWL本體之間概念相似度計算研究[D];河海大學(xué);2007年

6 蔡元哲;本體實例學(xué)習(xí)關(guān)鍵技術(shù)的研究[D];中國人民大學(xué);2008年

7 劉巖;基于概念圖的中文語義分析系統(tǒng)的研究與實現(xiàn)[D];西北大學(xué);2008年

8 王利局;基于語義分析樹核的句子相似度計算[D];大連理工大學(xué);2008年

9 趙火軍;基于引文鏈的知識元挖掘方法研究[D];西安電子科技大學(xué);2009年

10 陳銳;基于概念圖的信息檢索查詢擴展模型研究與實現(xiàn)[D];西北大學(xué);2009年

，

本文編號：1253884