【摘要】：伴隨著互聯(lián)網(wǎng)的高速發(fā)展,網(wǎng)絡(luò)信息呈指數(shù)級增長。在如此海量的信息當(dāng)中需要搜索引擎定位所需的信息。雖然通用搜索引擎在一定程度上能解決資源定位問題,但是其效果并不理想,對于專業(yè)領(lǐng)域的信息檢索,很難達(dá)到用戶的搜索需求。垂直搜索引擎的出現(xiàn)就是為了解決通用搜索引擎在專業(yè)領(lǐng)域的不足,其對特定領(lǐng)域信息的深度挖掘彌補(bǔ)了通用搜索引擎信息泛而不精的缺點。 論文從理論和實踐兩個方面對垂直搜索引擎中關(guān)鍵技術(shù)做了深入研究。 本文首先介紹了研究背景及意義、搜索引擎的分類和垂直搜索引擎在國內(nèi)外的發(fā)展現(xiàn)狀。其次介紹了垂直搜索引擎的基本工作原理、系統(tǒng)構(gòu)成和關(guān)鍵技術(shù)。接下來,詳細(xì)介紹了網(wǎng)頁的主題表示,構(gòu)造了本文的主題特征向量,分析了主題網(wǎng)頁的分布特征。深入研究了基于內(nèi)容的主題相關(guān)度判定和基于鏈接結(jié)構(gòu)的主題相關(guān)度判定,分析了各自的缺點和不足。在基于內(nèi)容的主題相關(guān)度判定的基礎(chǔ)上引入網(wǎng)頁重要度,設(shè)計了一個基于網(wǎng)頁內(nèi)容和基于網(wǎng)頁鏈接結(jié)構(gòu)的主題爬蟲算法。對于主題爬蟲中的主題孤島問題,設(shè)計了一個基于動態(tài)調(diào)整最大深度的隧道穿越算法,該算法一定程度上緩解了網(wǎng)絡(luò)孤島問題。隨后,設(shè)計了一個基于房產(chǎn)領(lǐng)域的垂直搜索引擎,對本系統(tǒng)進(jìn)行了系統(tǒng)分析,設(shè)計了本系統(tǒng)的總體框架,詳細(xì)介紹了各個子功能模塊的設(shè)計與實現(xiàn),并對本系統(tǒng)做了性能分析和功能測試。最后,對論文所做的工作進(jìn)行相應(yīng)的總結(jié),并且提出需要進(jìn)一步研究的工作。
[Abstract]:With the rapid development of the Internet, network information increases exponentially. In such a large amount of information needs search engine location needs information. Although the general search engine can solve the problem of resource location to a certain extent, its effect is not ideal, and it is difficult to reach the user's search demand for the information retrieval in the specialized field. The emergence of vertical search engine is to solve the shortcomings of general search engine in the professional field, and its deep mining of information in a specific field makes up for the shortcomings of general search engine information. In this paper, the key technologies of vertical search engine are studied in theory and practice. This paper first introduces the research background and significance, the classification of search engines and the development of vertical search engines at home and abroad. Secondly, the basic working principle, system structure and key technology of vertical search engine are introduced. Then, the theme representation of the web page is introduced in detail, the theme feature vector is constructed, and the distribution feature of the theme page is analyzed. In this paper, the content based topic correlation decision and the link structure based topic relevance judgment are studied in depth, and their shortcomings and shortcomings are analyzed. A topic crawler algorithm based on web content and web link structure is designed by introducing the importance of web pages on the basis of content-based topic correlation judgment. For the topic isolated island problem in the topic crawler, a tunnel crossing algorithm based on dynamic adjustment of maximum depth is designed, which to some extent alleviates the problem of network islanding. Then, a vertical search engine based on the real estate field is designed, the system is systematically analyzed, the overall framework of the system is designed, and the design and implementation of each sub-function module are introduced in detail. The performance analysis and function test of the system are also done. Finally, the work of the paper is summarized, and further research work is proposed.
【學(xué)位授予單位】：南昌大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2012
【分類號】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 高琴;;HITS算法探究[J];信息安全與技術(shù);2012年02期

2 張曉剛,李明樹;智能搜索引擎技術(shù)的研究與發(fā)展[J];計算機(jī)工程與應(yīng)用;2001年24期

3 赫建營;晏海華;金茂忠;劉超;;結(jié)合本體篩選和文本挖掘的垂直搜索引擎研究[J];計算機(jī)科學(xué);2008年02期

4 黃德才;戚華春;;PageRank算法研究[J];計算機(jī)工程;2006年04期

5 陳釗;張冬梅;;Web信息抽取技術(shù)綜述[J];計算機(jī)應(yīng)用研究;2010年12期

6 蘇成;潘云濤;袁軍鵬;馬崢;郭紅;張玉華;俞征鹿;胡志宇;;基于PageRank的期刊評價研究[J];中國科技期刊研究;2009年04期

7 胡永鋒;;淺談垂直搜索引擎的工作原理[J];科學(xué)大眾(科學(xué)教育);2011年06期

8 孫西全;馬瑞芳;李燕靈;;基于Lucene的信息檢索的研究與應(yīng)用[J];情報理論與實踐;2006年01期

9 何曉陽,吳強(qiáng),吳治蓉;HITS算法與PageRank算法比較分析[J];情報雜志;2004年02期

10 劉琨,鄭有才;搜索引擎剖析[J];微機(jī)發(fā)展;2004年03期

相關(guān)碩士學(xué)位論文 前8條

1 周源;基于本體的語義垂直搜索引擎研究[D];北京交通大學(xué);2011年

2 李宜兵;基于搜索引擎網(wǎng)頁排序算法研究[D];沈陽理工大學(xué);2011年

3 馮運;信息檢索中的查詢算法研究[D];湖南大學(xué);2007年

4 海濤;垂直搜索引擎數(shù)據(jù)采集技術(shù)的研究與實現(xiàn)[D];華北電力大學(xué)（北京）;2008年

5 張慧;旅游信息垂直搜索系統(tǒng)的設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2009年

6 孫逸雪;基于時態(tài)信息的主題搜索引擎的研究與實現(xiàn)[D];中國科學(xué)技術(shù)大學(xué);2009年

7 賀晟;搜索引擎中主題網(wǎng)絡(luò)爬蟲的研究與設(shè)計[D];安徽大學(xué);2010年

8 龔勇;搜索引擎中網(wǎng)絡(luò)爬蟲的研究[D];武漢理工大學(xué);2010年

，

本文編號：2313653