發(fā)布時間：2019-11-07 14:24

【摘要】：隨著互聯(lián)網(wǎng)用戶的逐年增加,搜索引擎作為用戶使用互聯(lián)網(wǎng)的主要工具使用率呈逐年上漲趨勢。本文所研究的搜索引擎是為汽車類信息垂直搜索引擎,旨在用戶快速查找相關(guān)信息。 本文首先系統(tǒng)的介紹了搜索引擎的概念、發(fā)展歷史、和搜索引擎的分類。然后,對汽車搜索引擎系統(tǒng)進(jìn)行需求分析,對系統(tǒng)進(jìn)行總體設(shè)計(jì),并對系統(tǒng)的各個功能模塊進(jìn)行詳細(xì)的設(shè)計(jì)和實(shí)現(xiàn),最后汽車搜索引擎系統(tǒng)進(jìn)行了測試。 本汽車搜索引擎是基于Web面向國內(nèi)知名汽車網(wǎng)站的搜索引擎。系統(tǒng)的前端以MVC模式來實(shí)現(xiàn),主要分為四個子模塊。Spider模塊實(shí)現(xiàn)的功能為將特定網(wǎng)站上的大量網(wǎng)頁抓取到系統(tǒng)中,該模塊使用JAVA言語個性化定制的spider來完成對網(wǎng)頁的抓取。解析模塊實(shí)現(xiàn)的功能為解析網(wǎng)頁,提取其中的有用內(nèi)容,該模塊使用HTMLParser的API實(shí)現(xiàn)了對網(wǎng)頁內(nèi)容的解析。索引模塊對解析網(wǎng)頁生成的信息文件進(jìn)行分詞,并建立索引,將索引存入數(shù)據(jù)庫中;該模塊通過Lucene的API來實(shí)現(xiàn)對網(wǎng)頁內(nèi)容的建索。查詢模塊實(shí)現(xiàn)的主要功能是用戶通過此模塊完成與系統(tǒng)的交互,當(dāng)用戶在查詢界面上輸入要檢索的信息后,系統(tǒng)將在可以接受的時間內(nèi),返回用戶所需的結(jié)果集,通過Lucene的API來實(shí)現(xiàn)檢索。
【圖文】：

2-1系統(tǒng)結(jié)構(gòu)圖為了更清晰地說明其工作原理，如圖2-1所示，是一個常見的搜索引擎系統(tǒng)架構(gòu)圖[iDl，系統(tǒng)基本結(jié)構(gòu)由爬蟲模塊、預(yù)處理模塊、查詢模塊組成，系統(tǒng)的各部分都會相互交錯、相互依賴。1.網(wǎng)絡(luò)_蛛技術(shù)

圖2-3 spider抓取順序圖由于不可能抓取所有的網(wǎng)頁，，有些網(wǎng)絡(luò)卿蛛對一些不太重要的網(wǎng)站，設(shè)置了訪問的數(shù)。例如，在圖2. 2中，A為起始網(wǎng)頁，屬于0層，B、C、D、E、F屬于第I層，G、H屬于第2層，I屬于第3層。如果網(wǎng)絡(luò)蜘蛛設(shè)置的訪問層數(shù)為2的話，網(wǎng)頁丨是不會被訪問到的。這也讓有些網(wǎng)站上一部分網(wǎng)頁能夠在搜索引擎上搜索
【學(xué)位授予單位】：復(fù)旦大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2012
【分類號】：TP391.3

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孫素芬;羅長壽;張峻峰;于峰;張樹亮;;農(nóng)業(yè)信息資源整合系統(tǒng)研究與應(yīng)用[J];安徽農(nóng)業(yè)科學(xué);2007年22期

2 汪斌;張?jiān)苽?劉健;陳晶;;一種面向農(nóng)業(yè)信息主題網(wǎng)絡(luò)爬蟲的設(shè)計(jì)[J];安徽農(nóng)業(yè)科學(xué);2009年20期

3 廉捷;劉云;;網(wǎng)絡(luò)輿情中的信息預(yù)處理與自動摘要算法[J];北京交通大學(xué)學(xué)報;2010年05期

4 任斌;毛應(yīng)爽;;基于本體的主動學(xué)習(xí)主題爬行的研究與實(shí)現(xiàn)[J];長春工程學(xué)院學(xué)報(自然科學(xué)版);2011年01期

5 武昊;廖安平;何超英;侯東陽;;基于主題相關(guān)度的地理信息Web服務(wù)爬蟲研究[J];地理與地理信息科學(xué);2012年02期

6 張超;閆宏印;;多線程網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦開發(fā)與應(yīng)用;2012年06期

7 吳聰聰;趙建立;;基于本體的主題爬蟲的研究[J];電腦知識與技術(shù);2011年03期

8 王遷;王麗娜;;對收費(fèi)網(wǎng)站中作品提供鏈接的法律性質(zhì)——評“娛樂基地”訴百度案[J];電子知識產(chǎn)權(quán);2007年08期

9 胡宏濤;常佳;;基于網(wǎng)絡(luò)的信息獲取技術(shù)淺析[J];福建電腦;2006年04期

10 張軍洲;連云凱;;基于旅游博客和論壇提高旅游產(chǎn)品質(zhì)量的模型研究[J];旅游論壇;2012年02期

相關(guān)會議論文 前4條

1 王棟;陳勇;徐建良;;基于預(yù)測的BitTorrent種子評估方法[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

2 劉兵;胡學(xué)鋼;;基于多鏈接分析的主題爬蟲設(shè)計(jì)實(shí)現(xiàn)[A];全國第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會議（CACIS·2009）暨全國第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會議論文集（上冊）[C];2009年

3 戴玉剛;;藏文網(wǎng)頁采集技術(shù)研究[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學(xué)術(shù)研討會論文集[C];2007年

4 彭鑫;秦秋莉;;基于相關(guān)度分析的主題聚焦爬蟲研究[A];第六屆ABB杯全國自動化系統(tǒng)工程師論文大賽論文集[C];2013年

相關(guān)博士學(xué)位論文 前10條

1 吳羽;面向時間敏感對象的垂直搜索引擎關(guān)鍵技術(shù)研究[D];浙江大學(xué);2011年

2 鄧斌;B2C在線評論中的客戶知識管理研究[D];電子科技大學(xué);2010年

3 張翔;文本挖掘技術(shù)研究及其在綜合風(fēng)險信息網(wǎng)絡(luò)中的應(yīng)用[D];西北大學(xué);2011年

4 王肅;基于多Agent的突發(fā)事件信息智能監(jiān)測系統(tǒng)研究[D];北京郵電大學(xué);2011年

5 陳竹敏;面向垂直搜索引擎的主題爬行技術(shù)研究[D];山東大學(xué);2008年

6 王英;Deep Web數(shù)據(jù)集成關(guān)鍵技術(shù)研究[D];吉林大學(xué);2010年

7 王占一;Web文本挖掘中若干問題的研究[D];北京郵電大學(xué);2012年

8 楊志;基于本體的語義互操作研究[D];北京郵電大學(xué);2012年

9 王永剛;以數(shù)據(jù)為中心的在線社會網(wǎng)絡(luò)若干安全問題研究[D];北京大學(xué);2013年

10 王明軍;基于Web的空間數(shù)據(jù)爬取與度量研究[D];武漢大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 呂芳芳;基于查詢擴(kuò)展的垂直搜索研究[D];山東科技大學(xué);2010年

2 翁巖青;網(wǎng)頁抓取策略研究[D];哈爾濱工程大學(xué);2010年

3 蔡宇虹;基于主題的元搜索引擎關(guān)鍵技術(shù)研究[D];哈爾濱工程大學(xué);2010年

4 史煒;個性化搜索引擎的研究與設(shè)計(jì)[D];電子科技大學(xué);2010年

5 丁寶瓊;網(wǎng)絡(luò)文本信息采集分析關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];解放軍信息工程大學(xué);2009年

6 沙有闖;基于Web文本挖掘的網(wǎng)絡(luò)口碑監(jiān)測系統(tǒng)研究[D];安徽大學(xué);2010年

7 陳可欽;基于垂直搜索引擎的主題爬蟲算法的研究[D];中南林業(yè)科技大學(xué);2009年

8 張朝威;面向企業(yè)競爭情報的主題搜索研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2010年

9 劉永信;主題搜索與Web挖掘的研究及系統(tǒng)實(shí)現(xiàn)[D];西安電子科技大學(xué);2009年

10 姜博;基于聚焦爬蟲的web信息采集技術(shù)研究[D];北方工業(yè)大學(xué);2011年

本文編號：2557322