本文關鍵詞：基于主題網絡爬蟲的汽車行業(yè)多元信息web系統(tǒng)設計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：伴隨著汽車行業(yè)的高速發(fā)展,行業(yè)競爭愈發(fā)激烈,本土汽車企業(yè)兼并加劇、國外大型跨國企業(yè)紛紛入駐、原材料價格不斷上漲、消費者的需求不斷變化、整車行業(yè)整體利潤下滑,迫使著汽車企業(yè)需要更加全面的了解與市場相關的信息：汽車行業(yè)動態(tài)、行業(yè)政策法規(guī)動態(tài)、零部件價格等信息。這些信息大量存在于互聯(lián)網中,然而傳統(tǒng)、主流地信息獲取工具：通用搜索引擎目前在面向專業(yè)人士在專業(yè)領域上檢索相關信息時,存在著返回信息不精準、不全、更新不及時等問題；同時,主流汽車行業(yè)相關網站又以汽車產品消費者提為主要服務對象。汽車企業(yè)用戶想通過互聯(lián)網獲取相關行業(yè)信息,并不是特別方便。針對通用搜索引擎存在的缺陷,主題網絡爬蟲技術應運而生,主題爬蟲技術能自動的從互聯(lián)網上采集與主題相關的網頁,回避無關網頁。因此,建立一個基于主題網絡爬蟲的汽車行業(yè)多元信息web系統(tǒng)解決汽車企業(yè)用戶獲取需求信息的不便,達到了解市場行情的目的,進而幫助汽車企業(yè)制定市場戰(zhàn)略,提高企業(yè)市場競爭力是有必要的。本文的目標是建立一個汽車企業(yè)用戶的汽車行業(yè)多元信息web系統(tǒng),為企業(yè)用戶提供汽車行業(yè)新聞資訊、行業(yè)政策法規(guī)、汽車零部件價格等信息,研究的主要內容如下：首先,在汽車行業(yè)競爭日益激烈和通用搜索引擎采集信息存在的不足的背景下,引出通過主題網絡爬蟲技術采集汽車行業(yè)相關信息的話題。在此基礎之上討論了汽車行業(yè)資訊、汽車產業(yè)政策法規(guī)、汽車零部件價格信息三者的現(xiàn)實需求。其次,在需求分析的基礎上結合主題網絡爬蟲技術設計了系統(tǒng)總體解決方案。再次,對于主題網絡爬蟲,研究了其架構和工作原理,在架構的研究基礎上,對各個模塊的實現(xiàn)技術展開深入研究,包括在對網頁的解析,對網頁正文的分詞技術的研究；對當前主流的主題基準模型展開研究,結合本文實際需求,選定向量空間模型為本文的主題基準模型；對當前主流關鍵字賦權的計算法TF和TF-IDF展開研究；對主題網絡爬蟲當前主流的搜索策略展開研究,在此基礎上設計了本文基于網頁文本和鏈接結構的綜合搜索策略。最后,在對前文所有研究的基礎上,開發(fā)實現(xiàn)了基于主題網絡爬蟲的汽車行業(yè)多元信息web系統(tǒng)。
【關鍵詞】：主題網絡爬蟲 向量空間模型 搜索策略 汽車行業(yè)信息
【學位授予單位】：西南交通大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP393.092;TP391.1
【目錄】：

• 摘要6-7
• Abstract7-11
• 第1章 緒論11-16
• 1.1 課題背景及研究意義11-12
• 1.2 國內外研究現(xiàn)狀12-13
• 1.2.1 互聯(lián)網主流汽車站點現(xiàn)狀研究12
• 1.2.2 主題網絡爬蟲研究現(xiàn)狀12-13
• 1.3 研究內容及組織結構13-15
• 1.3.1 論文主要研究內容13-14
• 1.3.2 論文組織結構14-15
• 1.4 小結15-16
• 第2章 汽車產業(yè)鏈協(xié)同服務平臺用戶對行業(yè)信息的需求分析16-22
• 2.1 汽車產業(yè)鏈協(xié)同平臺用戶對信息種類的需求分析16-18
• 2.1.1 汽車行業(yè)政策法規(guī)類信息需求分析16-17
• 2.1.2 汽車行業(yè)新聞類信息需求分析17-18
• 2.1.3 汽車零部件價格類數據需求分析18
• 2.2 平臺中小型汽車企業(yè)獲取互聯(lián)網行業(yè)信息存在的問題18-19
• 2.3 系統(tǒng)功能需求分析19-21
• 2.4 小結21-22
• 第3章 基于主題網絡爬蟲的汽車行業(yè)多元信息Web系統(tǒng)總體設計22-31
• 3.1 汽車行業(yè)多元信息web系統(tǒng)設計目標22
• 3.2 汽車行業(yè)多元信息web系統(tǒng)總體架構22-23
• 3.3 汽車行業(yè)多元信息web系統(tǒng)總體功能設計23-26
• 3.3.1 用戶功能模塊設計24-25
• 3.3.2 管理員功能模塊設計25-26
• 3.4 數據庫設計方案26-29
• 3.4.1 E-R圖設計26-27
• 3.4.2 主要數據表格的設計27-29
• 3.5 主題網絡爬蟲設計方案29-30
• 3.6 小結30-31
• 第4章 基于主題爬蟲的汽車行業(yè)多元信息Web系統(tǒng)的關鍵技術的研究31-48
• 4.1 主題網絡爬蟲工作原理31-34
• 4.2 主題網絡爬蟲結構34-35
• 4.3 網頁解析35-37
• 4.3.1 HTMLParser解析器35-36
• 4.3.2 解析標簽確立36-37
• 4.4 特征詞提取37-38
• 4.5 主題基準模型38-42
• 4.5.1 主流主題基準模型38-39
• 4.5.2 本文主題基準模型方案39-40
• 4.5.3 本文主題詞庫的建立40-41
• 4.5.4 主題特征賦值41-42
• 4.6 搜索策略42-47
• 4.6.1 主流搜索策略的研究42-45
• 4.6.2 本文搜索策略方案45-47
• 4.7 小結47-48
• 第5章 基于主題網絡爬蟲的汽車行業(yè)多元信息web系統(tǒng)的實現(xiàn)48-62
• 5.1 系統(tǒng)開發(fā)環(huán)境48
• 5.2 系統(tǒng)功能實現(xiàn)48-61
• 5.2.1 種子站點初始化48-50
• 5.2.2 網頁下載模塊的實現(xiàn)50-51
• 5.2.3 網頁信息抽取模塊的實現(xiàn)51-52
• 5.2.4 主題相關性判別模塊的實現(xiàn)52-53
• 5.2.5 鏈接控制塊的實現(xiàn)53-57
• 5.2.6 用戶界面的實現(xiàn)57-58
• 5.2.7 留言評論功能的實現(xiàn)58
• 5.2.8 信息查詢功能的實現(xiàn)58-59
• 5.2.9 系統(tǒng)管理功能的實現(xiàn)59-61
• 5.3 小結61-62
• 總結與展望62-64
• 論文總結工作62
• 后續(xù)工作展望62-64
• 致謝64-65
• 參考文獻65-68

【參考文獻】

中國期刊全文數據庫 前10條

1 史寶明;賀元香;吳崇正;;主題搜索引擎中爬蟲搜索策略的研究[J];計算機工程與應用;2014年02期

2 謝治軍;楊武;李稚楹;宋靜靜;;基于HMM的主題爬蟲研究[J];重慶工商大學學報(自然科學版);2012年02期

3 蔣琴琴;宮哲;辛陽;;基于HTML Parser的BBS信息抽取系統(tǒng)的設計與實現(xiàn)[J];自動化技術與應用;2012年01期

4 宋海洋;劉曉然;錢�？�;;一種新的主題網絡爬蟲爬行策略[J];計算機應用與軟件;2011年11期

5 葉育鑫;歐陽丹彤;;基于語義的主題爬行策略[J];軟件學報;2011年09期

6 于莉;;經典信息檢索模型的分類比較[J];軟件;2011年03期

7 陳永彬;張琢;張?zhí)?;一種基于蟻群算法的主題爬蟲搜索策略[J];微型機與應用;2011年01期

8 羅林波;陳綺;吳清秀;;基于Shark-Search和Hits算法的主題爬蟲研究[J];計算機技術與發(fā)展;2010年11期

9 周康渠;張根保;肖燕;張曉麗;;汽車零部件成本系數及目標參考成本計算系統(tǒng)研究[J];中國制造業(yè)信息化;2008年09期

10 李勇;韓亮;;主題搜索引擎中網絡爬蟲的搜索策略研究[J];計算機工程與科學;2008年03期

中國博士學位論文全文數據庫 前1條

1 陳竹敏;面向垂直搜索引擎的主題爬行技術研究[D];山東大學;2008年

中國碩士學位論文全文數據庫 前8條

1 王良偉;面向垂直搜索引擎的主題爬蟲方法研究[D];重慶大學;2013年

2 彭正非;面向汽車行業(yè)的主題爬蟲研究與實現(xiàn)[D];華中科技大學;2011年

3 方加沛;垂直搜索引擎主要技術研究[D];暨南大學;2010年

4 呂賽輝;主題爬蟲關鍵技術研究及應用[D];浙江工業(yè)大學;2009年

5 陳明華;語音合成系統(tǒng)中自動分詞技術的研究[D];哈爾濱理工大學;2009年

6 羅衛(wèi)華;南方汽車自主品牌汽車營銷渠道模式研究[D];重慶大學;2008年

7 耿宏靜;汽車零部件采購物流戰(zhàn)略分析[D];天津科技大學;2008年

8 王曉偉;垂直搜索引擎若干關鍵技術的研究[D];浙江大學;2007年

  本文關鍵詞：基于主題網絡爬蟲的汽車行業(yè)多元信息web系統(tǒng)設計與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號：399303