汽車產(chǎn)品缺陷信息采集與檢索系統(tǒng)

發(fā)布時(shí)間：2020-11-01 11:12

　　隨著我們國(guó)家國(guó)民經(jīng)濟(jì)一直快速的向前進(jìn)步,老百姓對(duì)于汽車產(chǎn)品的需求量也大大增加起來(lái),購(gòu)車群體的數(shù)量每年都在持續(xù)不斷的增多。在各個(gè)汽車交易網(wǎng)站中,每款車型下面都有大量的車友對(duì)于該款車型的使用評(píng)價(jià),這些評(píng)價(jià)信息包含了該款車型各方面使用體驗(yàn),比如外觀、加速、噪音和油耗等。這些有關(guān)車輛的評(píng)價(jià)信息對(duì)購(gòu)車人群做出購(gòu)車決策有極大的幫助。但是,目前人們獲取車輛評(píng)價(jià)信息的方式仍然是逐個(gè)瀏覽汽車交易網(wǎng)站,缺乏有效的方案來(lái)提取、整合某一款車型在所有汽車交易網(wǎng)站的車友評(píng)價(jià)信息。例如奧迪Q7汽車,在汽車之家、毛豆新車、人人車等汽車交易網(wǎng)站均有車友對(duì)該車的使用評(píng)價(jià)。不過(guò)這些車輛的車友評(píng)價(jià)信息并不集中存儲(chǔ)。針對(duì)這一現(xiàn)狀,我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了面向汽車產(chǎn)品缺陷信息的的數(shù)據(jù)采集與檢索系統(tǒng),采用傳統(tǒng)技術(shù)的基礎(chǔ)上,進(jìn)行采集技術(shù)和搜索引擎技術(shù)的創(chuàng)新,完成高質(zhì)量的汽車產(chǎn)品缺陷信息采集和檢索任務(wù),提取有效的車輛評(píng)價(jià)信息,幫助購(gòu)車人群進(jìn)行購(gòu)車決策。在研究和開發(fā)系統(tǒng)的過(guò)程中我們看到,爬蟲作為數(shù)據(jù)采集領(lǐng)域的傳統(tǒng)技術(shù),在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、數(shù)據(jù)分析等多個(gè)領(lǐng)域都取得了非常好的效果,在軟件系統(tǒng)開發(fā)中受到廣泛應(yīng)用。因此,我們選擇利用傳統(tǒng)的網(wǎng)絡(luò)爬蟲技術(shù)來(lái)完成車輛評(píng)價(jià)信息采集任務(wù),并且利用主機(jī)連接VPN代理服務(wù)器來(lái)隱藏本地IP地址,克服本地IP地址被封的難題。而且,考慮到Lucene在全文檢索處理中的強(qiáng)大功能,在信息檢索環(huán)節(jié)采用Java語(yǔ)言編程,開發(fā)基于Lucene工具庫(kù)的信息檢索模塊,進(jìn)一步加快車輛評(píng)論信息的檢索速度�；谂老x和Lucene的汽車產(chǎn)品缺陷信息采集與檢索系統(tǒng),采用軟件系統(tǒng)開發(fā)中常用的模塊化設(shè)計(jì)手段。采用網(wǎng)絡(luò)爬蟲作為車輛評(píng)價(jià)信息采集技術(shù),并利用VPN隱藏本地主機(jī)IP地址的能力進(jìn)一步加快爬蟲程序訪問(wèn)汽車網(wǎng)頁(yè)過(guò)程,主要采用C/C++進(jìn)行程序開發(fā),在該模塊會(huì)引入RAS函數(shù)庫(kù)保證VPN連接的穩(wěn)定,解決主機(jī)IP地址被封的問(wèn)題。信息檢索采用開源的Lucene技術(shù),采用倒排索引方式進(jìn)行汽車缺陷信息的索引建立,進(jìn)一步加快檢索速度。和其他系統(tǒng)進(jìn)行數(shù)據(jù)傳輸使用了網(wǎng)絡(luò)通信的手段,能夠作為后臺(tái)系統(tǒng)支持前臺(tái)查詢界面系統(tǒng)的信息查詢工作。本論文面向汽車缺陷信息檢索的使用目的,利用VPN、爬蟲和Lucene設(shè)計(jì)了相關(guān)的采集與檢索功能,解決了汽車交易市場(chǎng)上在汽車缺陷信息獲取方面的難題,讓購(gòu)車人群可以更加有效的利用網(wǎng)絡(luò)上汽車產(chǎn)品評(píng)價(jià)信息,提升了購(gòu)車人群對(duì)汽車優(yōu)劣的判斷能力,對(duì)于維護(hù)購(gòu)車人群的利益具有實(shí)用價(jià)值。
【學(xué)位單位】：山東大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類】：U472;TP391.3
【部分圖文】：

架構(gòu)圖,系統(tǒng)整體,架構(gòu)

聲明一個(gè)ＩｎｄｅｘＷｒｉｔｅｒ的對(duì)象，這個(gè)類能夠?qū)崿F(xiàn)創(chuàng)建索引和添加索引。??最后，把文檔里我們選定的關(guān)鍵字拿出來(lái)，都保存到索引目錄里。??系統(tǒng)整體架構(gòu)圖如圖２－１所示。如圖，系統(tǒng)實(shí)現(xiàn)了多線程爬蟲程序，可以??同時(shí)采集多個(gè)汽車交易網(wǎng)站的車友評(píng)論信息，比如購(gòu)車網(wǎng)、優(yōu)信二手車、汽車??之家等；采集的信息包括車輛型號(hào)關(guān)鍵字，油耗、外觀等車輛重要性能指標(biāo)；??將采集到的各個(gè)網(wǎng)站的車友評(píng)論數(shù)據(jù)先存儲(chǔ)到文本文檔中（．ｔｘｔ格式），這些??文檔位于本地同一個(gè)文件夾下，然后經(jīng)過(guò)數(shù)據(jù)整合再存儲(chǔ)進(jìn)ＭｙＳｑｌ數(shù)據(jù)庫(kù)中；??最后，采用ＰＨＰ語(yǔ)言創(chuàng)建前臺(tái)查詢界面，可根據(jù)具體的車輛型號(hào)查詢某一款車??在油耗、外觀等方面的車友評(píng)論，幫助購(gòu)車人群加強(qiáng)對(duì)目標(biāo)車型性能的了解。??購(gòu)車網(wǎng)?優(yōu)信?汽車之家??■??????；?ｊ?ｊ?ｊ????????爬蟲?ＶＰＮ?呢蟲?ＶＰＮ?爬蟲?ＶＰＮ??！?１?１?；Ｉ?Ｌ—?？＾?Ｉ??１???５；???數(shù)據(jù)存儲(chǔ)??車輛型號(hào)、油??耗、外觀等評(píng)論??信息???＾?ｒ???數(shù)據(jù)庫(kù)??各大汽車交易網(wǎng)??丨站車輛評(píng)論信息????＿＿?、二??—??前臺(tái)查詢（搜索??引擎基于Ｌｕｃｅｎｅ

正則表達(dá)式,數(shù)據(jù)流向,模型,運(yùn)輸層

述三個(gè)參數(shù)就能確定一個(gè)通信連接，再給這個(gè)連接分配一個(gè)Ｓｏｃｋｅｔ接口，應(yīng)用??層和傳輸層根據(jù)這個(gè)，分別不同的進(jìn)程或者不同的網(wǎng)絡(luò)連接之間的數(shù)據(jù)傳輸，??同時(shí)進(jìn)行多個(gè)通信。圖２－２是Ｓｏｃｋｅｔ在應(yīng)用層、運(yùn)輸層、網(wǎng)絡(luò)層、鏈路層和多??個(gè)進(jìn)程之間怎么進(jìn)行通信。??丨用戶進(jìn)ｉ丨用戶進(jìn)丨?用戶進(jìn)?Ｉ用戶進(jìn)?心田尸??Ｉ程１?程２?程３?！程４?應(yīng)用層??Ｉ?１?Ｊ?Ｉ?Ｉ??：?４??Ａ?１１?？??￣Ｋ?一?４?．?｜??／?／??！?ｒ?▼??Ｉ??Ｓｏｃｋｅｔ抽象層??二?：：：■■：，．＝＿＿＿??＼?；?｜??Ｊｉｉ??＼?｜?Ｔ??；?ｆ?１?＝?！??＼?Ｉ??ＴＣＰ?ＵＤＰ?丨運(yùn)輸層??＼?Ｉ?１?！?！???＼■■．二噘」????二?１??＼?ｊ?■??ＩＣＭＰ?—？?ＩＰ?ＩＧＭＰ?網(wǎng)絡(luò)層????Ｉ??????４?ｍ：?：??．．．．．．．．．?；：＝：ｉｚｚｚ＝ｒ－．．．．．．．?：＝＝＝—…：二???硬件栳??ＡＲＰ?ｇ?ＲＡＲＰ?鏈路層??媒體??圖２－２?Ｓｏｃｋｅｔ數(shù)據(jù)流向模型??３．正則表達(dá)式。??我們獲取到汽車評(píng)論信息頁(yè)面全部?jī)?nèi)容后，要把車輛評(píng)論信息提取出來(lái)，??９??

工作原理圖,本地主機(jī),碩士學(xué)位論文,山東大學(xué)