我國是人口大國,改革開放促進(jìn)了我國城鎮(zhèn)化,城市居民增加,對農(nóng)產(chǎn)品尤其是蔬菜的需求量大,蔬菜的生產(chǎn)與供給是政府工作的重點。如今網(wǎng)絡(luò)上蔬菜信息浩如煙海且具有很強的時效性,相同的蔬菜在不同的區(qū)域價格差距又比較大,如何在龐大的農(nóng)業(yè)數(shù)據(jù)中提取到有利于農(nóng)業(yè)生產(chǎn)、銷售有利的信息非常重要,這就需要有精確的蔬菜價格信息進(jìn)行對比,從而有助于政府對農(nóng)產(chǎn)品市場的蔬菜價格進(jìn)行調(diào)控;同時農(nóng)民可以根據(jù)實時的農(nóng)產(chǎn)品價格對農(nóng)產(chǎn)品進(jìn)行選擇性的栽種,避免造成損失�，F(xiàn)有的農(nóng)業(yè)垂直搜索引擎更側(cè)重于農(nóng)產(chǎn)品的交易信息,雖然提供了便捷的交易平臺,但卻不便于農(nóng)業(yè)生產(chǎn)者分析行情,也不能給農(nóng)業(yè)生產(chǎn)者的種植提供參考。因此,有必要設(shè)計一個針對蔬菜價格信息的監(jiān)測分析系統(tǒng)以方便農(nóng)業(yè)生產(chǎn)者更快速、準(zhǔn)確、及時的了解到不同蔬菜的價格趨勢,以便于更合理的種植。本論文設(shè)計基于網(wǎng)絡(luò)爬蟲的蔬菜價格信息監(jiān)測分析系統(tǒng)包括三個部分,即蔬菜價格信息采集、蔬菜價格信息存儲和蔬菜價格信息分析。首先使用C#語言編寫基于.net框架的網(wǎng)絡(luò)爬蟲對蔬菜價格信息數(shù)據(jù)進(jìn)行爬取,采用正則表達(dá)式將數(shù)據(jù)進(jìn)行分類,然后將爬取到的數(shù)據(jù)存儲到MongoDB數(shù)據(jù)庫中,在MongoDB中建立數(shù)據(jù)導(dǎo)入... 

【文章來源】：重慶三峽學(xué)院重慶市

【文章頁數(shù)】：51 頁

【學(xué)位級別】：碩士

【部分圖文】：

主題網(wǎng)絡(luò)爬蟲的工作流程圖

主題網(wǎng)絡(luò)爬蟲的工作方式是優(yōu)先級地址,通過評級鏈接收集地址,并選擇策略,然后使用優(yōu)先級鏈接作為爬蟲過程的初始鏈接。訪問URL后,下載網(wǎng)頁并分析網(wǎng)頁內(nèi)容與主題之間的關(guān)系。如果相關(guān)性高于某個閾值,則頁面上的所有超鏈接都將被提取,最后,所有與主題相關(guān)的鏈接都將被URL主題分析器存儲在一個升級的隊列中。主題網(wǎng)絡(luò)爬蟲的抓取過程如圖2-2所示：2.2.2 主題式網(wǎng)絡(luò)爬蟲的體系結(jié)構(gòu)

主題式爬蟲首先選擇行來抓取與主題相關(guān)的頁面,這并不需要完全的網(wǎng)絡(luò)覆蓋,因此大大降低了計算機的硬件需求和網(wǎng)絡(luò)資源。其次,需要保存的頁面較少,所以更新速度比一般的網(wǎng)絡(luò)爬蟲要快,可以更好的滿足用戶對特定查詢主題信息的需求�？偠灾�,主題式爬蟲的目標(biāo)是查詢用戶需要的信息,因此,主題相關(guān)度高的網(wǎng)頁更關(guān)注如何提高抓取的準(zhǔn)確性和速度。用圖2-3來表示主題式網(wǎng)絡(luò)爬蟲的體系結(jié)構(gòu)如下：為了爬取更多主題信息相關(guān)網(wǎng)頁,主題網(wǎng)絡(luò)爬蟲在通用網(wǎng)絡(luò)爬蟲的基礎(chǔ)上做了以下的調(diào)整：


本文編號：3092058