本文關(guān)鍵詞：互聯(lián)網(wǎng)農(nóng)產(chǎn)品價(jià)格匯集系統(tǒng)研建，，由筆耕文化傳播整理發(fā)布。

【摘要】：我國(guó)是農(nóng)業(yè)大國(guó),農(nóng)業(yè)穩(wěn)則天下安,農(nóng)業(yè)興促百業(yè)興。經(jīng)濟(jì)、自然、社會(huì)環(huán)境的變化都對(duì)我國(guó)農(nóng)產(chǎn)品市場(chǎng)價(jià)格監(jiān)測(cè)預(yù)警工作提出了新的需求。在面對(duì)國(guó)家整體經(jīng)濟(jì)形勢(shì)不斷向好,農(nóng)業(yè)發(fā)展日益現(xiàn)代化的前景下,研究如何高效、準(zhǔn)確的采集農(nóng)產(chǎn)品市場(chǎng)價(jià)格信息,并及時(shí)發(fā)布適時(shí)、客觀、全面的農(nóng)產(chǎn)品價(jià)格信息,為農(nóng)產(chǎn)品監(jiān)測(cè)預(yù)警工作、政府部門(mén)的決策工作、市場(chǎng)主體的信息參考需求提供有效支持,具有重要的社會(huì)、經(jīng)濟(jì)價(jià)值。首先,本研究整理分析了互聯(lián)網(wǎng)農(nóng)產(chǎn)品市場(chǎng)價(jià)格信息發(fā)布平臺(tái),以采集市場(chǎng)信息源的覆蓋廣度為標(biāo)準(zhǔn),將平臺(tái)分成了全國(guó)性發(fā)布發(fā)布平臺(tái)、區(qū)域性發(fā)布平臺(tái)以及個(gè)體性發(fā)布平臺(tái),并對(duì)不同平臺(tái)的農(nóng)產(chǎn)品市場(chǎng)價(jià)格信息覆蓋產(chǎn)品、采集市場(chǎng)、歷史數(shù)據(jù)、發(fā)布頻率等數(shù)量進(jìn)行對(duì)比,對(duì)不同平臺(tái)的信息發(fā)布連續(xù)性、平臺(tái)技術(shù)水平、數(shù)據(jù)結(jié)構(gòu)化程度進(jìn)行分析。綜合以上分析,確定了數(shù)據(jù)采集目標(biāo)平臺(tái)。其次,選定目標(biāo)信息發(fā)布平臺(tái)之后,針對(duì)目標(biāo)平臺(tái)的農(nóng)產(chǎn)品價(jià)格信息進(jìn)行定向采集。通過(guò)分析不同平臺(tái)的網(wǎng)站架構(gòu)和價(jià)格信息數(shù)據(jù)結(jié)構(gòu),設(shè)計(jì)、編寫(xiě)了數(shù)據(jù)采集程序,將包含價(jià)格信息的網(wǎng)頁(yè)下載到本地,抽取本研究需要的價(jià)格信息,并根據(jù)不同網(wǎng)站價(jià)格信息數(shù)據(jù)結(jié)構(gòu)的不同,分別建立數(shù)據(jù)表存儲(chǔ)數(shù)據(jù)。最后,針對(duì)采集到的不同發(fā)布平臺(tái)的價(jià)格數(shù)據(jù),進(jìn)行數(shù)據(jù)規(guī)范化處理,去除數(shù)據(jù)中包含的亂碼、符號(hào)等異常數(shù)據(jù),將不同平臺(tái)間市場(chǎng)命名和產(chǎn)品命名進(jìn)行統(tǒng)一,并依照《農(nóng)產(chǎn)品市場(chǎng)信息分類與計(jì)算機(jī)編碼》建立數(shù)據(jù)庫(kù)表,建成農(nóng)產(chǎn)品價(jià)格綜合數(shù)據(jù)庫(kù),并與現(xiàn)有重要平臺(tái)數(shù)據(jù)量進(jìn)行對(duì)比,覆蓋產(chǎn)品數(shù)、采集市場(chǎng)數(shù)、歷史數(shù)據(jù)量均有提高。
【關(guān)鍵詞】：農(nóng)產(chǎn)品監(jiān)測(cè)預(yù)警 數(shù)據(jù)源分析 網(wǎng)絡(luò)爬蟲(chóng) 數(shù)據(jù)規(guī)范化 價(jià)格數(shù)據(jù)庫(kù)
【學(xué)位授予單位】：中國(guó)農(nóng)業(yè)科學(xué)院
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：F323.7;F724.6
【目錄】：

• 摘要6-7
• Abstract7-11
• 第一章 引言11-16
• 1.1 研究的背景與意義11-12
• 1.1.1 研究背景11
• 1.1.2 研究意義11-12
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀12-14
• 1.2.1 信息抽取技術(shù)研究現(xiàn)狀12-13
• 1.2.2 網(wǎng)絡(luò)爬蟲(chóng)技術(shù)研究現(xiàn)狀13-14
• 1.3 研究方法與技術(shù)路線14-16
• 1.3.1 論文研究方法14-15
• 1.3.2 論文技術(shù)路線15-16
• 第二章 相關(guān)技術(shù)研究16-26
• 2.1 網(wǎng)頁(yè)信息采集相關(guān)技術(shù)16-21
• 2.1.1 HTML頁(yè)面構(gòu)成分析16-17
• 2.1.2 DOM樹(shù)17-18
• 2.1.3 JsOUP解析器18-19
• 2.1.4 正則表達(dá)式19-21
• 2.2 互聯(lián)網(wǎng)信息內(nèi)容簡(jiǎn)析21
• 2.3 網(wǎng)頁(yè)結(jié)構(gòu)分析21-24
• 2.4 網(wǎng)絡(luò)爬蟲(chóng)技術(shù)簡(jiǎn)介24-25
• 2.4.1 爬蟲(chóng)基本原理24
• 2.4.2 爬蟲(chóng)工作流程24-25
• 2.5 小結(jié)25-26
• 第三章 農(nóng)產(chǎn)品價(jià)格數(shù)據(jù)源分析26-34
• 3.1 互聯(lián)網(wǎng)農(nóng)產(chǎn)品價(jià)格信息基本含義26
• 3.2 互聯(lián)網(wǎng)農(nóng)產(chǎn)品價(jià)格信息篩選條件26
• 3.3 互聯(lián)網(wǎng)農(nóng)產(chǎn)品價(jià)格信息現(xiàn)狀26-33
• 3.3.1 信息發(fā)布平臺(tái)26-29
• 3.3.2 信息發(fā)布數(shù)量29-30
• 3.3.3 信息發(fā)布質(zhì)量30-31
• 3.3.4 發(fā)布平臺(tái)技術(shù)水平31-33
• 3.4 小結(jié)33-34
• 第四章 系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)34-40
• 4.1 系統(tǒng)需求分析34-36
• 4.1.1 需求概述34
• 4.1.2 功能需求34-36
• 4.1.3 非功能需求36
• 4.2 系統(tǒng)總體設(shè)計(jì)36-37
• 4.3 環(huán)境要求37-39
• 4.3.1 運(yùn)行環(huán)境要求37-38
• 4.3.2 配置開(kāi)發(fā)環(huán)境38-39
• 4.4 小結(jié)39-40
• 第五章 系統(tǒng)各模塊詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)40-64
• 5.1 互聯(lián)網(wǎng)價(jià)格信息采集子系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)40-49
• 5.1.1 目標(biāo)網(wǎng)頁(yè)下載模塊40-44
• 5.1.2 價(jià)格信息解析模塊44-46
• 5.1.3 價(jià)格信息存儲(chǔ)模塊46-49
• 5.2 異源價(jià)格信息匯集系統(tǒng)49-61
• 5.2.1 異常數(shù)據(jù)清洗模塊50-55
• 5.2.2 價(jià)格異常處理模塊55-56
• 5.2.3 綜合數(shù)據(jù)集成模塊56-61
• 5.3 系統(tǒng)數(shù)據(jù)量對(duì)比展示61-63
• 5.4 小結(jié)63-64
• 第六章 結(jié)論和展望64-66
• 6.1 本文完成工作64
• 6.2 本文的主要?jiǎng)?chuàng)新點(diǎn)64-65
• 6.3 研究展望65-66
• 參考文獻(xiàn)66-71
• 致謝71-72
• 作者簡(jiǎn)介72

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 孫及園,林錦賢;對(duì)Web網(wǎng)頁(yè)的查詢及信息提取[J];福州大學(xué)學(xué)報(bào)(自然科學(xué)版);2000年03期

2 劉彤;;個(gè)性化Web采集算法研究及其應(yīng)用[J];貴州大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年03期

3 陳偉;王昊;陳丹萍;;一種基于交互式數(shù)據(jù)遷移技術(shù)的數(shù)據(jù)采集方法[J];計(jì)算機(jī)工程;2006年09期

4 宮進(jìn);胡長(zhǎng)軍;曾廣平;;互聯(lián)網(wǎng)信息定向采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用;2007年S1期

5 李芳,盛煥燁,姚天f ;信息檢索與信息抽取技術(shù)的研究[J];計(jì)算機(jī)應(yīng)用研究;2002年01期

6 李衛(wèi);劉建毅;何華燦;王樅;;基于主題的智能Web信息采集系統(tǒng)的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用研究;2006年02期

7 陳釗;張冬梅;;Web信息抽取技術(shù)綜述[J];計(jì)算機(jī)應(yīng)用研究;2010年12期

8 陳丹;郭偉青;;一種新型面向商業(yè)領(lǐng)域搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2007年04期

9 許世衛(wèi);;農(nóng)業(yè)信息智能分析的應(yīng)用與前景[J];農(nóng)業(yè)圖書(shū)情報(bào)學(xué)刊;2008年12期

10 張予民;;影響SEO優(yōu)化的網(wǎng)站站內(nèi)結(jié)構(gòu)分析[J];科技廣場(chǎng);2014年09期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 楊娜;中國(guó)農(nóng)業(yè)統(tǒng)計(jì)體制及運(yùn)行機(jī)制研究[D];中國(guó)農(nóng)業(yè)科學(xué)院;2012年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前3條

1 樊德強(qiáng);WEB個(gè)性化信息采集與管理關(guān)鍵技術(shù)研究[D];鄭州輕工業(yè)學(xué)院;2011年

2 周曄;一種增量式并行Web信息采集系統(tǒng)[D];暨南大學(xué);2005年

3 高荃;我國(guó)政府信息公開(kāi)途徑研究[D];南昌大學(xué);2012年

  本文關(guān)鍵詞：互聯(lián)網(wǎng)農(nóng)產(chǎn)品價(jià)格匯集系統(tǒng)研建，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：404299