隨著農(nóng)業(yè)信息化的不斷深入,農(nóng)業(yè)數(shù)據(jù)與日俱增,眾多農(nóng)業(yè)相關(guān)網(wǎng)站積累了大量的農(nóng)業(yè)數(shù)據(jù),但是這些數(shù)據(jù)類型復雜、分散、獲取難度大,無法發(fā)揮應(yīng)有的作用。如何有效地獲取、整合及挖掘多源農(nóng)業(yè)統(tǒng)計數(shù)據(jù)成為目前急需研究解決的問題,特別是如何利用數(shù)據(jù)挖掘技術(shù)從海量的農(nóng)業(yè)統(tǒng)計數(shù)據(jù)中挖掘出隱藏的農(nóng)業(yè)知識,并結(jié)合可視化技術(shù)將數(shù)據(jù)和挖掘結(jié)果用簡單易懂的圖形符號展示出來,從而更好的為農(nóng)業(yè)服務(wù)。本文針對農(nóng)業(yè)統(tǒng)計數(shù)據(jù)分散廣的特點和難以獲取的問題,利用網(wǎng)絡(luò)爬蟲技術(shù)完成多源數(shù)據(jù)的采集,結(jié)合數(shù)據(jù)挖掘技術(shù),實現(xiàn)影響因子篩選和結(jié)果預測挖掘模型的構(gòu)建,并利用django Web框架設(shè)計并實現(xiàn)農(nóng)業(yè)統(tǒng)計數(shù)據(jù)挖掘與可視化系統(tǒng)。本文主要研究內(nèi)容如下:（1）通過對國內(nèi)外農(nóng)業(yè)數(shù)據(jù)挖掘的應(yīng)用分析,確定研究內(nèi)容和研究目標,并對農(nóng)業(yè)統(tǒng)計數(shù)據(jù)的采集與處理進行了分析。利用網(wǎng)絡(luò)爬蟲技術(shù),定向抓取網(wǎng)頁的數(shù)據(jù);抽取網(wǎng)頁中的農(nóng)業(yè)統(tǒng)計數(shù)據(jù),進行清洗、補充、轉(zhuǎn)換和集合,為數(shù)據(jù)挖掘提供有效的數(shù)據(jù)支持。（2）數(shù)據(jù)挖掘模型的設(shè)計。針對農(nóng)業(yè)統(tǒng)計數(shù)據(jù)中存在的大量模糊不確定因素問題,設(shè)計了灰色關(guān)聯(lián)和Lasso回歸算法相結(jié)合的多因子篩選模型,解決最小二乘法方法帶來的局部最優(yōu)解問... 

【文章來源】：河北農(nóng)業(yè)大學河北省

【文章頁數(shù)】：61 頁

【學位級別】：碩士

【部分圖文】：

圖２－１?ｓｅｌｅｎｉｕｍ爬蟲流程??Ｆｉｇｕｒｅ?２－１?Ｓｅｌｅｎｉｕｍ?ｃｒａｗｌｅｒ?ｐｒｏｃｅｓｓ??７??

?河北農(nóng)業(yè)大學碩士學位（畢業(yè)）論文???ｗ規(guī)高級ＳＳＬ?ＳＳＨ?ＨＴＴＰ??〔：：?：?：?：：＝：＝?－—????雜？ｌ：?‘１１：?ｆ：??Ｉ?ｆｅｃａｌｈｏｓｔ???．?謹??？口ｉ?３３ｐ６?｜????；ｒｏｏｔ??丨，?｜?—??Ｈ保碼??１：??１??ｒ￣￣ｉ?ｒ?＇?■??Ｊｔ＾ＥＴＳｊＫＳｃＡ，?｜?■?．．．?■?Ｉ?Ｉ?＂＊３＾Ｊ＊＊??圖２－２數(shù)據(jù)庫連接??Ｆｉｇｕｒｅ?２－２?Ｄａｔａｂａｓｅ?ｃｏｎｎｅｃｔｉｏｎ??１鮪：釦翮鋪＆ｓａ字ｇ?ｂ齡雜ｐｍ?？上移＋?ｔ§??報到煺腸麵雜ＳＱＬ颳??名?翅鏈傾＾福ｎｕｌｌ挪?ｇ?餽??？?ｉｄ?ｉｎｔ?２５５?０?０?口聲?１??ｘｕ?ｖａｒｃｈａｒ?２５５?０?□?□??ｎａｍｅ?ｖａｒｃｈａｒ?２５５?０?□?□??２０１?碎?ｆｌｏａｔ?２５５?２?□?□??２０１７年?ｆｌｏａｔ?２５５?２?口口??２０１?咩?ｆｌｏａｔ?２５５?２?□口??２０１?誶?ｆｌｏａｔ?２５５?２?□?□??２０１?禪?Ｂｏａｔ?２５５?２?□?□??２０１?坤?ｆｌｏａｔ?２５５?２?□口??２０１２年?ｆｌｏａｔ?２５５?２?□?□??圖２－３創(chuàng)建表格??Ｆｉｇｕｒｅ?２－３?Ｃｒｅａｔｉｎｇ?ｄａｔａ?ｓｈｅｅｔ??２．?３．?３數(shù)據(jù)存儲設(shè)計??網(wǎng)絡(luò)爬蟲技術(shù)獲取了大量的數(shù)據(jù)，利用ｐｙｍｙｓｑｌ連接ＭｙＳＱＬ數(shù)據(jù)庫，快速??實現(xiàn)數(shù)據(jù)的增加、刪除、修改，數(shù)據(jù)存儲流程如圖２－４所示，具體步驟為：第??一步

?河北農(nóng)業(yè)大學碩士學位（畢業(yè)）論文???ｗ規(guī)高級ＳＳＬ?ＳＳＨ?ＨＴＴＰ??〔：：?：?：?：：＝：＝?－—????雜？ｌ：?‘１１：?ｆ：??Ｉ?ｆｅｃａｌｈｏｓｔ???．?謹??？口ｉ?３３ｐ６?｜????；ｒｏｏｔ??丨，?｜?—??Ｈ保碼??１：??１??ｒ￣￣ｉ?ｒ?＇?■??Ｊｔ＾ＥＴＳｊＫＳｃＡ，?｜?■?．．．?■?Ｉ?Ｉ?＂＊３＾Ｊ＊＊??圖２－２數(shù)據(jù)庫連接??Ｆｉｇｕｒｅ?２－２?Ｄａｔａｂａｓｅ?ｃｏｎｎｅｃｔｉｏｎ??１鮪：釦翮鋪＆ｓａ字ｇ?ｂ齡雜ｐｍ?？上移＋?ｔ§??報到煺腸麵雜ＳＱＬ颳??名?翅鏈傾＾福ｎｕｌｌ挪?ｇ?餽??？?ｉｄ?ｉｎｔ?２５５?０?０?口聲?１??ｘｕ?ｖａｒｃｈａｒ?２５５?０?□?□??ｎａｍｅ?ｖａｒｃｈａｒ?２５５?０?□?□??２０１?碎?ｆｌｏａｔ?２５５?２?□?□??２０１７年?ｆｌｏａｔ?２５５?２?口口??２０１?咩?ｆｌｏａｔ?２５５?２?□口??２０１?誶?ｆｌｏａｔ?２５５?２?□?□??２０１?禪?Ｂｏａｔ?２５５?２?□?□??２０１?坤?ｆｌｏａｔ?２５５?２?□口??２０１２年?ｆｌｏａｔ?２５５?２?□?□??圖２－３創(chuàng)建表格??Ｆｉｇｕｒｅ?２－３?Ｃｒｅａｔｉｎｇ?ｄａｔａ?ｓｈｅｅｔ??２．?３．?３數(shù)據(jù)存儲設(shè)計??網(wǎng)絡(luò)爬蟲技術(shù)獲取了大量的數(shù)據(jù)，利用ｐｙｍｙｓｑｌ連接ＭｙＳＱＬ數(shù)據(jù)庫，快速??實現(xiàn)數(shù)據(jù)的增加、刪除、修改，數(shù)據(jù)存儲流程如圖２－４所示，具體步驟為：第??一步

【參考文獻】：
期刊論文
[1]基于Python的天貓商品爬蟲技術(shù)[J]. 侯潔茹,呂繼續(xù).  科技資訊. 2019(32)
[2]基于MySQL數(shù)據(jù)庫的公路隧道圍巖云分級系統(tǒng)[J]. 柳厚祥,蔣婷婷,李易承.  長沙理工大學學報(自然科學版). 2019(01)
[3]MySQL數(shù)據(jù)庫性能優(yōu)化研究[J]. 范開勇,陳宇收.  中國新通信. 2019(01)
[4]大數(shù)據(jù)環(huán)境下農(nóng)業(yè)統(tǒng)計數(shù)據(jù)采集平臺的設(shè)計[J]. 王英強,陳綏陽,王振鐸.  電子設(shè)計工程. 2018(24)
[5]基于Scrapy框架的爬蟲和反爬蟲研究[J]. 韓貝,馬明棟,王得玉.  計算機技術(shù)與發(fā)展. 2019(02)
[6]農(nóng)業(yè)大數(shù)據(jù)研究與應(yīng)用進展[J]. 王一鶴,楊飛,王卷樂,劉麗峰,馬婭.  中國農(nóng)業(yè)信息. 2018(04)
[7]基于Selenium的Python網(wǎng)絡(luò)爬蟲的實現(xiàn)[J]. 花君林.  電腦編程技巧與維護. 2017(15)
[8]基于“互聯(lián)網(wǎng)+”的農(nóng)業(yè)大數(shù)據(jù)平臺構(gòu)建[J]. 李瑾,顧戈琦.  湖北農(nóng)業(yè)科學. 2017(10)
[9]中國農(nóng)業(yè)統(tǒng)計體制及運行機制研究[J]. 王惠.  中國市場. 2017(14)
[10]數(shù)據(jù)挖掘在統(tǒng)計工作中的應(yīng)用前景分析[J]. 趙慧.  科技資訊. 2017(14)

博士論文
[1]基于物聯(lián)網(wǎng)的小麥生長環(huán)境數(shù)據(jù)采集與數(shù)據(jù)挖掘技術(shù)研究[D]. 時雷.河南農(nóng)業(yè)大學 2013

碩士論文
[1]基于BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)貸平臺風險評價研究[D]. 王娟.北京交通大學 2019
[2]基于web的統(tǒng)計年鑒可視化系統(tǒng)設(shè)計與實現(xiàn)[D]. 郭夢杰.北京郵電大學 2019
[3]區(qū)域農(nóng)業(yè)水土資源系統(tǒng)風險特征及其對種植結(jié)構(gòu)的影響效應(yīng)研究[D]. 李帥.東北農(nóng)業(yè)大學 2018
[4]基于灰色系統(tǒng)理論的推薦算法研究[D]. 張克毅.重慶郵電大學 2018
[5]基于灰色關(guān)聯(lián)度分析法及BP神經(jīng)網(wǎng)絡(luò)的中國對美木質(zhì)家具出口貿(mào)易研究[D]. 張曦元.東北林業(yè)大學 2017
[6]基于溫室環(huán)境數(shù)據(jù)挖掘的專家系統(tǒng)研究與應(yīng)用[D]. 蔣兵兵.沈陽理工大學 2016
[7]基于Web的農(nóng)產(chǎn)品市場數(shù)據(jù)挖掘系統(tǒng)開發(fā)研究[D]. 黃文秀.福建農(nóng)林大學 2015
[8]云環(huán)境下個性化農(nóng)業(yè)產(chǎn)銷信息匹配推薦系統(tǒng)的研究和實現(xiàn)[D]. 王爍.中國農(nóng)業(yè)科學院 2014
[9]基于GIS的農(nóng)業(yè)氣象信息數(shù)據(jù)挖掘系統(tǒng)的研究與實現(xiàn)[D]. 廖野翔.長江大學 2013
[10]基于Web的農(nóng)業(yè)數(shù)據(jù)挖掘系統(tǒng)的研究與實現(xiàn)[D]. 劉天壘.中國農(nóng)業(yè)科學院 2011



本文編號：3534836