種植業(yè)作為我國農(nóng)業(yè)產(chǎn)值最高的一部分,在整個(gè)農(nóng)業(yè)的生產(chǎn)與發(fā)展中有著重要地位。針對我國提供農(nóng)業(yè)信息的網(wǎng)站存在一定的信息冗余、專業(yè)性較差,并且信息提供不精準(zhǔn)等實(shí)際問題,因此對農(nóng)業(yè)種植信息構(gòu)建一種推薦系統(tǒng),提升用戶獲取種植信息的精準(zhǔn)程度,有助于農(nóng)戶獲取信息和種植業(yè)的生產(chǎn)效益提升。本文通過Hadoop等相關(guān)技術(shù)構(gòu)建了一種農(nóng)業(yè)種植信息推薦系統(tǒng)。通過對系統(tǒng)采用的技術(shù)和方法進(jìn)行分析,設(shè)計(jì)了系統(tǒng)的總體架構(gòu)。系統(tǒng)的構(gòu)建過程主要圍繞推薦模塊與搜索模塊進(jìn)行,其中推薦模塊是系統(tǒng)的核心模塊。推薦模塊的構(gòu)建主要采用機(jī)器學(xué)習(xí)框架Mahout提供的基于項(xiàng)目的協(xié)同過濾算法。本文通過對農(nóng)業(yè)種植信息推薦系統(tǒng)的構(gòu)建與研究,主要有以下研究工作:1.通過對系統(tǒng)的需求與功能分析,采用Hadoop等工具提供的組件,完成了推薦系統(tǒng)實(shí)驗(yàn)研究環(huán)境的搭建和部署工作。2.通過對Mahout中推薦算法的分析,實(shí)現(xiàn)了基于項(xiàng)目的協(xié)同過濾算法的信息推薦,并在此過程中提出一種非線性關(guān)系的興趣度計(jì)算方法。針對農(nóng)業(yè)種植信息地域性和時(shí)間性較強(qiáng)的特征,設(shè)計(jì)了一種解決推薦系統(tǒng)冷啟動(dòng)的方法,主要通過HBase過濾器實(shí)現(xiàn)為用戶提供與地域和時(shí)間相關(guān)的種植信息,從而有效提... 

【文章來源】：華北水利水電大學(xué)河南省

【文章頁數(shù)】：73 頁

【學(xué)位級別】：碩士

【部分圖文】：

Hadoop生態(tài)系統(tǒng)說明圖

華北水利水電大學(xué)碩士學(xué)位論文6務(wù)的運(yùn)行，從而在總體上提升資源利用率。MapReduce、Strom、Spark等計(jì)算框架有著符合Yarn規(guī)范的資源請求機(jī)制，因此可以便捷的運(yùn)行于Yarn上[45-46]。(3)分布式運(yùn)算框架MapReduce。MapReduce是一種編程模型，提供了簡便的并行程序計(jì)算方法，可將一個(gè)復(fù)雜的問題的處理方法抽象為Map和Reduce兩個(gè)函數(shù)，通過這兩個(gè)函數(shù)的單次或者多次運(yùn)行最終實(shí)現(xiàn)問題的求解。求解過程中Map函數(shù)將輸入的key/value鍵值對經(jīng)過用戶設(shè)定的聚集策略后產(chǎn)生聚集結(jié)果，將結(jié)果作為Reduce函數(shù)的參數(shù)進(jìn)行合并計(jì)算后產(chǎn)生key/value結(jié)果。如果問題仍然需要計(jì)算，再次執(zhí)行MapReduce操作[47-48]。MapReduce編程模型可以通過不斷優(yōu)化來符合應(yīng)用服務(wù)的需要，提升大數(shù)據(jù)處理效率[49]。Hadoop的核心組件HDFS、Yarn與MapReduce之間邏輯關(guān)系如圖2-2所示。圖2-2Hadoop核心組件邏輯關(guān)系圖Fig2-2ThegraphofLogicalrelationshipofcorecomponentsofHadoop2.2機(jī)器學(xué)習(xí)框架Mahout與推薦算法2.2.1機(jī)器學(xué)習(xí)框架MahoutApacheMahout是一種包含了聚類、分類、推薦、頻繁挖掘模式在內(nèi)的經(jīng)典的機(jī)器學(xué)習(xí)算法的開源項(xiàng)目集合，在商業(yè)和學(xué)術(shù)中都有著眾多的實(shí)例應(yīng)用。用戶可以直接使用已提供接口或者改進(jìn)其提供的內(nèi)容來實(shí)現(xiàn)應(yīng)用程序的計(jì)算并產(chǎn)生結(jié)果。Mahout能夠有效地進(jìn)行并行數(shù)據(jù)處理，因此該框架可以運(yùn)行在基于Hadoop的云平臺(tái)中，采用MapReduce運(yùn)算框架實(shí)現(xiàn)對經(jīng)過處理的大量數(shù)據(jù)的分布式高效計(jì)算[50]。2.2.2Mahout推薦算法

erSimilarity聯(lián)合使用。需要注意的是，該接口一般不在基于項(xiàng)目的協(xié)同過濾算法中使用。Recommender是推薦引擎進(jìn)行推薦計(jì)算的接口，通過實(shí)例化對象獲取推薦結(jié)果。在Java程序中，為它提供數(shù)據(jù)模型DataModel和相似度算法ItemSimilarity的實(shí)體對象，通過實(shí)現(xiàn)類它可以計(jì)算出對不同用戶的推薦內(nèi)容。實(shí)際應(yīng)用中，通過繼承的實(shí)現(xiàn)類GenericUserBasedRecommender和GenericItemBasedRecommender，分別實(shí)現(xiàn)基于用戶的推薦引擎和基于項(xiàng)目的推薦引擎的構(gòu)建。根據(jù)基于項(xiàng)目的協(xié)同過濾算法說明Mahout中Taste各種接口之間的關(guān)系如圖2-3所示。圖2-3Mahout推薦引擎接口關(guān)系圖Fig2-3ThegraphofMahoutrecommendationengineinterfacerelationship

【參考文獻(xiàn)】：
期刊論文
[1]關(guān)于大數(shù)據(jù)背景下農(nóng)業(yè)經(jīng)濟(jì)供給側(cè)結(jié)構(gòu)優(yōu)化管理研究[J]. 肇啟江.  農(nóng)民致富之友. 2019 (24)
[2]HDFS存儲(chǔ)和優(yōu)化技術(shù)研究綜述[J]. 金國棟,卞昊穹,陳躍國,杜小勇.  軟件學(xué)報(bào). 2020(01)
[3]鄉(xiāng)村振興戰(zhàn)略背景下提升農(nóng)業(yè)信息化建設(shè)水平的研究[J]. 婁麗娜.  現(xiàn)代農(nóng)業(yè)研究. 2019(05)
[4]中共中央 國務(wù)院關(guān)于堅(jiān)持農(nóng)業(yè)農(nóng)村優(yōu)先發(fā)展做好“三農(nóng)”工作的若干意見[J].   中國合作經(jīng)濟(jì). 2019(02)
[5]農(nóng)業(yè)信息化發(fā)展現(xiàn)狀與對策研究[J]. 張宏偉.  今日農(nóng)藥. 2018(11)
[6]大數(shù)據(jù)時(shí)代特色農(nóng)產(chǎn)品品牌競爭力評價(jià)[J]. 徐向龍,陳周慶.  華北水利水電大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版). 2018(01)
[7]談?wù)劇巴扑]系統(tǒng)”和“搜索引擎”[J]. 陳運(yùn)文.  計(jì)算機(jī)與網(wǎng)絡(luò). 2017(24)
[8]電子商務(wù)推薦系統(tǒng)應(yīng)用與發(fā)展探析[J]. 汪琪,王召義.  河西學(xué)院學(xué)報(bào). 2017(05)
[9]供給側(cè)結(jié)構(gòu)性改革背景下桑樹種植企業(yè)改革實(shí)踐[J]. 趙玉東.  華北水利水電大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版). 2017(03)
[10]個(gè)性化推薦系統(tǒng)綜述[J]. 劉輝,郭夢夢,潘偉強(qiáng).  常州大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(03)

博士論文
[1]農(nóng)業(yè)產(chǎn)業(yè)結(jié)構(gòu)演進(jìn)特征形成研究[D]. 韓玉萍.西南大學(xué) 2015
[2]基于MapReduce的大數(shù)據(jù)連接算法的設(shè)計(jì)與優(yōu)化[D]. 張常淳.中國科學(xué)技術(shù)大學(xué) 2014

碩士論文
[1]農(nóng)業(yè)大數(shù)據(jù)信息服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 呂婧.蘭州大學(xué) 2019
[2]電子商務(wù)中推薦系統(tǒng)的應(yīng)用與設(shè)計(jì)[D]. 王淵.東南大學(xué) 2018
[3]農(nóng)業(yè)科技服務(wù)云平臺(tái)構(gòu)建與農(nóng)業(yè)時(shí)空推薦算法研究[D]. 陳程程.吉林農(nóng)業(yè)大學(xué) 2017
[4]基于Web日志挖掘的農(nóng)業(yè)信息個(gè)性化推薦系統(tǒng)研究[D]. 戴震.湖南農(nóng)業(yè)大學(xué) 2016
[5]基于solr的搜索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 高玉民.華南理工大學(xué) 2015
[6]基于Hadoop平臺(tái)和Mahout框架的推薦系統(tǒng)研究與實(shí)現(xiàn)[D]. 潘燕紅.浙江大學(xué) 2015
[7]Hadoop YARN資源分配與調(diào)度的研究[D]. 李媛禎.南京航空航天大學(xué) 2015



本文編號(hào)：3519466