糧食是人們賴以生存的基礎(chǔ)物資,是每一個(gè)國家都在儲備的戰(zhàn)略資源因?yàn)樗P(guān)乎社會的和諧穩(wěn)定。糧食倉儲安全是糧食安全的重要一環(huán),而糧倉通風(fēng)又是糧食倉儲安全中總要的一環(huán),智能通風(fēng)是保證儲糧安全的一項(xiàng)有力措施。面對復(fù)雜的糧情信息,為了避免無效通風(fēng)甚至有害通風(fēng),許多智能通風(fēng)策略模型被專家們研究出來。本文的首要目標(biāo)是在前人研究的基礎(chǔ)之上結(jié)合糧情信息前后有所關(guān)聯(lián)的事實(shí)情況尋找一個(gè)更切合實(shí)際而且準(zhǔn)確度更高的智能通風(fēng)策略模型,本文通過激活函數(shù)改進(jìn)得到S-P-LSTM智能通風(fēng)策略模型并驗(yàn)證了其有效性。另外以往的糧情數(shù)據(jù)采集頻率過低,得到的訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集過小,使得訓(xùn)練出來的模型不夠精確直接影響了通風(fēng)策略模型的準(zhǔn)確率。究其原因是因?yàn)榧Z情的大量數(shù)據(jù)無法用單機(jī)全部存儲,單機(jī)處理數(shù)據(jù)也只能抽樣處理。本文提出一套基于糧情大數(shù)據(jù)的架構(gòu)系統(tǒng),設(shè)計(jì)了一套完善的糧情數(shù)據(jù)處理系統(tǒng),解決海量存儲問題,并且重點(diǎn)研究數(shù)據(jù)清洗流程以及系統(tǒng)整體性能的提升。整個(gè)系統(tǒng)流程包含數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)處理以及數(shù)據(jù)可視化四個(gè)步驟。最后借助該糧情大數(shù)據(jù)系統(tǒng)來提升S-P-LSTM模型的準(zhǔn)確度及效率。主要研究內(nèi)容如下:(1)分析了當(dāng)前智能通風(fēng)系統(tǒng)的不足,系統(tǒng)研究了大數(shù)據(jù)技術(shù)的知識體系,例如Hadoop、HDFS、MapReduce、Hive、Spark等關(guān)鍵技術(shù)。并設(shè)計(jì)出一套基于糧情大數(shù)據(jù)的架構(gòu)系統(tǒng),利用該系統(tǒng)來提升糧倉智能通風(fēng)決策的準(zhǔn)確率。本文具體實(shí)現(xiàn)了該系統(tǒng)并且從運(yùn)行時(shí)間、加速比等指標(biāo)衡量了該模型,證明了其可行性以及優(yōu)越性。(2)研究了BP神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)以及LSTM神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)理論,對BP算法做了簡要推演并對BPTT算法以及LSTM神經(jīng)網(wǎng)絡(luò)算法做出了詳盡推導(dǎo)。(3)針對以往糧倉智能通風(fēng)決策模型的不足,本文提出一種基于改進(jìn)后的激活函數(shù)S-P-ReLU的智能通決策模型S-P-LSTM。然后用MATLAB對該模型進(jìn)行模擬并對模擬結(jié)果進(jìn)行了分析,發(fā)現(xiàn)該模型能很好的解決糧倉智能通風(fēng)決策問題,最后通過部署到糧情大數(shù)據(jù)系統(tǒng)平臺上驗(yàn)證了該系統(tǒng)的優(yōu)越性。
【學(xué)位單位】：河南工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2018
【中圖分類】：S379;TP311.13
【部分圖文】：

MR 框架由兩個(gè)節(jié)點(diǎn)組成，ResourceManage（rHadoop1.x 版本之前稱之為 JobTrackeadoop2.x 版本引入了 Yarn 后，Jobtracker 就被替換成了 ResourceManager）是任務(wù)調(diào)，管理多個(gè) NodeManager（Hadoop1.x 版本之前稱之為 TaskTracker），NodeManag任務(wù)執(zhí)行者[19]。. MR 執(zhí)行 job 任務(wù)流程

它的出現(xiàn)是為了解決分布式數(shù)據(jù)集合分片后的數(shù)據(jù)結(jié)構(gòu)。這務(wù)器的內(nèi)存當(dāng)中，目的就是為了解決諸如 MapReduce 和 Hive 等計(jì)算它是 Spark 提供的一個(gè)特殊集合類[31]。普通的集合數(shù)據(jù)作為一個(gè)整體進(jìn)行了分區(qū) Partition 處理，這樣做的目的就是為了分布式。如：傳統(tǒng) L體，RDD 可能就是 RDD(1,2) (3,4)。這樣如需計(jì)算時(shí)，就把 1 和 2 發(fā)把 3 和 4 發(fā)送給另一個(gè) worker，按分區(qū)完成數(shù)據(jù)的分發(fā)[32]。 主要分為三部分組成：數(shù)據(jù)分片、計(jì)算函數(shù)、RDD 依賴（lineage 血 RDD 有了生命，可以進(jìn)行向前的追溯，當(dāng)某個(gè)節(jié)點(diǎn)計(jì)算錯(cuò)誤時(shí)，只新計(jì)算相關(guān)的操作而不必回滾整個(gè)程序，這點(diǎn)對懶執(zhí)行和容錯(cuò)特別來源的數(shù)據(jù) 都可以經(jīng)過轉(zhuǎn)換變?yōu)?RDD 再由 Spark 進(jìn)行處理 RDD 彈 Spark 處理數(shù)據(jù)的基本和統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)，將大量的數(shù)據(jù)切分為若干統(tǒng)一的方式和格式下被 Spark 處理[34]。向無環(huán)圖

21DataNode1 DataNode2 DataNode3 DataNode42 基于大數(shù)據(jù)的糧倉智能通風(fēng)系統(tǒng)架構(gòu)圖分布式結(jié)構(gòu)，本節(jié)對 Hadoop 如何做到集群高可用 NameNodes 通過一組名為 JournalNodes 的獨(dú)立進(jìn)程動 NameNode 的名稱空間進(jìn)行任何更改時(shí)，將會通用狀態(tài)的 NameNodes 有能力在 JNs 中讀取更改信
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊衛(wèi)東;李文浩;尚磊;;低功耗糧情測控物聯(lián)網(wǎng)模型研究[J];糧食儲藏;2017年01期

2 付鵬程;趙小軍;李曉亮;姜祖新;曹志帥;;糧情分析系統(tǒng)開發(fā)及應(yīng)用實(shí)踐(一)[J];糧食儲藏;2017年04期

3 曹志帥;姜祖新;趙小軍;蔣雪梅;吳軍里;馬中萍;高克勤;張震;黃勇;宋志剛;;糧情分析系統(tǒng)開發(fā)及應(yīng)用實(shí)踐(二)[J];糧食儲藏;2017年05期

4 王樹田;;糧情檢查[J];中國糧食經(jīng)濟(jì);2013年06期

5 王立根;王貴甫;;糧情測控技術(shù)及其發(fā)展[J];計(jì)算機(jī)應(yīng)用與軟件;2010年05期

6 甄彤;陳喬;;糧情智能決策支持系統(tǒng)研究與設(shè)計(jì)[J];微計(jì)算機(jī)信息;2008年30期

7 江燮云;;糧情檢查的內(nèi)容與程序[J];糧油倉儲科技通訊;2006年03期

8 可鐵;儲糧測控及糧情分析系統(tǒng)[J];河南科技;2000年07期

9 陳邦浩;;應(yīng)用微機(jī)新技術(shù) 促進(jìn)糧情檢測管理現(xiàn)代化[J];糧油倉儲科技通訊;1987年02期

10 ;糧庫糧食溫度微機(jī)自動檢測及糧情管理[J];軍民兩用技術(shù)與產(chǎn)品;1989年03期

相關(guān)博士學(xué)位論文 前2條

1 周慧玲;多功能糧情智能監(jiān)測和控制系統(tǒng)平臺的研究[D];北京郵電大學(xué);2010年

2 張鋒輝;無線傳感器網(wǎng)絡(luò)糧情監(jiān)測組網(wǎng)研究[D];北京郵電大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 胡慶賀;糧情檢測系統(tǒng)中數(shù)據(jù)獲取與分析預(yù)測方法的研究與實(shí)現(xiàn)[D];安徽大學(xué);2018年

2 程雯婷;高并發(fā)糧情測控系統(tǒng)Web服務(wù)端的設(shè)計(jì)與實(shí)現(xiàn)[D];安徽大學(xué);2018年

3 胡榮輝;基于大數(shù)據(jù)技術(shù)的糧倉智能通風(fēng)策略研究[D];河南工業(yè)大學(xué);2018年

4 徐柏森;倉儲糧情監(jiān)測物聯(lián)網(wǎng)組網(wǎng)研究[D];河南工業(yè)大學(xué);2012年

5 王犇;基于移動終端的糧情監(jiān)測信息可視化研究與實(shí)現(xiàn)[D];河南工業(yè)大學(xué);2014年

6 鐘志杰;基于“云外包”模式的糧情測控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];安徽大學(xué);2014年

7 張馳;基于無線傳感網(wǎng)絡(luò)的糧情在線監(jiān)測系統(tǒng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

8 崔德權(quán);糧情測控系統(tǒng)的研究與設(shè)計(jì)[D];西安工業(yè)大學(xué);2012年

9 何強(qiáng);數(shù)字化糧情監(jiān)控系統(tǒng)方案設(shè)計(jì)與研究[D];甘肅農(nóng)業(yè)大學(xué);2007年

10 王剛;基于RS-485總線和GPRS網(wǎng)絡(luò)的糧情測控系統(tǒng)[D];延邊大學(xué);2014年

本文編號：2840400