隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展和普及,水產(chǎn)養(yǎng)殖數(shù)據(jù)儲(chǔ)備正在迅速膨脹,這對(duì)于水產(chǎn)養(yǎng)殖行業(yè)是機(jī)遇也是挑戰(zhàn)�，F(xiàn)有的水產(chǎn)養(yǎng)殖信息化平臺(tái)都提供了較完備的數(shù)據(jù)展示、檢索服務(wù),但是數(shù)據(jù)間相互獨(dú)立忽略了數(shù)據(jù)間的關(guān)系和價(jià)值,未達(dá)到價(jià)值最大化。為了更好地發(fā)揮水產(chǎn)養(yǎng)殖數(shù)據(jù)資源的價(jià)值,并解決水產(chǎn)養(yǎng)殖信息化程度低、數(shù)據(jù)處理效率低、養(yǎng)殖影響因素關(guān)聯(lián)關(guān)系獲取難的問(wèn)題,本文設(shè)計(jì)了以Hadoop分布式架構(gòu)為基礎(chǔ)的智慧水產(chǎn)養(yǎng)殖系統(tǒng)。系統(tǒng)對(duì)水產(chǎn)養(yǎng)殖大數(shù)據(jù)進(jìn)行存儲(chǔ),并通過(guò)方案并行化分析數(shù)據(jù),生成多要素關(guān)系模型、預(yù)測(cè)數(shù)據(jù)變化趨勢(shì),最終向養(yǎng)殖、科研人員提供水產(chǎn)養(yǎng)殖相關(guān)的信息化服務(wù)。本文結(jié)合現(xiàn)流行的Hadoop大數(shù)據(jù)框架,根據(jù)水產(chǎn)養(yǎng)殖生產(chǎn)過(guò)程及行業(yè)特征設(shè)計(jì)了水產(chǎn)養(yǎng)殖大數(shù)據(jù)平臺(tái)四層體系架構(gòu);針對(duì)水產(chǎn)養(yǎng)殖環(huán)境復(fù)雜、難以獲取各水體要素之間的關(guān)聯(lián)關(guān)系的問(wèn)題,在水產(chǎn)養(yǎng)殖要素分析預(yù)測(cè)上利用具有強(qiáng)的非線性映射能力的前饋誤差反向傳播學(xué)習(xí)(BP神經(jīng)網(wǎng)絡(luò))算法作為數(shù)據(jù)分析方法,解決水產(chǎn)養(yǎng)殖要素間復(fù)雜非線性關(guān)系的分析問(wèn)題,并以此為基礎(chǔ)提出養(yǎng)殖要素分析模型;同時(shí)引入基于可分辨矩陣的Johnson屬性約簡(jiǎn)算法對(duì)傳統(tǒng)算法進(jìn)行優(yōu)化,在保證精度一定的情況下,提高網(wǎng)絡(luò)收斂速度;然后利用MapReduce分布式編程模型對(duì)BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行并行化設(shè)計(jì),實(shí)現(xiàn)水產(chǎn)養(yǎng)殖大數(shù)據(jù)平臺(tái)的海量數(shù)據(jù)處理需求;并實(shí)例分析養(yǎng)殖要素分析模型和并行化學(xué)習(xí)算法,分別以山東省對(duì)蝦年產(chǎn)量預(yù)測(cè)和水產(chǎn)養(yǎng)殖水質(zhì)分類(lèi)評(píng)價(jià)為例,進(jìn)行了詳細(xì)設(shè)計(jì)和結(jié)果分析;最終整合大數(shù)據(jù)架構(gòu)設(shè)計(jì)與數(shù)據(jù)分析方法,搭建了高效、高容錯(cuò)的海量水產(chǎn)養(yǎng)殖數(shù)據(jù)管理、挖掘、可視化智慧水產(chǎn)養(yǎng)殖大數(shù)據(jù)系統(tǒng)。本文在研發(fā)中使用了優(yōu)秀的軟件開(kāi)發(fā)技術(shù),針對(duì)水產(chǎn)養(yǎng)殖生產(chǎn)需求,設(shè)計(jì)并實(shí)現(xiàn)了集數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、養(yǎng)殖要素分析評(píng)價(jià)于一體的智慧水產(chǎn)養(yǎng)殖系統(tǒng)。系統(tǒng)模塊經(jīng)過(guò)測(cè)試,可提供水產(chǎn)養(yǎng)殖信息管理、養(yǎng)殖多要素預(yù)測(cè)分析和高效的批量水質(zhì)評(píng)價(jià),對(duì)于海量水產(chǎn)養(yǎng)殖數(shù)據(jù)管理和數(shù)據(jù)分析挖掘具有一定價(jià)值。
【學(xué)位單位】：青島科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類(lèi)】：S951.2;TP311.13
【部分圖文】：

圖 2-1 Hadoop 生態(tài)系統(tǒng)組成圖Figure 2-1 The Hadoop ecosystemHDFS 文件系統(tǒng)FS（Hadoop Distributed File System，Hadoop 分布式文件系統(tǒng)）出自 論文[33]，適合 PB 級(jí)海量數(shù)據(jù)集的處理與存儲(chǔ)，HDFS 同時(shí)具有優(yōu)部署在低成本通用系統(tǒng)上的分布式文件系統(tǒng)。HDFS 主要由 ode、DataNode 進(jìn)行一系列操作完成大數(shù)據(jù)處理，如寫(xiě)入操作，Cl大文件分塊并在 DataNode 上備份，NameNode 收到 Client 指令根據(jù)塊地址，Client 根據(jù)地址推送數(shù)據(jù)到 DataNode，DataNode 間則依 DataNode 向 NameNode 發(fā)送響應(yīng) NameNode 關(guān)閉文件。可以看ter/Slave 架構(gòu)，架構(gòu)圖如下圖 2-2。ient：調(diào)用 HDFS API 操作文件，分別與 NameNode 和 DataNode 交據(jù)獲取和數(shù)據(jù)讀寫(xiě)操作。meNode ：NameNode 作為文件系統(tǒng)的“主管”平時(shí)工作就是內(nèi)部集

圖 2-2 HDFS 架構(gòu)圖Figure 2-2 HDFS architecture diagramNode：DataNode 的工作就是遵照 Client 或 NameNode 的指據(jù)，并通過(guò)定時(shí)發(fā)送自定義結(jié)構(gòu)體向NameNode傳遞要存儲(chǔ)的ndaryNameNode：由于 NameNode 中 EditLogs（事務(wù)日志）eNode 進(jìn)行 EditLogs 合并會(huì)導(dǎo)致 NameNode 重啟的時(shí)間過(guò)長(zhǎng)NameNode 出現(xiàn)用來(lái)定時(shí)合并 Edit Logs 和 FsImage（鏡像份。apReduce 并行編程計(jì)算框架educe 是針對(duì)海量數(shù)據(jù)分布式設(shè)計(jì)的編程模型。通過(guò)設(shè)計(jì)對(duì)分解方法，分為 Map 與 Reduce 兩個(gè)階段：Map 階段主要對(duì)處理按需求進(jìn)行分組，Reduce 則分別對(duì)對(duì)應(yīng)分組里的數(shù)據(jù)進(jìn)任務(wù)按需分割，以若干小任務(wù)形勢(shì)解決并匯總結(jié)果，其架構(gòu)圖

圖 2-2 HDFS 架構(gòu)圖Figure 2-2 HDFS architecture diagram：DataNode 的工作就是遵照 Client 或 NameNode 并通過(guò)定時(shí)發(fā)送自定義結(jié)構(gòu)體向NameNode傳遞要存NameNode：由于 NameNode 中 EditLogs（事務(wù)日e 進(jìn)行 EditLogs 合并會(huì)導(dǎo)致 NameNode 重啟的時(shí)間eNode 出現(xiàn)用來(lái)定時(shí)合并 Edit Logs 和 FsImage（educe 并行編程計(jì)算框架ce 是針對(duì)海量數(shù)據(jù)分布式設(shè)計(jì)的編程模型。通過(guò)設(shè)方法，分為 Map 與 Reduce 兩個(gè)階段：Map 階段主按需求進(jìn)行分組，Reduce 則分別對(duì)對(duì)應(yīng)分組里的數(shù)按需分割，以若干小任務(wù)形勢(shì)解決并匯總結(jié)果，其架
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李海濤;茆毓琦;;基于啟發(fā)式Johnson算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的水產(chǎn)養(yǎng)殖產(chǎn)量預(yù)測(cè)模型[J];漁業(yè)現(xiàn)代化;2017年06期

2 李道亮;楊昊;;農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)研究進(jìn)展與發(fā)展趨勢(shì)分析[J];農(nóng)業(yè)機(jī)械學(xué)報(bào);2018年01期

3 李海濤;王新安;豐艷;蘭長(zhǎng)杰;;智慧生態(tài)水產(chǎn)養(yǎng)殖系統(tǒng)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2017年10期

4 思雨;;漁業(yè)“十三五”發(fā)展規(guī)劃發(fā)布 明確中國(guó)特色現(xiàn)代化發(fā)展道路[J];中國(guó)食品;2017年02期

5 王東雨;鄭紀(jì)業(yè);王迪;劉延忠;;我國(guó)水產(chǎn)大數(shù)據(jù)及應(yīng)用技術(shù)研究初探[J];山東農(nóng)業(yè)科學(xué);2016年10期

6 肖樂(lè);李明爽;李振龍;;我國(guó)“互聯(lián)網(wǎng)+水產(chǎn)養(yǎng)殖”發(fā)展現(xiàn)狀與路徑研究[J];漁業(yè)現(xiàn)代化;2016年03期

7 趙丹;王晰巍;李嘉興;張長(zhǎng)亮;;國(guó)內(nèi)外大數(shù)據(jù)工具學(xué)術(shù)論文比較研究——基于文獻(xiàn)計(jì)量方法[J];情報(bào)科學(xué);2016年06期

8 李道亮;;信息化支撐漁業(yè)現(xiàn)代化 產(chǎn)學(xué)研協(xié)作助推產(chǎn)業(yè)升級(jí)——中國(guó)漁業(yè)物聯(lián)網(wǎng)與大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新聯(lián)盟成立大會(huì)暨水產(chǎn)養(yǎng)殖信息化論壇側(cè)記[J];中國(guó)科技產(chǎn)業(yè);2016年04期

9 李道亮;;物聯(lián)網(wǎng)支撐現(xiàn)代漁業(yè) 大數(shù)據(jù)助推產(chǎn)業(yè)升級(jí)[J];中國(guó)科技產(chǎn)業(yè);2016年02期

10 ;促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要[J];成組技術(shù)與生產(chǎn)現(xiàn)代化;2015年03期

相關(guān)博士學(xué)位論文 前1條

1 劉雙印;基于計(jì)算智能的水產(chǎn)養(yǎng)殖水質(zhì)預(yù)測(cè)預(yù)警方法研究[D];中國(guó)農(nóng)業(yè)大學(xué);2014年

相關(guān)碩士學(xué)位論文 前2條

1 王新安;基于云服務(wù)的智慧水產(chǎn)養(yǎng)殖平臺(tái)的研究與實(shí)現(xiàn)[D];青島科技大學(xué);2017年

2 李華華;粗糙集理論研究及其在隧道病害預(yù)測(cè)中的應(yīng)用[D];北京交通大學(xué);2008年

本文編號(hào)：2836184