【摘要】：數(shù)據(jù)挖掘是一種面向應用的技術(shù),在營銷策劃、信用評價和安全分析等領(lǐng)域應用十分廣泛。隨著數(shù)字海洋概念的提出,數(shù)據(jù)挖掘算法被應用到海洋環(huán)境監(jiān)測中,并成為近幾年研究熱點。針對海洋環(huán)境各指標間存在關(guān)系模糊、影響因素不確定及隨機性的問題,本文采用模糊C均值聚類算法(FCM)對海洋環(huán)境各指標數(shù)據(jù)進行挖掘,并利用Hadoop平臺對該算法進行并行化設計與實現(xiàn)。本文的主要研究內(nèi)容為:首先,對海洋的監(jiān)測數(shù)值,如:海水的PH值、溫度、鹽度和溶解氧濃度進行預處理,并對預處理之后的數(shù)據(jù)用FCM算法聚類。通過對某海域某年上半年的海域數(shù)據(jù)分析以及對三個海域樣本數(shù)據(jù)的挑揀聚類,結(jié)果表明海域數(shù)據(jù)在時間上和空間上具有積聚特性,并且FCM算法聚類的準確度(89%)比用k-means算法的聚類準確度高。并且通過FCM算法對海洋環(huán)境的PH值進行聚類,以區(qū)別污染和未被污染的樣本,在一定程度上為海水污染預警提供了新的方法。然后,利用MapReduce計算框架對FCM算法進行并行化設計,包括Map、Combine、Reduce和迭代過程。Map過程完成海洋環(huán)境樣本數(shù)據(jù)與聚類中心的隸屬度的并行化計算;Combine過程對Map的輸出進行合并,減輕Reduce過程的負擔;Reduce是一個并行化的實現(xiàn)對聚類中心的更新的過程;最后通過判斷每次迭代過程的聚類中心的距離差值完成迭代過程的設計。最后,基于Hadoop平臺進行FCM算法在海洋環(huán)境中的實現(xiàn)與驗證。本文選取不同規(guī)模的海洋數(shù)據(jù)樣本對以下兩種情況進行對比分析:比較在單機環(huán)境下串行化的FCM算法與并行化的FCM算法的執(zhí)行效率;對比并行化的FCM算法在不同節(jié)點下的集群加速比和效率。測試結(jié)果說明并行化的FCM算法在處理大規(guī)模的海洋環(huán)境數(shù)據(jù)方面具有較優(yōu)越的加速比和擴展性能。
【學位授予單位】：青島科技大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：TP311.13;X55

【參考文獻】

相關(guān)期刊論文 前10條

1 吳雪峰;馬路;;數(shù)據(jù)挖掘技術(shù)及在制造業(yè)的應用[J];計算機應用與軟件;2017年10期

2 劉銘;黃凡玲;傅彥銘;楊曉玲;;改進的人工蜂群優(yōu)化支持向量機算法在入侵檢測中的應用[J];計算機應用與軟件;2017年01期

3 宋杰;孫宗哲;毛克明;鮑玉斌;于戈;;MapReduce大數(shù)據(jù)處理平臺與算法研究進展[J];軟件學報;2017年03期

4 高強;張鳳荔;王瑞錦;周帆;;軌跡大數(shù)據(jù):數(shù)據(jù)處理關(guān)鍵技術(shù)研究綜述[J];軟件學報;2017年04期

5 夏靖波;韋澤鯤;付凱;陳珍;;云計算中Hadoop技術(shù)研究與應用綜述[J];計算機科學;2016年11期

6 韓家琪;毛克彪;夏浪;劉R，

本文編號：2618476