無(wú)線電監(jiān)測(cè)產(chǎn)生了海量的頻譜監(jiān)測(cè)數(shù)據(jù),但缺乏智能化、自動(dòng)化的數(shù)據(jù)處理分析手段。聚類算法是重要的大數(shù)據(jù)挖掘算法,本文設(shè)計(jì)實(shí)現(xiàn)了基于Hadoop的CTK聚類算法,使其適用于分布式、海量的無(wú)線電監(jiān)測(cè)數(shù)據(jù)的分析和計(jì)算。通過實(shí)驗(yàn)將其應(yīng)用于無(wú)線電監(jiān)測(cè)頻譜數(shù)據(jù)分析后,可在廣播頻段發(fā)現(xiàn)"黑廣播",為無(wú)線電監(jiān)測(cè)大數(shù)據(jù)處理的自動(dòng)化和智能化提供思路。

【文章頁(yè)數(shù)】：4 頁(yè)

【部分圖文】：

圖1 MapReduce工作原理圖

MapReduce是一種核心思想，來(lái)源于Google論文《MapReducesimplifieddataprocessingonlargeclusters》的編程模型，基本思想是把一個(gè)復(fù)雜的問題分解成處理子集的子問題，對(duì)子問題分別進(jìn)行處理（Map），然后把子問題處理后....

圖2 CTK算法整體流程圖

基于Canopy的二次聚類算法簡(jiǎn)稱CTK算法，是在分析傳統(tǒng)各類聚類算法優(yōu)缺點(diǎn)的基礎(chǔ)上，取長(zhǎng)補(bǔ)短，提出的一種改進(jìn)的基于層次的聚類算法。CTK算法流程圖如圖2所示。CTK算法的基本流程主要包括兩個(gè)階段：第一個(gè)階段主要是對(duì)整個(gè)數(shù)據(jù)集合進(jìn)行Canopy聚類產(chǎn)生若干Canopy中心，將其作....

圖3 CTK算法的MapReduce框架圖

CTK算法在Hadoop上的并行化實(shí)現(xiàn)分為兩個(gè)階段和四個(gè)MapReduce過程，其具體實(shí)現(xiàn)結(jié)構(gòu)框架如圖3所示。算法中的第一個(gè)階段選擇初始聚類中心采用一個(gè)MapReduce過程來(lái)實(shí)現(xiàn)。第二個(gè)階段的聚類使用三個(gè)MapReduce過程來(lái)實(shí)現(xiàn)。第一個(gè)過程即MapReduce1，目的是計(jì)算....

本文編號(hào)：4026878