近20年來,隨著信息技術(shù)發(fā)展的越來越迅速,各個領(lǐng)域產(chǎn)生的數(shù)據(jù)量也越來越多,因此大數(shù)據(jù)的概念也隨之引起了社會各界的重視。面對大量繁雜的數(shù)據(jù)人們逐漸發(fā)覺其是人類進步的重要資源,急需從這些海量數(shù)據(jù)中發(fā)現(xiàn)有價值的信息。數(shù)據(jù)挖掘是通過算法搜索出隱藏于海量數(shù)據(jù)中的信息的過程,通過這個過程可以從大量繁雜的數(shù)據(jù)中找到有價值的信息。其中K中心點聚類算法具有易實現(xiàn)、效率高等優(yōu)點,因而被人們廣為接受。隨著人們對數(shù)據(jù)挖掘技術(shù)不斷探究,數(shù)據(jù)挖掘領(lǐng)域有了眾多的創(chuàng)新發(fā)展,將智能優(yōu)化算法較好地應(yīng)用到K中心點之中就是創(chuàng)新發(fā)展之一。布谷鳥算法作為進化計算范疇里新興起的一種群體智能優(yōu)化方法,引用了生物學(xué)進化論,參數(shù)更少,隨機搜索更有效。本文首先對布谷鳥算法進行改進,之后將改進布谷鳥算法與K中心點進行結(jié)合,使其在指定初始質(zhì)心的情況下完成聚類分析。最后將結(jié)合算法運用到Map Reduce框架下進行并行實驗分析。具體工作如下:(1)簡述了聚類分析、K中心點算法、布谷鳥算法、Map Reduce框架的相關(guān)概念、分析了兩種算法的思想、流程、優(yōu)缺點等。(2)對布谷鳥算法引入自適應(yīng)發(fā)現(xiàn)概率。通過將布谷鳥算法中的固定值參數(shù)發(fā)現(xiàn)概率改為動態(tài)變化的自適應(yīng)發(fā)現(xiàn)概率,使算法在前期加快收斂速度,后期提高收斂精度,更有效更快速地搜尋到最優(yōu)解。(3)將改進后的布谷鳥算法運用到K中心點算法中,得到了基于改進布谷鳥算法的K中心點優(yōu)化算法。此算法利用了基于自適應(yīng)發(fā)現(xiàn)概率的布谷鳥算法以及K中心點算法在數(shù)據(jù)集中各自搜索尋優(yōu)的優(yōu)勢,彌補了原始K中心點算法受初始質(zhì)心影響較大和難免陷入局部極值的缺陷,提升了算法的效果。(4)將基于自適應(yīng)發(fā)現(xiàn)概率的布谷鳥算法的K中心點優(yōu)化算法運用到大數(shù)據(jù)平臺上進行并行實驗,表明該算法在大數(shù)據(jù)聚類分析方面有著優(yōu)越的應(yīng)用遠景。通過算法在測試函數(shù)和數(shù)據(jù)集上的實驗表明,改進布谷鳥算法具有更快的收斂速度和更好的尋優(yōu)效果。布谷鳥算法與K中心點的結(jié)合算法具有更高的聚類質(zhì)量和準(zhǔn)確性,同時收斂速度也有所提升。最后結(jié)合算法的并行實驗也進一步證明了該算法的高性能。
【學(xué)位單位】：西北師范大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP18
【部分圖文】：

經(jīng)過 Map 和 Reduce 兩個過程來完成。首先 Map 過程并行處理和計算分割后的相互獨立的數(shù)據(jù)塊文件，計算處理后的結(jié)果再經(jīng)過 Reduce 過程進行一定的匯總整合，最后返回輸出。MapReduce工作過程：(1) 分割數(shù)據(jù)源：根據(jù) MapReduce 所供給的庫將源文件數(shù)據(jù)分為 M 份數(shù)據(jù)塊文件。(2) 進行Map 過程：Master服務(wù)器給不同的Worker 服務(wù)器分配不同的數(shù)據(jù)塊文件，之后執(zhí)行Map 過程分別對數(shù)據(jù)塊文件進行處理。不同的Map 之間互相獨立、高度并行，它讀入數(shù)據(jù)以〈Key， V alue〉的形式進行，把運算后的中間結(jié)果輸入本地硬盤也采用〈Key， V alue〉的形式。(3) 進行 Reduce 過程：Master服務(wù)器分配不同的Worker 服務(wù)器進行 Reduce任務(wù)，將〈Key， V alue〉形式的中間結(jié)果進行合并整理并輸出。MapReduce 的工作過程如圖 2.1 所示。

16圖 3.1 Rosenbrock 函數(shù)三維圖利用 CS 算法對上述標(biāo)準(zhǔn)測試函數(shù)進行實驗。參數(shù)設(shè)置如下：在 CS 算法群規(guī)模為 25，Pa1=0.55，Pa2=0.25，Pa3=0.05，最大迭代次數(shù)為 50。對測數(shù)在不同發(fā)現(xiàn)概率設(shè)置下分別進行實驗，結(jié)果如圖 3.2 所示。由圖 3.2 可知，發(fā)現(xiàn)概率為 0.55 時，算法在第 13 代就達到了收斂。收斂極快，但是目標(biāo)函數(shù)在 300 左右，距離最優(yōu)值 0 有很大距離；發(fā)現(xiàn)概率為 ，算法在第 25 代收斂，目標(biāo)函數(shù)為 200 左右；發(fā)現(xiàn)概率為 0.05 時，算法雖 37 代才收斂，但是目標(biāo)函數(shù)接近于理論最優(yōu)值 0。

圖 3.2 不同發(fā)現(xiàn)概率 CS 算法分析圖因此，在解決全局尋優(yōu)問題的算法中，在算法前期的時候應(yīng)保持一定的收度，以加快算法的運行為目的，進而使迭代的次數(shù)減少；當(dāng)算法運行到后期候，應(yīng)該減小收斂的速度，著重搜尋算法的全局最優(yōu)解，加強尋優(yōu)效果，最到最好的解。所以在算法整體運行過程中設(shè)定固定不變的參數(shù)，不能滿足算行時自適應(yīng)的需求。為了讓算法能夠滿足在不過分增加迭代次數(shù)的前提下最找到更好的解，應(yīng)該根據(jù)迭代的次數(shù)來設(shè)置自適應(yīng)變化的參數(shù)。1.2 ECS 算法思想本章提出的改進布谷鳥算法（Evolutionary Cuckoo Search，ECS），將傳谷鳥算法中的固定發(fā)現(xiàn)概率改進為自適應(yīng)發(fā)現(xiàn)概率。ECS 算法的主要思想為：在對所求問題求解的過程中，將種群中的每一個位置視為所求問題解空間中的一個解，并用所要求解問題的目標(biāo)函數(shù)值來衡巢位置的優(yōu)劣。傳統(tǒng)布谷鳥算法中，根據(jù)式（2-5）進行位置更新后，會產(chǎn)nd（0 h）隨機數(shù) r 與發(fā)現(xiàn)概率比較，若 r > P，此時需要隨機變化鳥巢位置
【參考文獻】

相關(guān)期刊論文 前10條

1 李濤;曾春秋;周武柏;周綺鳳;鄭理;;大數(shù)據(jù)時代的數(shù)據(jù)挖掘——從應(yīng)用的角度看大數(shù)據(jù)挖掘[J];大數(shù)據(jù);2015年04期

2 潘楚;張?zhí)煳?羅可;;兩種新搜索策略對K-medoids聚類算法建模[J];小型微型計算機系統(tǒng);2015年07期

3 徐煥良;翟璐;薛衛(wèi);任守綱;;Hadoop平臺中MapReduce調(diào)度算法研究[J];計算機應(yīng)用與軟件;2015年05期

4 顏宏文;周雅梅;潘楚;;基于寬度優(yōu)先搜索的K-medoids聚類算法[J];計算機應(yīng)用;2015年05期

5 程學(xué)旗;靳小龍;王元卓;郭嘉豐;張鐵贏;李國杰;;大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J];軟件學(xué)報;2014年09期

6 蘇芙華;劉云連;伍鐵斌;;求解無約束優(yōu)化問題的改進布谷鳥搜索算法[J];計算機工程;2014年05期

7 胡欣欣;;求解函數(shù)優(yōu)化問題的改進布谷鳥搜索算法[J];計算機工程與設(shè)計;2013年10期

8 邵鵬;吳志健;;基于改進PSO算法的Rosenbrock函數(shù)優(yōu)化問題的研究[J];計算機科學(xué);2013年09期

9 柳新妮;馬苗;;布谷鳥搜索算法在多閾值圖像分割中的應(yīng)用[J];計算機工程;2013年07期

10 馮登科;阮奇;杜利敏;;二進制布谷鳥搜索算法[J];計算機應(yīng)用;2013年06期

相關(guān)碩士學(xué)位論文 前4條

1 丁斌;基于布谷鳥算法的K-means聚類挖掘算法研究[D];合肥工業(yè)大學(xué);2015年

2 韓曉慧;基于改進混合蛙跳算法的K-means聚類算法研究[D];甘肅農(nóng)業(yè)大學(xué);2012年

3 鄧現(xiàn)倫;基于模糊商空間理論的模糊聚類研究[D];中南大學(xué);2011年

4 雷達;數(shù)據(jù)聚類方法研究及其在軟測量中的應(yīng)用[D];青島科技大學(xué);2011年

本文編號：2865241