發(fā)布時(shí)間：2020-11-01 07:51

　　 近20年來,隨著信息技術(shù)發(fā)展的越來越迅速,各個(gè)領(lǐng)域產(chǎn)生的數(shù)據(jù)量也越來越多,因此大數(shù)據(jù)的概念也隨之引起了社會(huì)各界的重視。面對(duì)大量繁雜的數(shù)據(jù)人們逐漸發(fā)覺其是人類進(jìn)步的重要資源,急需從這些海量數(shù)據(jù)中發(fā)現(xiàn)有價(jià)值的信息。數(shù)據(jù)挖掘是通過算法搜索出隱藏于海量數(shù)據(jù)中的信息的過程,通過這個(gè)過程可以從大量繁雜的數(shù)據(jù)中找到有價(jià)值的信息。其中K中心點(diǎn)聚類算法具有易實(shí)現(xiàn)、效率高等優(yōu)點(diǎn),因而被人們廣為接受。隨著人們對(duì)數(shù)據(jù)挖掘技術(shù)不斷探究,數(shù)據(jù)挖掘領(lǐng)域有了眾多的創(chuàng)新發(fā)展,將智能優(yōu)化算法較好地應(yīng)用到K中心點(diǎn)之中就是創(chuàng)新發(fā)展之一。布谷鳥算法作為進(jìn)化計(jì)算范疇里新興起的一種群體智能優(yōu)化方法,引用了生物學(xué)進(jìn)化論,參數(shù)更少,隨機(jī)搜索更有效。本文首先對(duì)布谷鳥算法進(jìn)行改進(jìn),之后將改進(jìn)布谷鳥算法與K中心點(diǎn)進(jìn)行結(jié)合,使其在指定初始質(zhì)心的情況下完成聚類分析。最后將結(jié)合算法運(yùn)用到Map Reduce框架下進(jìn)行并行實(shí)驗(yàn)分析。具體工作如下:(1)簡(jiǎn)述了聚類分析、K中心點(diǎn)算法、布谷鳥算法、Map Reduce框架的相關(guān)概念、分析了兩種算法的思想、流程、優(yōu)缺點(diǎn)等。(2)對(duì)布谷鳥算法引入自適應(yīng)發(fā)現(xiàn)概率。通過將布谷鳥算法中的固定值參數(shù)發(fā)現(xiàn)概率改為動(dòng)態(tài)變化的自適應(yīng)發(fā)現(xiàn)概率,使算法在前期加快收斂速度,后期提高收斂精度,更有效更快速地搜尋到最優(yōu)解。(3)將改進(jìn)后的布谷鳥算法運(yùn)用到K中心點(diǎn)算法中,得到了基于改進(jìn)布谷鳥算法的K中心點(diǎn)優(yōu)化算法。此算法利用了基于自適應(yīng)發(fā)現(xiàn)概率的布谷鳥算法以及K中心點(diǎn)算法在數(shù)據(jù)集中各自搜索尋優(yōu)的優(yōu)勢(shì),彌補(bǔ)了原始K中心點(diǎn)算法受初始質(zhì)心影響較大和難免陷入局部極值的缺陷,提升了算法的效果。(4)將基于自適應(yīng)發(fā)現(xiàn)概率的布谷鳥算法的K中心點(diǎn)優(yōu)化算法運(yùn)用到大數(shù)據(jù)平臺(tái)上進(jìn)行并行實(shí)驗(yàn),表明該算法在大數(shù)據(jù)聚類分析方面有著優(yōu)越的應(yīng)用遠(yuǎn)景。通過算法在測(cè)試函數(shù)和數(shù)據(jù)集上的實(shí)驗(yàn)表明,改進(jìn)布谷鳥算法具有更快的收斂速度和更好的尋優(yōu)效果。布谷鳥算法與K中心點(diǎn)的結(jié)合算法具有更高的聚類質(zhì)量和準(zhǔn)確性,同時(shí)收斂速度也有所提升。最后結(jié)合算法的并行實(shí)驗(yàn)也進(jìn)一步證明了該算法的高性能。
【學(xué)位單位】：西北師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2018
【中圖分類】：TP18
【部分圖文】：

經(jīng)過 Map 和 Reduce 兩個(gè)過程來完成。首先 Map 過程并行處理和計(jì)算分割后的相互獨(dú)立的數(shù)據(jù)塊文件，計(jì)算處理后的結(jié)果再經(jīng)過 Reduce 過程進(jìn)行一定的匯總整合，最后返回輸出。MapReduce工作過程：(1) 分割數(shù)據(jù)源：根據(jù) MapReduce 所供給的庫將源文件數(shù)據(jù)分為 M 份數(shù)據(jù)塊文件。(2) 進(jìn)行Map 過程：Master服務(wù)器給不同的Worker 服務(wù)器分配不同的數(shù)據(jù)塊文件，之后執(zhí)行Map 過程分別對(duì)數(shù)據(jù)塊文件進(jìn)行處理。不同的Map 之間互相獨(dú)立、高度并行，它讀入數(shù)據(jù)以〈Key， V alue〉的形式進(jìn)行，把運(yùn)算后的中間結(jié)果輸入本地硬盤也采用〈Key， V alue〉的形式。(3) 進(jìn)行 Reduce 過程：Master服務(wù)器分配不同的Worker 服務(wù)器進(jìn)行 Reduce任務(wù)，將〈Key， V alue〉形式的中間結(jié)果進(jìn)行合并整理并輸出。MapReduce 的工作過程如圖 2.1 所示。

16圖 3.1 Rosenbrock 函數(shù)三維圖利用 CS 算法對(duì)上述標(biāo)準(zhǔn)測(cè)試函數(shù)進(jìn)行實(shí)驗(yàn)。參數(shù)設(shè)置如下：在 CS 算法群規(guī)模為 25，Pa1=0.55，Pa2=0.25，Pa3=0.05，最大迭代次數(shù)為 50。對(duì)測(cè)數(shù)在不同發(fā)現(xiàn)概率設(shè)置下分別進(jìn)行實(shí)驗(yàn)，結(jié)果如圖 3.2 所示。由圖 3.2 可知，發(fā)現(xiàn)概率為 0.55 時(shí)，算法在第 13 代就達(dá)到了收斂。收斂極快，但是目標(biāo)函數(shù)在 300 左右，距離最優(yōu)值 0 有很大距離；發(fā)現(xiàn)概率為 ，算法在第 25 代收斂，目標(biāo)函數(shù)為 200 左右；發(fā)現(xiàn)概率為 0.05 時(shí)，算法雖 37 代才收斂，但是目標(biāo)函數(shù)接近于理論最優(yōu)值 0。

圖 3.2 不同發(fā)現(xiàn)概率 CS 算法分析圖因此，在解決全局尋優(yōu)問題的算法中，在算法前期的時(shí)候應(yīng)保持一定的收度，以加快算法的運(yùn)行為目的，進(jìn)而使迭代的次數(shù)減少；當(dāng)算法運(yùn)行到后期候，應(yīng)該減小收斂的速度，著重搜尋算法的全局最優(yōu)解，加強(qiáng)尋優(yōu)效果，最到最好的解。所以在算法整體運(yùn)行過程中設(shè)定固定不變的參數(shù)，不能滿足算行時(shí)自適應(yīng)的需求。為了讓算法能夠滿足在不過分增加迭代次數(shù)的前提下最找到更好的解，應(yīng)該根據(jù)迭代的次數(shù)來設(shè)置自適應(yīng)變化的參數(shù)。1.2 ECS 算法思想本章提出的改進(jìn)布谷鳥算法（Evolutionary Cuckoo Search，ECS），將傳谷鳥算法中的固定發(fā)現(xiàn)概率改進(jìn)為自適應(yīng)發(fā)現(xiàn)概率。ECS 算法的主要思想為：在對(duì)所求問題求解的過程中，將種群中的每一個(gè)位置視為所求問題解空間中的一個(gè)解，并用所要求解問題的目標(biāo)函數(shù)值來衡巢位置的優(yōu)劣。傳統(tǒng)布谷鳥算法中，根據(jù)式（2-5）進(jìn)行位置更新后，會(huì)產(chǎn)nd（0 h）隨機(jī)數(shù) r 與發(fā)現(xiàn)概率比較，若 r > P，此時(shí)需要隨機(jī)變化鳥巢位置
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李濤;曾春秋;周武柏;周綺鳳;鄭理;;大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘——從應(yīng)用的角度看大數(shù)據(jù)挖掘[J];大數(shù)據(jù);2015年04期

2 潘楚;張?zhí)煳?羅可;;兩種新搜索策略對(duì)K-medoids聚類算法建模[J];小型微型計(jì)算機(jī)系統(tǒng);2015年07期

3 徐煥良;翟璐;薛衛(wèi);任守綱;;Hadoop平臺(tái)中MapReduce調(diào)度算法研究[J];計(jì)算機(jī)應(yīng)用與軟件;2015年05期

4 顏宏文;周雅梅;潘楚;;基于寬度優(yōu)先搜索的K-medoids聚類算法[J];計(jì)算機(jī)應(yīng)用;2015年05期

5 程學(xué)旗;靳小龍;王元卓;郭嘉豐;張鐵贏;李國杰;;大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J];軟件學(xué)報(bào);2014年09期

6 蘇芙華;劉云連;伍鐵斌;;求解無約束優(yōu)化問題的改進(jìn)布谷鳥搜索算法[J];計(jì)算機(jī)工程;2014年05期

7 胡欣欣;;求解函數(shù)優(yōu)化問題的改進(jìn)布谷鳥搜索算法[J];計(jì)算機(jī)工程與設(shè)計(jì);2013年10期

8 邵鵬;吳志健;;基于改進(jìn)PSO算法的Rosenbrock函數(shù)優(yōu)化問題的研究[J];計(jì)算機(jī)科學(xué);2013年09期

9 柳新妮;馬苗;;布谷鳥搜索算法在多閾值圖像分割中的應(yīng)用[J];計(jì)算機(jī)工程;2013年07期

10 馮登科;阮奇;杜利敏;;二進(jìn)制布谷鳥搜索算法[J];計(jì)算機(jī)應(yīng)用;2013年06期

相關(guān)碩士學(xué)位論文 前4條

1 丁斌;基于布谷鳥算法的K-means聚類挖掘算法研究[D];合肥工業(yè)大學(xué);2015年

2 韓曉慧;基于改進(jìn)混合蛙跳算法的K-means聚類算法研究[D];甘肅農(nóng)業(yè)大學(xué);2012年

3 鄧現(xiàn)倫;基于模糊商空間理論的模糊聚類研究[D];中南大學(xué);2011年

4 雷達(dá);數(shù)據(jù)聚類方法研究及其在軟測(cè)量中的應(yīng)用[D];青島科技大學(xué);2011年

本文編號(hào)：2865241