本文關(guān)鍵詞： 聚類分析 K-means算法 粒子群優(yōu)化 Spark　出處：《河南理工大學(xué)》2016年碩士論文　論文類型：學(xué)位論文

【摘要】：Web技術(shù)的快速發(fā)展使微博成為人們進行溝通與交流的一種新型社交網(wǎng)絡(luò)平臺。在該平臺上,用戶可以自由地發(fā)表對某些話題的觀點與看法。微博內(nèi)容簡單、發(fā)布容易的特點使其每天產(chǎn)生的信息總量巨大,從這些龐大的微博信息中提取出人們感興趣的熱點話題成為時下聚類分析的研究重點。本文的主要研究內(nèi)容如下:(1)首先,在對聚類算法、粒子群優(yōu)化算法(Particle Swarm Optimization,PSO)和微博話題的國內(nèi)外研究現(xiàn)狀進行闡述的基礎(chǔ)上,深入研究和分析了聚類算法和PSO算法的基本原理及改進思想,同時根據(jù)項目和數(shù)據(jù)分析的需求成功搭建了用于處理大數(shù)據(jù)的Spark集群。(2)其次,提出了基于時間因子的混沌粒子群優(yōu)化K-means算法(the K-means algorithm of Chaotic Particle swarm optimization with Time Factor),即KCPTF算法。在該算法中,為保證粒子的全局尋優(yōu)能力,引入了反映時間效應(yīng)的非線性遞減時間因子,使粒子在算法初期可快定位在近最優(yōu)解附近;為防止粒子群陷入局部最優(yōu)解,引入了混沌尋優(yōu)技術(shù),利用混沌技術(shù)的遍歷性增強粒子的全局搜索能力,并確保了粒子群的多樣性,同時啟用邊界緩沖墻技術(shù)來動態(tài)調(diào)整越界粒子;將改進后的PSO算法與K-means算法進行合并。在Matlab上對UCI數(shù)據(jù)庫中的數(shù)據(jù)集進行仿真測試,對比實驗表明,KCPTF算法的聚類結(jié)果有更高的精確度。(3)最后,將本文提出的KCPTF算法應(yīng)用在對新浪微博話題的聚類上,并在Spark平臺上開發(fā)出了一個基于新浪微博的熱點話題原型系統(tǒng),該系統(tǒng)可聚類出一定時段內(nèi)的熱點話題,達到了項目在聚類方面的預(yù)期要求。
[Abstract]:With the rapid development of Web technology, Weibo has become a new social network platform for people to communicate and communicate. On this platform, users can freely express their views and opinions on certain topics. Weibo's content is simple. The ease of publishing makes the amount of information generated every day huge. Extracting hot topics of interest from these huge Weibo information has become the focus of cluster analysis. The main research contents of this paper are as follows: 1) first of all, the clustering algorithm is proposed. Particle Swarm Optimization algorithm (PSO) and Weibo topic research status at home and abroad are discussed. The basic principle and improved idea of clustering algorithm and PSO algorithm are deeply studied and analyzed. At the same time, according to the requirements of the project and data analysis, the Spark cluster used to deal with big data is successfully built. A chaotic particle swarm optimization K-means algorithm based on time factor is proposed. The K-means algorithm of Chaotic Particle swarm optimization with. Time Factor). . In order to ensure the global optimization ability of particles, a nonlinear decrement time factor is introduced, which reflects the time effect, so that the particles can be located near the near optimal solution in the initial stage of the algorithm. In order to prevent particle swarm from falling into local optimal solution, chaos optimization technique is introduced. The global searching ability of particle is enhanced by using the ergodicity of chaos technology, and the diversity of particle swarm is ensured. At the same time, the boundary buffer wall technology is used to dynamically adjust the cross boundary particles; The improved PSO algorithm is combined with K-means algorithm. The data set in UCI database is simulated on Matlab. The clustering result of KCPTF algorithm has higher accuracy. Finally, the KCPTF algorithm proposed in this paper is applied to the clustering of Sina Weibo topic. A hot topic prototype system based on Sina Weibo is developed on Spark platform. The system can cluster the hot topics in a certain period of time and meet the expected requirements of the project in clustering.
【學(xué)位授予單位】：河南理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP393.092;TP311.13

【相似文獻】

相關(guān)期刊論文 前10條

1 蒙正中;;一種改進的混合粒子群優(yōu)化算法[J];桂林工學(xué)院學(xué)報;2009年03期

2 吳昌友;王福林;馬力;;一種新的改進粒子群優(yōu)化算法[J];控制工程;2010年03期

3 周馳,高海兵,高亮,章萬國;粒子群優(yōu)化算法[J];計算機應(yīng)用研究;2003年12期

4 高鷹,謝勝利;免疫粒子群優(yōu)化算法[J];計算機工程與應(yīng)用;2004年06期

5 張榮沂;一種新的集群優(yōu)化方法——粒子群優(yōu)化算法[J];黑龍江工程學(xué)院學(xué)報;2004年04期

6 高鷹;謝勝利;;混沌粒子群優(yōu)化算法[J];計算機科學(xué);2004年08期

7 劉釗,康立山,蔣良孝,楊林權(quán);用粒子群優(yōu)化改進算法求解混合整數(shù)非線性規(guī)劃問題[J];小型微型計算機系統(tǒng);2005年06期

8 戴冬雪,王祁,阮永順,王曉超;基于混沌思想的粒子群優(yōu)化算法及其應(yīng)用[J];華中科技大學(xué)學(xué)報(自然科學(xué)版);2005年10期

9 竇全勝;周春光;馬銘;劉全;;群核進化粒子群優(yōu)化方法[J];計算機科學(xué);2005年08期

10 范娜;云慶夏;;粒子群優(yōu)化算法及其應(yīng)用[J];信息技術(shù);2006年01期

相關(guān)會議論文 前10條

1 張妍;張曉光;王永鋼;;幾種改進型的粒子群優(yōu)化算法[A];第一屆中國高校通信類院系學(xué)術(shù)研討會論文集[C];2007年

2 孫紅光;潘毓學(xué);;基于運動目標路徑的粒子群優(yōu)化算法研究[A];第二屆全國信息獲取與處理學(xué)術(shù)會議論文集[C];2004年

3 韓毅;唐加福;郭偉宏;劉陽;;混合粒子群優(yōu)化算法求解多層批量問題(英文)[A];中國運籌學(xué)會第八屆學(xué)術(shù)交流會論文集[C];2006年

4 金一粟;梁逸曾;;空間自適應(yīng)粒子群優(yōu)化算法的應(yīng)用研究[A];第九屆全國計算（機）化學(xué)學(xué)術(shù)會議論文摘要集[C];2007年

5 汪榮貴;李守毅;孫見青;;一種新的自適應(yīng)粒子群優(yōu)化算法及應(yīng)用[A];計算機技術(shù)與應(yīng)用進展·2007——全國第18屆計算機技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會議論文集[C];2007年

6 黃雙歡;程良倫;;一種基于粒子群優(yōu)化的快速圖像傾斜角度檢測算法[A];中國自動化學(xué)會中南六省（區(qū)）2010年第28屆年會·論文集[C];2010年

7 侯志榮;呂振肅;;基于退火策略的粒子群優(yōu)化算法[A];2003年中國智能自動化會議論文集（下冊）[C];2003年

8 徐俊杰;忻展紅;;基于增強型參考位置的粒子群優(yōu)化模型[A];’2004系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會論文集[C];2004年

9 王亞;于永光;耿玲玲;;一類改進的自適應(yīng)粒子群優(yōu)化算法對混沌系統(tǒng)未知參數(shù)的估計[A];中國力學(xué)大會——2013論文摘要集[C];2013年

10 崔靜;鄧方;方浩;;基于改進粒子群優(yōu)化算法的彈道求解方法[A];2013年中國智能自動化學(xué)術(shù)會議論文集（第三分冊）[C];2013年

相關(guān)博士學(xué)位論文 前10條

1 劉昊;多樣性增強的粒子群優(yōu)化算法及其應(yīng)用研究[D];北京理工大學(xué);2015年

2 姜毅;動態(tài)環(huán)境下粒子群優(yōu)化算法的研究[D];武漢大學(xué);2013年

3 Shafiullah Khan;粒子群優(yōu)化算法及其在電磁設(shè)計中的應(yīng)用[D];浙江大學(xué);2017年

4 劉華鎣;粒子群優(yōu)化算法的改進研究及在石油工程中的應(yīng)用[D];東北石油大學(xué);2012年

5 劉波;粒子群優(yōu)化算法及其在機電設(shè)備中的應(yīng)用研究[D];中北大學(xué);2011年

6 熊勇;粒子群優(yōu)化算法的行為分析與應(yīng)用實例[D];浙江大學(xué);2005年

7 唐賢倫;混沌粒子群優(yōu)化算法理論及應(yīng)用研究[D];重慶大學(xué);2007年

8 閆允一;粒子群優(yōu)化及其在圖像處理中的應(yīng)用研究[D];西安電子科技大學(xué);2008年

9 余炳輝;粒子群優(yōu)化算法試驗研究及擴展[D];華中科技大學(xué);2007年

10 唐賢倫;混沌粒子群優(yōu)化算法理論及應(yīng)用[D];重慶大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 陳卓;粒子群優(yōu)化算法的改進及在油藏數(shù)值模擬中的應(yīng)用[D];北京建筑大學(xué);2015年

2 白云;基于粒子群優(yōu)化算法的復(fù)雜網(wǎng)絡(luò)社區(qū)挖掘[D];西北農(nóng)林科技大學(xué);2015年

3 楊艷華;基于粒子群優(yōu)化支持向量機的網(wǎng)絡(luò)態(tài)勢預(yù)測模型研究[D];蘭州大學(xué);2015年

4 孟亞州;基于粒子群優(yōu)化OTSU的肺組織分割算法研究[D];寧夏大學(xué);2015年

5 鄭博;基于快速排序的多目標粒子群優(yōu)化算法的研究及應(yīng)用[D];鄭州大學(xué);2015年

6 米永強;非線性規(guī)劃問題的混合粒子群優(yōu)化算法研究[D];寧夏大學(xué);2015年

7 李建美;基于自適應(yīng)變異與文化框架的混沌粒子群優(yōu)化算法[D];陜西師范大學(xué);2015年

8 劉星;基于粒子群優(yōu)化算法的特征選擇方法研究[D];南京大學(xué);2015年

9 牛旭;動態(tài)粒子群優(yōu)化算法及其應(yīng)用[D];西安電子科技大學(xué);2014年

10 葉華;粒子群優(yōu)化算法研究[D];西安電子科技大學(xué);2014年

，

本文編號：1478232