本文關(guān)鍵詞：基于聚類算法的大數(shù)據(jù)樣本集優(yōu)化的研究，由筆耕文化傳播整理發(fā)布。

【摘要】：大數(shù)據(jù)已成為繼云計算之后信息技術(shù)領(lǐng)域中研究熱點之一。如何有效的分析和處理這些呈爆炸式增長的數(shù)據(jù)并提取其中有價值的信息,是當(dāng)前亟待解決的問題。然而,現(xiàn)有的數(shù)據(jù)挖掘算法在處理如此巨量的數(shù)據(jù)信息時往往存在很大的局限性,不僅會消耗大量的物理資源,并且獲得挖掘結(jié)果的質(zhì)量也不高。針對這些問題,降低數(shù)據(jù)規(guī)模、對數(shù)據(jù)進行抽樣分析是解決該問題的有效途徑之一。當(dāng)數(shù)據(jù)增加到一定規(guī)模時,其中所蘊含的知識和模式并不是成指數(shù)增長,而是逐漸趨于平穩(wěn),所以如何通過抽樣算法在降低數(shù)據(jù)規(guī)模的同時保證原數(shù)據(jù)的分布特點,使更多的數(shù)據(jù)挖掘算法能夠應(yīng)用于大數(shù)據(jù)的分析處理,具有很重要的研究意義。本文首先對數(shù)據(jù)挖掘中抽樣算法的國內(nèi)外研究成果進行了匯總,通過對這些成果的深入研究,發(fā)現(xiàn)了當(dāng)前數(shù)據(jù)挖掘中抽樣算法的特性以及存在的問題。一方面,傳統(tǒng)的抽樣算法雖然能夠解決數(shù)據(jù)規(guī)模問題,但是當(dāng)數(shù)據(jù)集并不是均勻分布時,就可能導(dǎo)致抽樣效率低、樣本代表性差等問題。另一方面,也有很多數(shù)據(jù)挖掘算法是采取將抽樣算法融入自身的算法改進中來應(yīng)對大數(shù)據(jù)問題,然而這種算法改進只針對自身算法有效而不能適用于其他算法,存在一定的局限性。針對上述問題,本文提出了一種基于聚類算法的大數(shù)據(jù)抽樣算法BKMS。首先對大數(shù)據(jù)的聚類方法進行了分析,然后對聚類算法中的K-means算法進行深入研究,針對K-means算法對初始聚類中心敏感的缺陷提出了一種改進策略。通過計算每個候選點臨域內(nèi)所有數(shù)據(jù)點的重心作為初始聚類中心,旨在選取的每個初始聚類中心相距較遠避免算法陷入局部最優(yōu),使得聚類結(jié)果更加全面準確。同時引入MapReduce并行處理框架對算法進行實現(xiàn),使算法更快更高效。在此基礎(chǔ)上提出了抽樣算法BKMS,該算法基于改進的K-means算法將數(shù)據(jù)進行分類,并引入最優(yōu)樣本容量的確定方法,在大數(shù)據(jù)環(huán)境下,對每一類別的數(shù)據(jù)分別進行抽取,在降低問題規(guī)模的同時能夠保證數(shù)據(jù)信息的分布特點。最后對算法進行了驗證分析,實驗結(jié)果表明本文提出的抽樣方法能夠抽取到更具有代表性的樣本集,并且具有更少的運行時間。
【關(guān)鍵詞】：大數(shù)據(jù) 抽樣 K-means MapReduce
【學(xué)位授予單位】：長春工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.13
【目錄】：

• 摘要3-4
• ABSTRACT4-7
• 第一章 緒論7-11
• 1.1 研究背景及意義7-8
• 1.2 國內(nèi)外研究現(xiàn)狀8-9
• 1.3 論文主要研究工作及章節(jié)分配9-11
• 1.3.1 主要研究工作9-10
• 1.3.2 論文章節(jié)分配10-11
• 第二章 相關(guān)理論研究11-21
• 2.1 經(jīng)典抽樣體系11-14
• 2.1.1 抽樣的基本理論11-13
• 2.1.2 簡單隨機抽樣13
• 2.1.3 分層抽樣13
• 2.1.4 密度偏差抽樣13-14
• 2.2 抽樣算法在數(shù)據(jù)挖掘中的應(yīng)用14-15
• 2.3 經(jīng)典聚類算法15-18
• 2.3.1 聚類技術(shù)基本理論15-16
• 2.3.2 K-means算法16-17
• 2.3.3 DENCLUE算法17
• 2.3.4 EM算法17-18
• 2.4 大規(guī)模數(shù)據(jù)集聚類算法18-20
• 2.4.1 基于特征概括的方法18-19
• 2.4.2 基于抽樣的方法19-20
• 2.4.3 基于分布式平臺的算法20
• 2.5 本章小結(jié)20-21
• 第三章 基于聚類算法的樣本集提取算法BKMS21-29
• 3.1 算法架構(gòu)設(shè)計21-24
• 3.2 理論基礎(chǔ)24-25
• 3.3 算法描述25-27
• 3.3.1 算法思想25
• 3.3.2 算法過程25-27
• 3.4 算法分析27-28
• 3.5 本章小結(jié)28-29
• 第四章 實驗驗證及分析29-36
• 4.1 實驗環(huán)境29
• 4.2 實驗數(shù)據(jù)29
• 4.3 實驗結(jié)論及分析29-35
• 4.4 本章小結(jié)35-36
• 第五章 總結(jié)與展望36-37
• 5.1 本文工作總結(jié)36
• 5.2 下一步研究工作36-37
• 致謝37-38
• 參考文獻38-41
• 作者簡介41
• 攻讀碩士學(xué)位期間研究成果41

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 馮舜璽;;新書推薦:《算法分析導(dǎo)論》[J];計算機教育;2006年05期

2 張力,慕曉冬;計算機算法分析淺談[J];武警工程學(xué)院學(xué)報;2002年04期

3 馬安光;;飛彈問題的算法分析——2003年第10期題解[J];程序員;2003年12期

4 蘇運霖;;《算法分析導(dǎo)論》評介[J];計算機教育;2006年07期

5 朱力強;;培養(yǎng)學(xué)生創(chuàng)新思維與能力的算法分析案例[J];計算機與信息技術(shù);2007年11期

6 汪菊琴;;幾種常見特殊方陣的算法分析與實現(xiàn)[J];無錫職業(yè)技術(shù)學(xué)院學(xué)報;2009年05期

7 李涵;;“算法分析與設(shè)計”課程教學(xué)改革和實踐[J];中國電力教育;2010年16期

8 劉寧;管濤;;淺析案例教學(xué)法在算法分析與設(shè)計課程中的應(yīng)用[J];科技風(fēng);2011年07期

9 胡峰;王國胤;;“算法分析與設(shè)計”教學(xué)模式探索[J];當(dāng)代教育理論與實踐;2011年12期

10 趙娟;;淺析啟發(fā)式教學(xué)法在《算法分析與設(shè)計》課程中的應(yīng)用[J];福建電腦;2012年06期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 俞洋;田亞菲;;一種新的變步長LMS算法及其仿真[A];通信理論與信號處理新進展——2005年通信理論與信號處理年會論文集[C];2005年

2 周顥;劉振華;趙保華;;構(gòu)造型的D~2FA生成算法[A];中國通信學(xué)會通信軟件技術(shù)委員會2009年學(xué)術(shù)會議論文集[C];2009年

3 賴桃桃;馮少榮;張東站;;一種基于劃分和密度的快速聚類算法[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（一）[C];2008年

4 劉遠新;鄧飛其;羅艷輝;舒添慧;;ERP柔性平臺下物流運輸配送系統(tǒng)算法分析[A];第二十六屆中國控制會議論文集[C];2007年

5 王樹西;白碩;姜吉發(fā);;模式合一的“減首去尾”算法[A];第二屆全國學(xué)生計算語言學(xué)研討會論文集[C];2004年

6 王萬青;張曉輝;;改進的A~*算法的高效實現(xiàn)[A];2009全國測繪科技信息交流會暨首屆測繪博客征文頒獎?wù)撐募痆C];2009年

7 孫煥良;邱菲;劉俊嶺;朱葉麗;;IncSNN——一種基于密度的增量聚類算法[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2006年

8 韓建民;岑婷婷;于娟;;實現(xiàn)敏感屬性l-多樣性的l-MDAV算法[A];第二十七屆中國控制會議論文集[C];2008年

9 張悅;尤楓;趙瑞蓮;;利用蟻群算法實現(xiàn)基于程序結(jié)構(gòu)的主變元分析[A];第五屆中國測試學(xué)術(shù)會議論文集[C];2008年

10 王旭東;劉渝;鄧振淼;;正弦波頻率估計的修正Rife算法及其FPGA實現(xiàn)[A];全國第十屆信號與信息處理、第四屆DSP應(yīng)用技術(shù)聯(lián)合學(xué)術(shù)會議論文集[C];2006年

中國重要報紙全文數(shù)據(jù)庫 前1條

1 科文;VIXD算法分析Web異常[N];中國計算機報;2008年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 魏哲學(xué);樣本斷點距離問題的算法與復(fù)雜性研究[D];山東大學(xué);2015年

2 劉春明;基于增強學(xué)習(xí)和車輛動力學(xué)的高速公路自主駕駛研究[D];國防科學(xué)技術(shù)大學(xué);2014年

3 張敏霞;生物地理學(xué)優(yōu)化算法及其在應(yīng)急交通規(guī)劃中的應(yīng)用研究[D];浙江工業(yè)大學(xué);2015年

4 李紅;流程挖掘算法研究[D];云南大學(xué);2015年

5 盛歆漪;粒子群優(yōu)化算法及其應(yīng)用研究[D];江南大學(xué);2015年

6 黃磊;高動態(tài)環(huán)境捷聯(lián)慣導(dǎo)信號處理及高精度姿態(tài)速度算法研究[D];南京航空航天大學(xué);2015年

7 劉新旺;多核學(xué)習(xí)算法研究[D];國防科學(xué)技術(shù)大學(xué);2013年

8 于濱;城市公交系統(tǒng)模型與算法研究[D];大連理工大學(xué);2006年

9 曾國強;改進的極值優(yōu)化算法及其在組合優(yōu)化問題中的應(yīng)用研究[D];浙江大學(xué);2011年

10 肖永豪;蜂群算法及在圖像處理中的應(yīng)用研究[D];華南理工大學(xué);2011年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 黃廈;基于改進蟻群算法的柔性作業(yè)車間調(diào)度問題研究[D];昆明理工大學(xué);2015年

2 李平;基于Hadoop的信息爬取與輿情檢測算法研究[D];昆明理工大學(xué);2015年

3 趙官寶;基于位表的關(guān)聯(lián)規(guī)則挖掘算法研究[D];昆明理工大學(xué);2015年

4 殷文華;移動容遲網(wǎng)絡(luò)中基于社會感知的多播分發(fā)算法研究[D];內(nèi)蒙古大學(xué);2015年

5 徐翔燕;人工魚群優(yōu)化算法及其應(yīng)用研究[D];西南交通大學(xué);2015年

6 李德福;基于小世界模型的啟發(fā)式尋路算法研究[D];華中師范大學(xué);2015年

7 鄭海彬;一種面向MAPREDUCE的DATASHUFFLE的優(yōu)化方法[D];蘇州大學(xué);2015年

8 趙曉寒;輪換步長PSO算法及SMVSC參數(shù)優(yōu)化[D];沈陽理工大學(xué);2015年

9 安豐洋;基于無線網(wǎng)絡(luò)的廣播算法研究[D];曲阜師范大學(xué);2015年

10 李智明;基于改進FastICA算法的混合語音盲分離[D];上海交通大學(xué);2015年

  本文關(guān)鍵詞：基于聚類算法的大數(shù)據(jù)樣本集優(yōu)化的研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：301817