本文關(guān)鍵詞：基于Spark平臺(tái)的K-means聚類算法改進(jìn)及并行化實(shí)現(xiàn)

  更多相關(guān)文章： K-means 聚類 Spark 并行化

【摘要】：針對K-means算法在數(shù)據(jù)聚類過程中初始值選取的隨機(jī)性問題,基于非均勻采樣原則對該算法進(jìn)行改進(jìn)。同時(shí),針對聚類算法并行化的需求,基于Spark平臺(tái)對改進(jìn)算法進(jìn)行了并行化實(shí)現(xiàn)。單機(jī)串行處理和集群并行化實(shí)驗(yàn)證明了該改進(jìn)算法在處理海量數(shù)據(jù)集時(shí)具有更高的準(zhǔn)確性和穩(wěn)定性,且在Spark平臺(tái)上的并行化實(shí)現(xiàn)具有良好的加速比和可擴(kuò)展性,從而表明該算法能在實(shí)際的海量數(shù)據(jù)處理中高效運(yùn)行。
【作者單位】： 浙江工業(yè)大學(xué)信息工程學(xué)院;
【關(guān)鍵詞】： K-means 聚類 Spark 并行化
【基金】：浙江省自然科學(xué)基金(No.LY13F010011) 浙江省科技廳重大專項(xiàng)(No.2014NM002)
【分類號(hào)】：TP311.13
【正文快照】： 1引言聚類是按照“物以類聚”的思想將數(shù)據(jù)集合分成若干類或簇,使得每個(gè)簇中的數(shù)據(jù)最大程度地相似,屬于一種無監(jiān)督的學(xué)習(xí)過程[1]。聚類分析是數(shù)據(jù)挖掘中的一種常見技術(shù),廣泛地應(yīng)用于市場營銷、商品推薦、顧客分類、模式識(shí)別、過程優(yōu)化、數(shù)據(jù)挖掘、信息安全、配方設(shè)計(jì)、空間分

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 吳正娟;職為梅;楊勇;范明;;并行化的粒子群技術(shù)[J];微計(jì)算機(jī)信息;2009年36期

2 齊書陽;;迎接并行化的明天[J];軟件世界;2009年06期

3 曹琳,楊學(xué)軍,金國華;兩種并行化機(jī)制的分析[J];計(jì)算機(jī)研究與發(fā)展;1993年09期

4 金國華，，陳福接;并行化技術(shù)與工具[J];計(jì)算機(jī)研究與發(fā)展;1996年07期

5 蔡立志,童維勤,廖文昭;序列拼裝程序的并行化研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2003年14期

6 王偉;潘建偉;;有限差分法的并行化計(jì)算實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2008年07期

7 程錦松;;迭代法的并行化[J];安徽大學(xué)學(xué)報(bào)(自然科學(xué)版);1997年03期

8 陳再高;王s

本文編號(hào)：577336