天堂国产午夜亚洲专区-少妇人妻综合久久蜜臀-国产成人户外露出视频在线-国产91传媒一区二区三区

當(dāng)前位置:主頁 > 科技論文 > 軟件論文 >

面向大數(shù)據(jù)的聚類技術(shù)研究

發(fā)布時(shí)間:2021-06-22 08:07
  聚類技術(shù)是一種分組技術(shù),它將物理或抽象對(duì)象的集合分組為由同一類對(duì)象組成的多個(gè)集合,被廣泛應(yīng)用于各個(gè)領(lǐng)域,是數(shù)據(jù)挖掘、模式識(shí)別等研究領(lǐng)域的重要研究?jī)?nèi)容之一,在識(shí)別數(shù)據(jù)的內(nèi)在結(jié)構(gòu)方面具有極其重要的作用。隨著信息產(chǎn)業(yè)的發(fā)展,數(shù)據(jù)的屬性類型越來越復(fù)雜,然而傳統(tǒng)的K-means等聚類算法只能處理單一屬性數(shù)據(jù),K-prototypes聚類算法則能處理混合屬性數(shù)據(jù),極大地拓展了聚類算法的應(yīng)用領(lǐng)域,提高了聚類分析的效率。隨著大數(shù)據(jù)時(shí)代的到來,傳統(tǒng)的聚類方法已無法對(duì)大規(guī)模的數(shù)據(jù)進(jìn)行處理,因此將聚類技術(shù)與集群環(huán)境相結(jié)合,已成為處理海量數(shù)據(jù)的新趨勢(shì),能分析出大量有價(jià)值的信息。本文主要的工作內(nèi)容概括如下:(1)提出一種有效的GK-prototypes聚類算法。在經(jīng)典的K-prototypes聚類算法的基礎(chǔ)上,利用去模糊相似矩陣構(gòu)造粗粒子集、粒計(jì)算和最大最小距離法確定初始聚類中心,并修改了目標(biāo)函數(shù)。實(shí)驗(yàn)結(jié)果和理論分析表明,GK-prototypes聚類算法與其它基于K-prototypes的改進(jìn)算法比較,聚類效果更準(zhǔn)確,有效性更好,魯棒性更強(qiáng)。(2)提出了一種面向大數(shù)據(jù)的MK-prototypcs聚類算法。大數(shù)... 

【文章來源】:長沙理工大學(xué)湖南省

【文章頁數(shù)】:61 頁

【學(xué)位級(jí)別】:碩士

【部分圖文】:

面向大數(shù)據(jù)的聚類技術(shù)研究


圖2.1?K-means聚類算法流程圖??K-means聚類算法步驟如下所示:??輸入:聚類簇々,樣本集??

流程圖,聚類,聚類中心,算法


?第二章聚類算法與分布式系統(tǒng)架構(gòu)基礎(chǔ)???隨機(jī)選擇k個(gè)初始聚類中心???二二?…????Y???—??計(jì)第每個(gè)樣本點(diǎn)與初始聚類中心的相異度,將其??劃分到相異度最小的聚類中心所在聚類簇中??+?丨??更新聚類中心??no???示函數(shù)收^??備?yes??end??圖2.2?K-modes聚類算法流程圖??K-modes聚類算法步驟如下所示:??輸入:聚類族A’,樣本集X=/"x/,X2,??輸出:A:個(gè)簇?Ofc/.cz?...?,CAv*。??步驟:(1)隨機(jī)選抒A?個(gè)樣本點(diǎn)作為初始聚類中心{/h/,W2,?...?,即Modes;??(2)利用海明威距離i十算樣木集中剩余的(n-A:)個(gè)樣本點(diǎn)與各初始聚類中心之間??的相異度,并將每t樣本點(diǎn)分配到相異度最小的初始聚類中心所在的簇屮;??(3)更新聚類中心;陬l率來重新確定聚類中心的屬性取值,簇中出現(xiàn)頻率最??高的屬性值即為新的聚類屮心的城忡值;??(4)計(jì)算收斂函數(shù):??廠=?(2.12)??;-1?/=1??其中,vv,/e?{0,1},當(dāng)w,/=l時(shí),表示第/個(gè)樣本點(diǎn)劃分到第^個(gè)簇中。??(5)若|廠?-廠??,|“,返回迭代終止;否則,返M至步驟(2),繼??13??

過程圖,程序,溫度,過程


<2°18.[2^J^^^^^<2_.2r?>??2015.23?°??<201724°?>?X??/??2017.24°???<2016.[25°?]>^^recJuce?<^c2016.25">??2018.23°?1?<2015,21!??、^v?廣Z—、一*N?<2015.22°?>??<2016.25*?>?^^?reduce?^??v_-?^-/<2017J4,?>??<201S.23?>?<2015仞。.21。j>?—??<2017.[24°?p>??圖2.4?MapReduce程序計(jì)算每年的平均溫度示意圖??上圖2.4中詳細(xì)給出了分析2015-2018年的MapReduce程序分布式執(zhí)行的過程。首??先,map函數(shù)接收到了與年份和氣溫相關(guān)的數(shù)據(jù),并創(chuàng)建了<1?5;/,?valuelt,即<year,??temperature〉對(duì)。例如<2015,23°C>表示需要23°C來解決計(jì)算2015年平均氣溫的子問題。??然后,reduce函數(shù)從所有的map中接收一年的所有氣溫并計(jì)算其平均值。假設(shè)一個(gè)reduce??函數(shù)收到的數(shù)據(jù)為:在2015年有氣溫為23°C和21°C溫度,即<2015,[23°C,?2】°C]>,??那么這一年的平均溫度是22°C。??這個(gè)程序由一個(gè)框架執(zhí)行,該框架能自動(dòng)管理資源分配,在基礎(chǔ)設(shè)施出現(xiàn)故障時(shí)能??道新執(zhí)行程序的一部分,并能調(diào)度所有執(zhí)行。它所分析的數(shù)據(jù)可以存儲(chǔ)在多個(gè)分布式源??中,比如非關(guān)系數(shù)據(jù)庫(nonrelational?databases)和分布式文件系統(tǒng).(distributed?file??systems)?〇??對(duì)于開發(fā)人員和測(cè)試人員來說,要將所有這些技

【參考文獻(xiàn)】:
期刊論文
[1]一種改進(jìn)的K-Modes聚類算法[J]. 賈彬,梁毅,蘇航.  軟件導(dǎo)刊. 2019(06)
[2]采用機(jī)器學(xué)習(xí)的聚類模型特征選擇方法比較[J]. 趙瑋.  華僑大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(01)
[3]粒計(jì)算優(yōu)化初始聚類中心的K-medoids聚類算法[J]. 謝娟英,魯肖肖,屈亞楠,高紅超.  計(jì)算機(jī)科學(xué)與探索. 2015(05)
[4]基于粒計(jì)算的概念聚類算法[J]. 茍光磊,黃麗豐,倪偉.  重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)). 2013(06)
[5]面向大規(guī)模數(shù)據(jù)的快速并行聚類劃分算法研究[J]. 牛新征,佘堃.  計(jì)算機(jī)科學(xué). 2012(01)
[6]Notes on Rough Set Approximations and Associated Measures[J]. YAO Yiyu (Department of Computer Science,University of Regina,Regina,Saskatchewan,Canada S4S 0A2).  浙江海洋學(xué)院學(xué)報(bào)(自然科學(xué)版). 2010(05)
[7]基于K均值聚類分割彩色圖像算法的改進(jìn)[J]. 王易偱,趙勛杰.  計(jì)算機(jī)應(yīng)用與軟件. 2010(08)
[8]一種優(yōu)化初始中心點(diǎn)的K-means算法[J]. 汪中,劉貴全,陳恩紅.  模式識(shí)別與人工智能. 2009(02)
[9]密度敏感的譜聚類[J]. 王玲,薄列峰,焦李成.  電子學(xué)報(bào). 2007(08)
[10]初始化K-means的譜方法[J]. 錢線,黃萱菁,吳立德.  自動(dòng)化學(xué)報(bào). 2007(04)

博士論文
[1]高維數(shù)據(jù)的聚類方法研究與應(yīng)用[D]. 陳黎飛.廈門大學(xué) 2008

碩士論文
[1]基于Hadoop的并行K-prototypes聚類算法的研究與設(shè)計(jì)[D]. 李興.北京工業(yè)大學(xué) 2014
[2]大規(guī)模數(shù)據(jù)聚類技術(shù)研究與實(shí)現(xiàn)[D]. 錢彥江.電子科技大學(xué) 2009
[3]基于約束的聚類算法及其應(yīng)用研究[D]. 王小樂.國防科學(xué)技術(shù)大學(xué) 2008



本文編號(hào):3242485

資料下載
論文發(fā)表

本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3242485.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權(quán)申明:資料由用戶c1a92***提供,本站僅收錄摘要或目錄,作者需要?jiǎng)h除請(qǐng)E-mail郵箱bigeng88@qq.com