大數(shù)據(jù)聚類分析是目前大數(shù)據(jù)處理中的非常重要的一環(huán),聚類分析就是把屬性相似的數(shù)據(jù)元素分到一起,不相似的盡可能分開。同一種聚類算法處理不同數(shù)據(jù)集的效果可能是不盡相同的,有的甚至差別很大。目前有很多關(guān)于聚類算法的改進(jìn)或者并行化的研究,但是針對(duì)某一數(shù)據(jù)集的聚類算法選擇或者k值選擇的問題,研究的相對(duì)較少。本文主要研究針對(duì)某一數(shù)據(jù)集的最優(yōu)聚類算法和最佳聚類數(shù)目,數(shù)據(jù)集可以是普通數(shù)據(jù)集和大數(shù)據(jù)集。關(guān)于普通數(shù)據(jù)集的算法選擇問題,需要先對(duì)部分經(jīng)典聚類算法進(jìn)行綜合比較分析,分別包括基于劃分、層次、密度以及模型的聚類算法等;本文選擇多種聚類外部評(píng)價(jià)指標(biāo)對(duì)算法質(zhì)量進(jìn)行驗(yàn)證,將這些評(píng)價(jià)數(shù)據(jù)組成決策矩陣,并用多準(zhǔn)則決策模型處理矩陣。對(duì)于聚類算法的k值選擇,文章選取部分內(nèi)部有效性評(píng)價(jià)指標(biāo),然后選取不同的k值組成決策矩陣,使用多準(zhǔn)則決策模型處理矩陣。要構(gòu)建模糊多準(zhǔn)則決策模型,首先要確定多種不同的權(quán)重確定法,主要包括主觀、客觀和綜合權(quán)重確定方法;另外還有模糊數(shù)中的語言術(shù)語集和直覺模糊集,這些可以用來表示不確定信息;語言術(shù)語集可以針對(duì)聚類算法的具體特點(diǎn)賦予不同的評(píng)價(jià)值,組成主觀權(quán)重。還有目前較為流行的多準(zhǔn)則決策方法,比如... 

【文章來源】：齊魯工業(yè)大學(xué)山東省

【文章頁數(shù)】：69 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景
    1.2 研究目的及意義
    1.3 研究現(xiàn)狀
        1.3.1 聚類算法和評(píng)價(jià)研究現(xiàn)狀
        1.3.2 模糊多準(zhǔn)則決策的研究現(xiàn)狀
    1.4 創(chuàng)新點(diǎn)和技術(shù)方案分析
        1.4.1 主要?jiǎng)?chuàng)新點(diǎn)及研究內(nèi)容
        1.4.2 技術(shù)方案分析
第2章 聚類分析相關(guān)理論
    2.1 聚類分析的概念
        2.1.1 聚類算法的概念
        2.1.2 大數(shù)據(jù)的相關(guān)概念
    2.2 聚類算法的分類
    2.3 聚類算法比較分析
    2.4 聚類有效性評(píng)價(jià)方法
        2.4.1 外部有效性評(píng)價(jià)
        2.4.2 內(nèi)部有效性評(píng)價(jià)
    2.5 本章總結(jié)
第3章 模糊多準(zhǔn)則決策方法
    3.1 多準(zhǔn)則決策的概念
    3.2 模糊集的概念
    3.3 MSM算子簡(jiǎn)介
        3.3.1 MSM算子
        3.3.2 加權(quán)MSM算子
        3.3.3 直覺模糊加權(quán)MSM算子
    3.4 權(quán)重計(jì)算方法
        3.4.1 客觀權(quán)重計(jì)算
        3.4.2 主觀權(quán)重計(jì)算
        3.4.3 綜合權(quán)重計(jì)算
    3.5 多準(zhǔn)則決策模型
    3.6 本章總結(jié)
第4章 基于模糊多準(zhǔn)則決策的最優(yōu)聚類選擇方法
    4.1 最優(yōu)聚類選擇模型
    4.2 模糊多準(zhǔn)則決策
        4.2.1 多準(zhǔn)則決策模塊
        4.2.2 模糊數(shù)的轉(zhuǎn)換
        4.2.3 語言術(shù)語模塊
    4.3 最優(yōu)聚類和K值選擇方法
        4.3.1 最優(yōu)聚類選擇方法
        4.3.2 K值選擇方法
    4.4 實(shí)驗(yàn)結(jié)果與分析
        4.4.1 最優(yōu)聚類算法選擇
        4.4.2 最優(yōu)聚類k值選擇
    4.5 本章總結(jié)
第5章 基于模糊多準(zhǔn)則決策的大數(shù)據(jù)聚類算法比較研究
    5.1 基于大數(shù)據(jù)平臺(tái)的k-means算法改進(jìn)
        5.1.1 Spark大數(shù)據(jù)平臺(tái)簡(jiǎn)介
        5.1.2 改進(jìn)的k-means算法及其并行化
    5.2 基于模糊多準(zhǔn)則決策的算法比較方法
    5.3 實(shí)驗(yàn)結(jié)果與分析
        5.3.1 實(shí)驗(yàn)平臺(tái)搭建
        5.3.2 實(shí)驗(yàn)結(jié)果分析
        5.3.3 算法比較
    5.4 本章總結(jié)
第6章 總結(jié)與展望
參考文獻(xiàn)
致謝
在學(xué)期間主要科研成果
    一、發(fā)表學(xué)術(shù)論文
    二、申請(qǐng)發(fā)明專利
    三、參加項(xiàng)目


【參考文獻(xiàn)】：
期刊論文
[1]基于Spark的K-means改進(jìn)算法的并行化實(shí)現(xiàn)[J]. 宋董飛,徐華.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2018(04)
[2]基于猶豫模糊語言術(shù)語的供應(yīng)商多準(zhǔn)則群決策研究[J]. 彭建剛,夏光.  工業(yè)工程. 2018(01)
[3]基于數(shù)據(jù)特性的Spark任務(wù)性能優(yōu)化[J]. 柴寧,吳毅堅(jiān),趙文耘.  計(jì)算機(jī)應(yīng)用與軟件. 2018(01)
[4]K-means算法最佳聚類數(shù)評(píng)價(jià)指標(biāo)研究[J]. 郭靖,侯蘇.  軟件導(dǎo)刊. 2017(11)
[5]基于數(shù)據(jù)約減的聚類有效性分析[J]. 于曉,李晨,王亞茹.  傳感器與微系統(tǒng). 2017(03)
[6]一種基于聚類分析與熵權(quán)模糊評(píng)價(jià)的虛擬企業(yè)綜合決策算法研究[J]. 王妮,孫建民,李凱,于天彪,張?zhí)烊?  工業(yè)工程與管理. 2016(03)
[7]基于Spark框架的聚類算法研究[J]. 陳虹君.  電腦知識(shí)與技術(shù). 2015(04)
[8]基于網(wǎng)格最小生成樹的聚類算法選擇[J]. 李翔宇,王開軍,郭躬德.  模式識(shí)別與人工智能. 2013(01)
[9]基于屬性加權(quán)的改進(jìn)K-Means算法[J]. 陳東,皮德常.  電腦知識(shí)與技術(shù). 2009(09)
[10]組合賦權(quán)法新探[J]. 曾憲報(bào).  預(yù)測(cè). 1997(05)

博士論文
[1]基于多目標(biāo)決策的數(shù)據(jù)挖掘方法評(píng)估與應(yīng)用[D]. 鄔文帥.電子科技大學(xué) 2015
[2]基于多目標(biāo)決策的數(shù)據(jù)挖掘模型選擇研究[D]. 王國勛.電子科技大學(xué) 2013
[3]基于模糊多屬性決策的企業(yè)信息化水平評(píng)價(jià)方法與應(yīng)用研究[D]. 劉培德.北京交通大學(xué) 2010

碩士論文
[1]基于Spark的機(jī)器學(xué)習(xí)模型分析與研究[D]. 侯敬儒.昆明理工大學(xué) 2017
[2]基于Spark平臺(tái)的CURE算法并行化設(shè)計(jì)與應(yīng)用[D]. 邱榮財(cái).華南理工大學(xué) 2014



本文編號(hào)：3288876