隨著大數(shù)據(jù)時(shí)代的到來(lái),數(shù)據(jù)挖掘逐漸成為創(chuàng)新研究的熱點(diǎn)。數(shù)據(jù)挖掘,是在大數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)的潛在關(guān)系,從而實(shí)現(xiàn)價(jià)值評(píng)估和決策指導(dǎo)的技術(shù)。然而高質(zhì)量的決策評(píng)估很大程度上取決于高質(zhì)量的數(shù)據(jù),所以數(shù)據(jù)挖掘之前的預(yù)處理工作就顯得尤為重要。在實(shí)際應(yīng)用中,各種數(shù)據(jù)質(zhì)量問(wèn)題增加了預(yù)處理工作的難度,其中數(shù)據(jù)不完備問(wèn)題更是無(wú)法避免。本文主要研究預(yù)處理工作中數(shù)據(jù)不完備問(wèn)題的處理,主要的研究工作如下。1)針對(duì)數(shù)據(jù)不完備問(wèn)題的隨機(jī)缺失模式,本文提出了基于增量式AP聚類的K最近鄰的填補(bǔ)算法(IAPSKNNI)。首先分析數(shù)據(jù)不完備問(wèn)題的原因和常用的處理方法,進(jìn)而確定聚類填補(bǔ)的處理策略。根據(jù)動(dòng)態(tài)處理數(shù)據(jù)不完備問(wèn)題的需求,基于AP聚類的穩(wěn)定聚類表現(xiàn),使用增量式AP聚類動(dòng)態(tài)更新聚類結(jié)果,來(lái)充分利用數(shù)據(jù)的完備信息。同時(shí)改進(jìn)K最近鄰填補(bǔ)使其能在不設(shè)定K值的情況下,將填補(bǔ)值快速收斂。最后通過(guò)實(shí)驗(yàn)仿真,驗(yàn)證了 IAPSKNNI算法的良好的填補(bǔ)性能,當(dāng)缺失率越高,同類信息越少時(shí),相對(duì)于其他K最近鄰填補(bǔ)算法,能獲得更好的填補(bǔ)效果。2)基于IAPSKNNI算法,針對(duì)電商數(shù)據(jù),搭建了數(shù)據(jù)預(yù)處理的系統(tǒng)模塊。首先分析數(shù)據(jù)預(yù)處理工作的工作內(nèi)容,并...

【文章頁(yè)數(shù)】：78 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 國(guó)外研究現(xiàn)狀
        1.2.2 國(guó)內(nèi)研究現(xiàn)狀
    1.3 本文主要工作
    1.4 論文組織結(jié)構(gòu)
第二章 背景知識(shí)
    2.1 數(shù)據(jù)不完備問(wèn)題
        2.1.1 數(shù)據(jù)不完備問(wèn)題的原因
        2.1.2 數(shù)據(jù)不完備問(wèn)題的分類
        2.1.3 數(shù)據(jù)不完備問(wèn)題的處理
    2.2 聚類算法
        2.2.1 聚類算法的介紹
        2.2.2 聚類算法的分類
        2.2.3 相似性的確定
        2.2.4 類數(shù)目的確定
        2.2.5 聚類評(píng)估
    2.3 AP聚類
        2.3.1 AP聚類的算法描述
        2.3.2 AP聚類的算法分析
    2.4 增量式AP聚類
        2.4.1 增量學(xué)習(xí)
        2.4.2 增量式AP聚類算法
    2.5 K最近鄰填補(bǔ)
        2.5.1 K最近鄰填補(bǔ)的介紹
        2.5.2 K最近鄰填補(bǔ)的缺陷
    2.6 本章小結(jié)
第三章 基于增量式AP聚類的K最近鄰填補(bǔ)
    3.1 不完備數(shù)據(jù)的處理
        3.1.1 相似性度量
        3.1.2 算法設(shè)計(jì)
        3.1.3 增量式聚類
        3.1.4 自適應(yīng)K最近鄰填補(bǔ)
        3.1.5 算法流程
    3.2 實(shí)驗(yàn)仿真
        3.2.1 實(shí)驗(yàn)環(huán)境
        3.2.2 實(shí)驗(yàn)設(shè)計(jì)
        3.2.3 實(shí)驗(yàn)數(shù)據(jù)
        3.2.4 實(shí)驗(yàn)分析
        3.2.5 綜合分析
    3.3 本章小結(jié)
第四章 面向電商的數(shù)據(jù)預(yù)處理模塊設(shè)計(jì)與實(shí)現(xiàn)
    4.1 數(shù)據(jù)預(yù)處理
        4.1.1 數(shù)據(jù)預(yù)處理的必要性
        4.1.2 數(shù)據(jù)預(yù)處理的方法
        4.1.3 數(shù)據(jù)預(yù)處理的任務(wù)劃分
        4.1.4 面向電商數(shù)據(jù)的預(yù)處理
    4.2 模塊架構(gòu)設(shè)計(jì)
        4.2.1 需求分析
        4.2.2 功能框架
    4.3 模塊功能實(shí)現(xiàn)
        4.3.1 模塊架構(gòu)技術(shù)
        4.3.2 功能實(shí)現(xiàn)
        4.3.3 模塊展示
    4.4 本章小結(jié)
第五章 總結(jié)和展望
    5.1 本文工作總結(jié)
    5.2 進(jìn)一步工作展望
參考文獻(xiàn)
致謝



本文編號(hào)：3776301