隨著信息社會(huì)的不斷發(fā)展,信息系統(tǒng)中充斥著海量的、多結(jié)構(gòu)的、多維度的數(shù)據(jù)資源,大數(shù)據(jù)價(jià)值已被社會(huì)全面認(rèn)可,如何挖掘數(shù)據(jù)價(jià)值已成為各研究領(lǐng)域和各行業(yè)應(yīng)用領(lǐng)域最為關(guān)心的問題。數(shù)據(jù)究竟是垃圾還是寶藏,最重要的問題是所要分析挖掘的數(shù)據(jù)是否是高質(zhì)量的,一個(gè)低質(zhì)量的數(shù)據(jù)來源會(huì)使得不僅無法體現(xiàn)數(shù)據(jù)價(jià)值,而且可能會(huì)與實(shí)際情況背道而馳,反而起到了副作用。目前,國(guó)內(nèi)外研究機(jī)構(gòu)和學(xué)者針對(duì)數(shù)據(jù)質(zhì)量管理與檢測(cè)問題提出了多種方法論和框架,但在實(shí)際應(yīng)用當(dāng)中缺乏具體執(zhí)行手段,使得數(shù)據(jù)質(zhì)量管理實(shí)行起來困難重重。針對(duì)數(shù)據(jù)質(zhì)量管理、評(píng)估和檢測(cè)的關(guān)鍵問題,本文做了以下工作:（1）針對(duì)數(shù)據(jù)質(zhì)量管理問題,本文通過對(duì)目前國(guó)內(nèi)外主流數(shù)據(jù)管理方法和框架進(jìn)行了深入對(duì)比和分析,梳理出數(shù)據(jù)質(zhì)量管理的通用方法流程和指標(biāo)體系。提出了六項(xiàng)重要數(shù)據(jù)質(zhì)量指標(biāo)的度量方法,并提出了計(jì)算公式,為數(shù)據(jù)質(zhì)量管理和評(píng)估提供了有效指導(dǎo)。同時(shí),針對(duì)數(shù)據(jù)質(zhì)量管理的執(zhí)行情況提出了數(shù)據(jù)質(zhì)量成熟度模型,為數(shù)據(jù)質(zhì)量的整體評(píng)價(jià)提供了參考依據(jù)。（2）針對(duì)數(shù)據(jù)預(yù)處理問題,本文提出了一種數(shù)據(jù)離散化預(yù)處理算法。在大數(shù)據(jù)環(huán)境中,數(shù)據(jù)產(chǎn)生和更新頻率不斷加快,更多的數(shù)據(jù)是以連續(xù)方式進(jìn)入信息系統(tǒng)... 

【文章頁(yè)數(shù)】：118 頁(yè)

【學(xué)位級(jí)別】：博士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景
        1.1.1 大數(shù)據(jù)發(fā)展背景
        1.1.2 數(shù)據(jù)質(zhì)量發(fā)展背景
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 國(guó)外研究現(xiàn)狀
        1.2.2 國(guó)內(nèi)研究現(xiàn)狀
    1.3 主要研究?jī)?nèi)容與創(chuàng)新點(diǎn)
        1.3.1 研究?jī)?nèi)容
        1.3.2 主要?jiǎng)?chuàng)新點(diǎn)
    1.4 論文組織結(jié)構(gòu)
第2章 大數(shù)據(jù)環(huán)境下數(shù)據(jù)質(zhì)量管理方法研究
    2.1 大數(shù)據(jù)概念及技術(shù)架構(gòu)
        2.1.1 大數(shù)據(jù)概念定義
        2.1.2 大數(shù)據(jù)技術(shù)架構(gòu)
    2.2 數(shù)據(jù)質(zhì)量管理方法學(xué)
        2.2.1 數(shù)據(jù)質(zhì)量管理和評(píng)價(jià)原則
        2.2.2 數(shù)據(jù)質(zhì)量管理驅(qū)動(dòng)策略
        2.2.3 數(shù)據(jù)質(zhì)量管理和評(píng)價(jià)方法論
        2.2.4 數(shù)據(jù)質(zhì)量評(píng)價(jià)維度
        2.2.5 數(shù)據(jù)質(zhì)量管理及評(píng)估方法比較分析
    2.3 數(shù)據(jù)質(zhì)量主要維度度量方法
    2.4 數(shù)據(jù)質(zhì)量成熟度模型
        2.4.1 成熟度等級(jí)分類
        2.4.2 模型的評(píng)估
    2.5 本章小結(jié)
第3章 數(shù)據(jù)離散化預(yù)處理算法研究
    3.1 數(shù)據(jù)離散化存在的問題
    3.2 粗糙集理論
    3.3 數(shù)據(jù)離散化處理算法
    3.4 改進(jìn)的數(shù)據(jù)離散化處理算法(ICACC)
    3.5 實(shí)驗(yàn)驗(yàn)證和結(jié)果分析
    3.6 本章小結(jié)
第4章 數(shù)據(jù)質(zhì)量檢測(cè)關(guān)鍵問題研究
    4.1 數(shù)據(jù)質(zhì)量差異性檢測(cè)方法(M-SPC方法)
        4.1.1 離群值檢測(cè)
        4.1.2 機(jī)器學(xué)習(xí)與深度學(xué)習(xí)
        4.1.3 統(tǒng)計(jì)過程控制
        4.1.4 M-SPC方法具體描述與實(shí)驗(yàn)驗(yàn)證
    4.2 數(shù)據(jù)質(zhì)量完整性檢測(cè)方法
        4.2.1 理論基礎(chǔ)
        4.2.2 方法概述
        4.2.3 方法流程
        4.2.4 測(cè)試結(jié)果
    4.3 本章小結(jié)
第5章 數(shù)據(jù)質(zhì)量評(píng)估關(guān)鍵問題研究
    5.1 問題分析和理論基礎(chǔ)
        5.1.1 問題分析
        5.1.2 理論基礎(chǔ)
    5.2 數(shù)據(jù)質(zhì)量有效性評(píng)估算法(MKS算法)
        5.2.1 加入MST方法的K-means算法
        5.2.2 MKS算法描述
        5.2.3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析
    5.3 本章小結(jié)
第6章 總結(jié)與展望
    6.1 論文總結(jié)
    6.2 研究展望
參考文獻(xiàn)
作者簡(jiǎn)介和攻讀博士期間學(xué)術(shù)成果
致謝


【參考文獻(xiàn)】：
期刊論文
[1]C4.5算法的研究及改進(jìn)[J]. 姜如霞,黃水源,段文影,余楚波.  南昌大學(xué)學(xué)報(bào)(理科版). 2019(01)
[2]改進(jìn)的C4.5算法的研究與應(yīng)用[J]. 趙建民,黃珊,王梅,劉澎.  計(jì)算機(jī)與數(shù)字工程. 2019(02)
[3]大數(shù)據(jù)在航空系統(tǒng)的研究現(xiàn)狀與發(fā)展趨勢(shì)[J]. 孔祥芬,蔡峻青,張利寒,唐杰,侯晨光.  航空學(xué)報(bào). 2018(12)
[4]基于粗糙集理論與CAIM準(zhǔn)則的C4.5改進(jìn)算法[J]. 于宏濤,賈宇波.  計(jì)算機(jī)系統(tǒng)應(yīng)用. 2018(07)
[5]通用數(shù)據(jù)質(zhì)量評(píng)估模型及本體實(shí)現(xiàn)[J]. 張曉冉,袁滿.  計(jì)算機(jī)研究與發(fā)展. 2018(06)
[6]基于遺傳算法和變精度粗糙集的離散化算法[J]. 張婧,曹峰,唐超.  華中師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(03)
[7]改進(jìn)SVM算法在引水明渠縱向離散系數(shù)優(yōu)化中分析[J]. 董天奧.  水利規(guī)劃與設(shè)計(jì). 2018(05)
[8]工業(yè)大數(shù)據(jù)技術(shù)綜述[J]. 王建民.  大數(shù)據(jù). 2017(06)
[9]基于用戶興趣變化的Slope One協(xié)同過濾推薦算法[J]. 黃皓璇,邢延.  工業(yè)控制計(jì)算機(jī). 2017(07)
[10]改進(jìn)加權(quán)Slope one協(xié)同過濾推薦算法研究[J]. 王潘潘,錢謙,王鋒.  傳感器與微系統(tǒng). 2017(07)

碩士論文
[1]基于變精度粗糙集理論的多屬性離散化方法研究[D]. 胡振華.華中科技大學(xué) 2019
[2]離散空間中的鄰域粗糙集模型[D]. 李浩.渤海大學(xué) 2017
[3]基于SVM和組合特征的分類算法研究[D]. 王玨.大連理工大學(xué) 2017
[4]基于聚類的加權(quán)Slope One推薦技術(shù)研究[D]. 杜倩.北京工業(yè)大學(xué) 2016
[5]基于局部近鄰Slope One與動(dòng)態(tài)專家的協(xié)同過濾推薦算法研究[D]. 李劍鋒.湖南大學(xué) 2016
[6]基于加權(quán)偏差表的Slopeone改進(jìn)算法研究[D]. 宋晗.云南大學(xué) 2013
[7]改進(jìn)的模糊C均值聚類與連續(xù)屬性離散化算法研究[D]. 李鑫.太原科技大學(xué) 2011
[8]基于信任模型的協(xié)同過濾推薦算法的研究[D]. 夏小伍.中國(guó)科學(xué)技術(shù)大學(xué) 2011
[9]離散化算法研究與應(yīng)用[D]. 王哲.大連理工大學(xué) 2009
[10]政府統(tǒng)計(jì)數(shù)據(jù)質(zhì)量及其管理研究[D]. 張芳.湖南大學(xué) 2004



本文編號(hào)：3720240