隨著我們的社會邁入大數(shù)據(jù)時代,社會中的數(shù)據(jù)呈現(xiàn)指數(shù)級增長,根據(jù)國際數(shù)據(jù)公司（IDC）的發(fā)布的數(shù)據(jù)統(tǒng)計白皮書,在2016年全球大約產(chǎn)生了16.1ZB數(shù)據(jù)。報告指出到了2025年,全球數(shù)據(jù)量將達到163ZB。在這個高度信息化的社會,數(shù)據(jù)作為一種重要的戰(zhàn)略資產(chǎn),對組織領導決策的制定有著至關重要的影響。在這海量增長的數(shù)據(jù)中,夾雜著各式各樣的問題數(shù)據(jù)。由于低質(zhì)量的數(shù)據(jù)做出的錯誤決策,每年都會給組織造成難以衡量的損失。數(shù)據(jù)質(zhì)量問題已經(jīng)成為現(xiàn)代社會各個組織必須要面臨解決的問題。信息化組織需要一種能夠?qū)ο到y(tǒng)每年增長的大量數(shù)據(jù)進行檢測的管理系統(tǒng)。本課題設計的系統(tǒng)中,包含數(shù)據(jù)模型解析管理、檢測模型管理、調(diào)度任務管理、數(shù)據(jù)資產(chǎn)管理、訂閱監(jiān)控管理、可視化展示六大模塊。數(shù)據(jù)模型解析管理,可以幫助用戶將模型中的數(shù)據(jù)字段解析出來,與云平臺中的字段進行匹配,為模型設置準備字段。檢測模型管理模塊,讓用戶創(chuàng)建符合業(yè)務邏輯的檢測模型。調(diào)度任務管理模塊,讓用戶能夠控制模型的執(zhí)行時間。數(shù)據(jù)資產(chǎn)管理,讓用戶可以注冊自己需要管理的數(shù)據(jù)。訂閱監(jiān)控管理模塊,使用戶能夠?qū)z測結(jié)果進行監(jiān)控。在本系統(tǒng)利用Spring Boot作為系統(tǒng)的框架... 

【文章來源】：大連理工大學遼寧省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：76 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景與意義
    1.2 國內(nèi)外研究概況
    1.3 論文的主要研究內(nèi)容
    1.4 論文的主要結(jié)構(gòu)
2 相關技術研究
    2.1 數(shù)據(jù)質(zhì)量管理
        2.1.1 數(shù)據(jù)質(zhì)量管理概述
        2.1.2 數(shù)據(jù)質(zhì)量管理流程
        2.1.3 數(shù)據(jù)質(zhì)量的評價體系
        2.1.4 數(shù)據(jù)質(zhì)量可視化管理
    2.2 WEB技術
        2.2.1 MVC模式
        2.2.2 SpringBoot開發(fā)框架
        2.2.3 Quartz調(diào)度管理框架
    2.3 分布式大數(shù)據(jù)技術
        2.3.1 Spark概述
        2.3.2 Livy概述
    2.4 本章小結(jié)
3 數(shù)據(jù)質(zhì)量系統(tǒng)的需求分析
    3.1 目標用戶分析
    3.2 系統(tǒng)功能需求分析
        3.2.1 數(shù)據(jù)模型解析功能
        3.2.2 數(shù)據(jù)質(zhì)量檢測功能
        3.2.3 調(diào)度任務管理功能
        3.2.4 信息可視化展示功能
        3.2.5 數(shù)據(jù)資產(chǎn)注冊功能
        3.2.6 訂閱監(jiān)控功能
    3.3 系統(tǒng)非功能性需求
    3.4 本章小結(jié)
4 數(shù)據(jù)質(zhì)量系統(tǒng)的設計
    4.1 系統(tǒng)概要設計
        4.1.1 系統(tǒng)總體框架
        4.1.2 數(shù)據(jù)質(zhì)量管理系統(tǒng)技術體系
        4.1.3 數(shù)據(jù)質(zhì)量管理平臺功能架構(gòu)
        4.1.4 數(shù)據(jù)質(zhì)量管理平臺主業(yè)務流程
    4.2 系統(tǒng)詳細設計
        4.2.1 數(shù)據(jù)模型解析模塊
        4.2.2 檢測模型模塊
        4.2.3 調(diào)度任務模塊
        4.2.4 信息可視化模塊
        4.2.5 數(shù)據(jù)資產(chǎn)管理模塊
        4.2.6 訂閱監(jiān)控模塊
    4.3 數(shù)據(jù)庫設計
        4.3.1 概述
        4.3.2 關鍵表設計
    4.4 本章小結(jié)
5 數(shù)據(jù)質(zhì)量系統(tǒng)的實現(xiàn)
    5.1 系統(tǒng)實現(xiàn)的軟硬件環(huán)境
    5.2 系統(tǒng)實現(xiàn)的邏輯分層
    5.3 檢測模型管理模塊的實現(xiàn)
    5.4 調(diào)度任務管理模塊的實現(xiàn)
    5.5 可視化管理模塊的實現(xiàn)
    5.6 本章小結(jié)
6 系統(tǒng)測試
    6.1 系統(tǒng)運行環(huán)境
    6.2 系統(tǒng)功能測試
    6.3 本章小結(jié)
結(jié)論
參考文獻
致謝


【參考文獻】：
期刊論文
[1]國內(nèi)外數(shù)據(jù)治理研究進展:內(nèi)涵、要素、模型與框架[J]. 劉桂鋒,錢錦琳,盧章平.  圖書情報工作. 2017(21)
[2]大數(shù)據(jù)環(huán)境下的數(shù)據(jù)質(zhì)量管理策略[J]. 劉金晶,曹文潔.  軟件導刊. 2017(03)
[3]Spring Boot研究和應用[J]. 王永和,張勁松,鄧安明,周智勛.  信息通信. 2016(10)
[4]面向?qū)嶓w識別的聚類算法[J]. 孫琛琛,申德榮,寇月,聶鐵錚,于戈.  軟件學報. 2016(09)
[5]關聯(lián)數(shù)據(jù)質(zhì)量評價方法研究述評[J]. 趙文軒,李春旺.  情報理論與實踐. 2016(02)
[6]大數(shù)據(jù)質(zhì)量管理:問題與研究進展[J]. 王宏志.  科技導報. 2014(34)
[7]電網(wǎng)調(diào)度數(shù)據(jù)資源的主數(shù)據(jù)管理[J]. 羅洪,嚴偉峰,楊世兵.  云南大學學報(自然科學版). 2013(S2)
[8]基于DMAIC流程改進數(shù)據(jù)質(zhì)量[J]. 商廣娟.  質(zhì)量與可靠性. 2009(06)
[9]信息系統(tǒng)建設中的數(shù)據(jù)質(zhì)量管理體系研究[J]. 谷斌.  情報雜志. 2007(05)
[10]信息系統(tǒng)中的數(shù)據(jù)質(zhì)量評價方法研究[J]. 向上.  現(xiàn)代情報. 2007(03)

博士論文
[1]實體識別關鍵技術的研究[D]. 黎玲利.哈爾濱工業(yè)大學 2015

碩士論文
[1]基于Spark的情報大數(shù)據(jù)可視化分析[D]. 李筱川.山東大學 2017
[2]基于MES的質(zhì)量管理系統(tǒng)數(shù)據(jù)可視化研究[D]. 宋宇.東南大學 2017
[3]數(shù)據(jù)中心的數(shù)據(jù)質(zhì)量管理工具設計與實現(xiàn)[D]. 劉中超.華中科技大學 2013



本文編號：3503065