隨著我們的社會邁入大數據時代,社會中的數據呈現指數級增長,根據國際數據公司（IDC）的發(fā)布的數據統(tǒng)計白皮書,在2016年全球大約產生了16.1ZB數據。報告指出到了2025年,全球數據量將達到163ZB。在這個高度信息化的社會,數據作為一種重要的戰(zhàn)略資產,對組織領導決策的制定有著至關重要的影響。在這海量增長的數據中,夾雜著各式各樣的問題數據。由于低質量的數據做出的錯誤決策,每年都會給組織造成難以衡量的損失。數據質量問題已經成為現代社會各個組織必須要面臨解決的問題。信息化組織需要一種能夠對系統(tǒng)每年增長的大量數據進行檢測的管理系統(tǒng)。本課題設計的系統(tǒng)中,包含數據模型解析管理、檢測模型管理、調度任務管理、數據資產管理、訂閱監(jiān)控管理、可視化展示六大模塊。數據模型解析管理,可以幫助用戶將模型中的數據字段解析出來,與云平臺中的字段進行匹配,為模型設置準備字段。檢測模型管理模塊,讓用戶創(chuàng)建符合業(yè)務邏輯的檢測模型。調度任務管理模塊,讓用戶能夠控制模型的執(zhí)行時間。數據資產管理,讓用戶可以注冊自己需要管理的數據。訂閱監(jiān)控管理模塊,使用戶能夠對檢測結果進行監(jiān)控。在本系統(tǒng)利用Spring Boot作為系統(tǒng)的框架... 

【文章來源】：大連理工大學遼寧省 211工程院校 985工程院校 教育部直屬院校

【文章頁數】：76 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景與意義
    1.2 國內外研究概況
    1.3 論文的主要研究內容
    1.4 論文的主要結構
2 相關技術研究
    2.1 數據質量管理
        2.1.1 數據質量管理概述
        2.1.2 數據質量管理流程
        2.1.3 數據質量的評價體系
        2.1.4 數據質量可視化管理
    2.2 WEB技術
        2.2.1 MVC模式
        2.2.2 SpringBoot開發(fā)框架
        2.2.3 Quartz調度管理框架
    2.3 分布式大數據技術
        2.3.1 Spark概述
        2.3.2 Livy概述
    2.4 本章小結
3 數據質量系統(tǒng)的需求分析
    3.1 目標用戶分析
    3.2 系統(tǒng)功能需求分析
        3.2.1 數據模型解析功能
        3.2.2 數據質量檢測功能
        3.2.3 調度任務管理功能
        3.2.4 信息可視化展示功能
        3.2.5 數據資產注冊功能
        3.2.6 訂閱監(jiān)控功能
    3.3 系統(tǒng)非功能性需求
    3.4 本章小結
4 數據質量系統(tǒng)的設計
    4.1 系統(tǒng)概要設計
        4.1.1 系統(tǒng)總體框架
        4.1.2 數據質量管理系統(tǒng)技術體系
        4.1.3 數據質量管理平臺功能架構
        4.1.4 數據質量管理平臺主業(yè)務流程
    4.2 系統(tǒng)詳細設計
        4.2.1 數據模型解析模塊
        4.2.2 檢測模型模塊
        4.2.3 調度任務模塊
        4.2.4 信息可視化模塊
        4.2.5 數據資產管理模塊
        4.2.6 訂閱監(jiān)控模塊
    4.3 數據庫設計
        4.3.1 概述
        4.3.2 關鍵表設計
    4.4 本章小結
5 數據質量系統(tǒng)的實現
    5.1 系統(tǒng)實現的軟硬件環(huán)境
    5.2 系統(tǒng)實現的邏輯分層
    5.3 檢測模型管理模塊的實現
    5.4 調度任務管理模塊的實現
    5.5 可視化管理模塊的實現
    5.6 本章小結
6 系統(tǒng)測試
    6.1 系統(tǒng)運行環(huán)境
    6.2 系統(tǒng)功能測試
    6.3 本章小結
結論
參考文獻
致謝


【參考文獻】：
期刊論文
[1]國內外數據治理研究進展:內涵、要素、模型與框架[J]. 劉桂鋒,錢錦琳,盧章平.  圖書情報工作. 2017(21)
[2]大數據環(huán)境下的數據質量管理策略[J]. 劉金晶,曹文潔.  軟件導刊. 2017(03)
[3]Spring Boot研究和應用[J]. 王永和,張勁松,鄧安明,周智勛.  信息通信. 2016(10)
[4]面向實體識別的聚類算法[J]. 孫琛琛,申德榮,寇月,聶鐵錚,于戈.  軟件學報. 2016(09)
[5]關聯數據質量評價方法研究述評[J]. 趙文軒,李春旺.  情報理論與實踐. 2016(02)
[6]大數據質量管理:問題與研究進展[J]. 王宏志.  科技導報. 2014(34)
[7]電網調度數據資源的主數據管理[J]. 羅洪,嚴偉峰,楊世兵.  云南大學學報(自然科學版). 2013(S2)
[8]基于DMAIC流程改進數據質量[J]. 商廣娟.  質量與可靠性. 2009(06)
[9]信息系統(tǒng)建設中的數據質量管理體系研究[J]. 谷斌.  情報雜志. 2007(05)
[10]信息系統(tǒng)中的數據質量評價方法研究[J]. 向上.  現代情報. 2007(03)

博士論文
[1]實體識別關鍵技術的研究[D]. 黎玲利.哈爾濱工業(yè)大學 2015

碩士論文
[1]基于Spark的情報大數據可視化分析[D]. 李筱川.山東大學 2017
[2]基于MES的質量管理系統(tǒng)數據可視化研究[D]. 宋宇.東南大學 2017
[3]數據中心的數據質量管理工具設計與實現[D]. 劉中超.華中科技大學 2013



本文編號：3503065