發(fā)布時間：2022-02-18 13:59

　　在大數(shù)據(jù)時代,基于不同業(yè)務(wù)數(shù)據(jù)開發(fā)新的應(yīng)用程序已成為企業(yè)信息化建設(shè)的重點。但是,隨之產(chǎn)生的諸多數(shù)據(jù)問題會導(dǎo)致應(yīng)用程序無法高效且準(zhǔn)確地滿足實際業(yè)務(wù)需求,甚至影響整個企業(yè)數(shù)據(jù)平臺的建設(shè)。因此,為解決以上數(shù)據(jù)問題,數(shù)據(jù)治理的相關(guān)技術(shù)研究逐漸受到各大企業(yè)的重視,同時也涌現(xiàn)出許多數(shù)據(jù)治理方向的系統(tǒng)產(chǎn)品。但是目前已有的數(shù)據(jù)治理系統(tǒng)具有以下缺點:1)缺乏統(tǒng)一的數(shù)據(jù)治理標(biāo)準(zhǔn)化流程。2)缺少對大規(guī)模數(shù)據(jù)的多維度展示和建模;3)管理范圍狹窄,需要與特定系統(tǒng)對接,且流程復(fù)雜,需要大量人工輔助操作環(huán)節(jié)。為完善這些缺點,本課題圍繞“基于Hadoop的數(shù)據(jù)治理系統(tǒng)的設(shè)計與實現(xiàn)”,結(jié)合國內(nèi)外最新研究內(nèi)容,確定本課題主要研究內(nèi)容如下:（1）設(shè)計實現(xiàn)基于Hadoop的數(shù)據(jù)管理標(biāo)準(zhǔn)化流程子系統(tǒng),形成一套對特定結(jié)構(gòu)數(shù)據(jù)完整的數(shù)據(jù)治理操作流程,保證治理步驟執(zhí)行的完整性。（2）在保證數(shù)據(jù)管理流程標(biāo)準(zhǔn)的基礎(chǔ)上,擴(kuò)展系統(tǒng)適用場景,以開源元數(shù)據(jù)管理工具Apache Atlas為基礎(chǔ)搭建多源元數(shù)據(jù)統(tǒng)一管理子系統(tǒng),形成對大數(shù)據(jù)處理平臺元數(shù)據(jù)信息的統(tǒng)一監(jiān)管和維護(hù)。（3）設(shè)計實現(xiàn)基于Kylin的多維數(shù)據(jù)建模子系統(tǒng)。以數(shù)據(jù)管理標(biāo)準(zhǔn)化流程子系統(tǒng)... 

【文章來源】：北京郵電大學(xué)北京市211工程院校教育部直屬院校

【文章頁數(shù)】：79 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景和意義
        1.1.1 研究背景
        1.1.2 研究意義
    1.2 研究現(xiàn)狀
        1.2.1 數(shù)據(jù)治理理論研究
        1.2.2 數(shù)據(jù)治理產(chǎn)品概述
        1.2.3 研究中存在的問題
    1.3 本文主要研究內(nèi)容
    1.4 碩士在讀期間主要完成工作
    1.5 本文組織結(jié)構(gòu)
第二章 數(shù)據(jù)治理相關(guān)技術(shù)和方案研究
    2.1 數(shù)據(jù)治理概念及體系設(shè)計
        2.1.1 數(shù)據(jù)治理概念研究
        2.1.2 數(shù)據(jù)治理統(tǒng)一流程模型
        2.1.3 海量數(shù)據(jù)治理技術(shù)選型
        2.1.4 本課題研究內(nèi)容小結(jié)
    2.2 元數(shù)據(jù)管理方案研究
        2.2.1 元數(shù)據(jù)管理意義
        2.2.2 現(xiàn)有管理工具調(diào)研
        2.2.3 開源元數(shù)據(jù)管理工具——Apache Atlas
        2.2.4 本課題研究內(nèi)容小結(jié)
    2.3 多維度數(shù)據(jù)的建模方案研究
        2.3.1 多維建模與數(shù)據(jù)治理的關(guān)系
        2.3.2 現(xiàn)有建模方案調(diào)研
        2.3.3 本課題研究內(nèi)容小結(jié)
第三章 數(shù)據(jù)治理系統(tǒng)功能與架構(gòu)設(shè)計
    3.1 需求分析
        3.1.1 系統(tǒng)概述
        3.1.2 系統(tǒng)功能性需求描述
        3.1.3 系統(tǒng)非功能性需求描述
    3.2 系統(tǒng)功能及流程設(shè)計
        3.2.1 系統(tǒng)功能設(shè)計
        3.2.2 系統(tǒng)工作流程設(shè)計
    3.3 系統(tǒng)架構(gòu)設(shè)計
        3.3.1 整體架構(gòu)設(shè)計
        3.3.2 技術(shù)架構(gòu)設(shè)計
    3.4 數(shù)據(jù)庫接口設(shè)計
        3.4.1 數(shù)據(jù)管理標(biāo)準(zhǔn)化流程模塊
        3.4.2 多維數(shù)據(jù)建模模塊
        3.4.3 數(shù)據(jù)資產(chǎn)監(jiān)控模塊
第四章 數(shù)據(jù)治理系統(tǒng)核心模塊設(shè)計與實現(xiàn)
    4.1 數(shù)據(jù)管理標(biāo)準(zhǔn)化流程子系統(tǒng)設(shè)計與實現(xiàn)
        4.1.1 數(shù)據(jù)治理信息管理和數(shù)據(jù)源選擇模塊設(shè)計與實現(xiàn)
        4.1.2 數(shù)據(jù)預(yù)覽與單源元數(shù)據(jù)管理模塊設(shè)計與實現(xiàn)
        4.1.3 數(shù)據(jù)質(zhì)量管理模塊設(shè)計與實現(xiàn)
        4.1.4 多源數(shù)據(jù)融合模塊設(shè)計與實現(xiàn)
    4.2 多源元數(shù)據(jù)統(tǒng)一管理子系統(tǒng)設(shè)計與實現(xiàn)
        4.2.1 多源元數(shù)據(jù)統(tǒng)一管理方案
        4.2.2 基于Atlas的技術(shù)架構(gòu)設(shè)計與實現(xiàn)
    4.3 多維數(shù)據(jù)建模子系統(tǒng)設(shè)計與實現(xiàn)
        4.3.1 系統(tǒng)功能架構(gòu)設(shè)計
        4.3.2 核心模塊實現(xiàn)方案
    4.4 全局?jǐn)?shù)據(jù)資產(chǎn)監(jiān)控子系統(tǒng)設(shè)計與實現(xiàn)
        4.4.1 系統(tǒng)架構(gòu)設(shè)計
        4.4.2 具體實現(xiàn)方案
第五章 數(shù)據(jù)治理系統(tǒng)應(yīng)用與測試
    5.1 數(shù)據(jù)治理系統(tǒng)應(yīng)用說明
    5.2 系統(tǒng)功能測試
    5.3 系統(tǒng)性能測試
        5.3.1 系統(tǒng)模塊通用測試方案
        5.3.2 多源數(shù)據(jù)融合模塊測試方案
第六章 結(jié)論
    6.1 論文工作總結(jié)
    6.2 進(jìn)一步工作
參考文獻(xiàn)
致謝
攻讀學(xué)位期間取得的研究成果


【參考文獻(xiàn)】：
期刊論文
[1]面向數(shù)據(jù)開放的地方政府?dāng)?shù)據(jù)治理:問題與路徑[J]. 王翔,鄭磊.  電子政務(wù). 2019(02)
[2]我國開放政府?dāng)?shù)據(jù)“臟數(shù)據(jù)”問題研究及應(yīng)對——地方政府?dāng)?shù)據(jù)平臺數(shù)據(jù)質(zhì)量調(diào)查與分析[J]. 翟軍,李曉彤,苗珍珍,李劍鋒.  圖書館. 2019(01)
[3]醫(yī)療數(shù)據(jù)治理——構(gòu)建高質(zhì)量醫(yī)療大數(shù)據(jù)智能分析數(shù)據(jù)基礎(chǔ)[J]. 阮彤,邱加輝,張知行,葉琪.  大數(shù)據(jù). 2019(01)
[4]企業(yè)數(shù)據(jù)資產(chǎn)治理與管理[J]. 韓旭,曹增義,王昭陽.  電子世界. 2018(23)
[5]企業(yè)信息化元數(shù)據(jù)管理方法研究[J]. 謝慶慶.  中國信息化. 2018(04)
[6]從數(shù)據(jù)管理走向數(shù)據(jù)治理——大數(shù)據(jù)環(huán)境下圖書館職能的轉(zhuǎn)變[J]. 任亞忠.  四川圖書館學(xué)報. 2017(04)
[7]大數(shù)據(jù)治理的概念與要素探析[J]. 鄭大慶,范穎捷,潘蓉,蔡會明.  科技管理研究. 2017(15)
[8]云端數(shù)據(jù)治理定義解析[J]. 程廣明,李堯,劉小茵.  科技創(chuàng)新導(dǎo)報. 2017(16)
[9]數(shù)據(jù)治理研究述評[J]. 張寧,袁勤儉.  情報雜志. 2017(05)
[10]開源大數(shù)據(jù)治理與安全軟件綜述[J]. 王文杰,胡柏青,劉馳.  信息網(wǎng)絡(luò)安全. 2017(05)

碩士論文
[1]遠(yuǎn)程健康監(jiān)護(hù)大數(shù)據(jù)質(zhì)量優(yōu)化控制方法研究[D]. 陳東.廣東工業(yè)大學(xué) 2018
[2]基于數(shù)據(jù)倉庫的社保統(tǒng)計分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 唐磊.電子科技大學(xué) 2018
[3]傳媒大數(shù)據(jù)多維數(shù)據(jù)分析系統(tǒng)的設(shè)計與實現(xiàn)[D]. 陳佳文.大連理工大學(xué) 2018
[4]H電力公司大數(shù)據(jù)治理體系構(gòu)建及實施研究[D]. 劉潔麗.電子科技大學(xué) 2017



本文編號：3630963