隨著分布式存儲、分布式計算等相關(guān)技術(shù)的成熟,大數(shù)據(jù)產(chǎn)業(yè)也獲得了快速的發(fā)展,無論是政府和企業(yè)都看到了大數(shù)據(jù)中所孕育的巨大的價值,開始對過去眾多業(yè)務(wù)系統(tǒng)所累積的龐大的數(shù)據(jù)進行價值挖掘。但是傳統(tǒng)的數(shù)據(jù)管理模式與處理方式已經(jīng)無法滿足政府和企業(yè)對于海量異構(gòu)數(shù)據(jù)進行多元化管理、標準化治理、高質(zhì)量融合,并通過高質(zhì)量數(shù)據(jù)實現(xiàn)精準治理、快速決策的業(yè)務(wù)需求,而要讓這些海量數(shù)據(jù)釋放出其蘊含的強大力量,必須要保證這些數(shù)據(jù)的準確性、可靠性以及及時性,而要達成這一目標,如果沒有合適、高效的工具僅靠人力是難以完成的,因此我們有必要為用戶提供一套行之有效的工具來協(xié)助用戶進行數(shù)據(jù)治理。本文的目的就是為了建設(shè)一套這樣的數(shù)據(jù)治理系統(tǒng),通過該系統(tǒng)一方面讓用戶能夠?qū)Χ嘣串悩?gòu)數(shù)據(jù)進行多維組織、統(tǒng)一管理、快速檢索;同時能夠建立一套統(tǒng)一的數(shù)據(jù)標準與數(shù)據(jù)治理流程,能夠持續(xù)地對數(shù)據(jù)進行檢測處理,保證數(shù)據(jù)精確,為后續(xù)的業(yè)務(wù)決策提供高價值的土壤。本文首先對國內(nèi)大數(shù)據(jù)治理系統(tǒng)的市場規(guī)模和系統(tǒng)建設(shè)現(xiàn)狀等信息進行闡述,提出目前大數(shù)據(jù)治理系統(tǒng)所面臨的挑戰(zhàn),以及建設(shè)大數(shù)據(jù)治理系統(tǒng)的必要性和意義。其次,本文將分析大數(shù)據(jù)治理系統(tǒng)的用戶需求,包括功能需求和... 

【文章來源】：山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：83 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１大數(shù)據(jù)治理整體業(yè)務(wù)流程圖??從整體業(yè)務(wù)流程來看，數(shù)據(jù)資產(chǎn)管理對用戶所擁有的各種類型的數(shù)據(jù)源進??行注冊和編目，并通過內(nèi)部自建的監(jiān)控任務(wù)對數(shù)據(jù)進行檢測，讓用戶能夠理清??

?山東大學(xué)碩士學(xué)位論文???高一些，下面將從四個方面對本文所實現(xiàn)的大數(shù)據(jù)治理系統(tǒng)架構(gòu)進行詳細介紹。??３．２．１大數(shù)據(jù)治理系統(tǒng)功能架構(gòu)??根據(jù)系統(tǒng)整體需求以及架構(gòu)設(shè)計，系統(tǒng)整體功能性設(shè)計圖如圖３－１所示：２１］。??｜｜?ｕ?修復(fù)算法魏?｜?衛(wèi)繊■—?ｎ??Ｓ?ｉ?Ｈ?｜｜｜?３＾：１?ｍｍ?；，問觀據(jù)丨｜質(zhì)齡析報告１??＾￣￣??：?；???：?－—色??監(jiān)?Ｈ?｜?■；雄ｔｓ?��！?Ｓ?２?Ｔ?＼?－｜｜－??—?－■?…，?—?一￣＝?－?＿ｆＳ＿＾??曰志?數(shù)據(jù)源管理?；元數(shù)據(jù)管理?１數(shù)據(jù)資產(chǎn)統(tǒng)計?＿檢索?―寂限???８１＿＾理?ｌ?」；．．?■■?１??ｌ?乂?ｔａ??ｉ?—?????—Ｉ；?曰志??賺ｓｓ職存儲系統(tǒng)—關(guān)＿廳產(chǎn)？】賭蔽一卜大雛平臺■??—Ｉ?Ｉ?？?：?￣￣???．．．??—??￣￣￣？■？－｝；?．．?１．?：．?；?�。�???圖３－１大數(shù)據(jù)治理系統(tǒng)功能架構(gòu)圖??從該功能架構(gòu)圖上可以看到，本文所實現(xiàn)的大數(shù)據(jù)治理系統(tǒng)總體可劃分為??六大部分，每一部分的具體說明如下：??１、數(shù)據(jù)資產(chǎn)管理??（１）提供數(shù)據(jù)源配置、數(shù)據(jù)資產(chǎn)目錄管理和數(shù)據(jù)地圖管理功能。其中數(shù)據(jù)??源配置既可以注冊傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，又可以注冊大數(shù)據(jù)存儲系統(tǒng)。數(shù)據(jù)資??產(chǎn)目錄管理可為數(shù)據(jù)資產(chǎn)建立索引，方便用戶快速定位和檢索數(shù)據(jù)資產(chǎn)并進行??數(shù)據(jù)治理。數(shù)據(jù)地圖可將數(shù)據(jù)按主題和專題等維度進行邏輯組織，以便于從不??同的維度管理、查閱數(shù)據(jù)。??（２）提供元數(shù)據(jù)管理功能，對元數(shù)據(jù)進行自動獲娶維護�？勺詣拥馗鶕�(jù)??用戶配置的獲

?山東大學(xué)碩士學(xué)位論文???資源管理主要是對系統(tǒng)的菜單，按鈕以及其他資源進行增刪改等操作。日志管??理對所有的用戶操作行為進行記錄并提供查詢，方便安全審計。??３．２．２大數(shù)據(jù)治理系統(tǒng)物理架構(gòu)??系統(tǒng)整體的物理架構(gòu)圖也是網(wǎng)絡(luò)拓撲圖如圖３－２所示。??；；ＭＭ??｜?丨＿，，—門Ｓｆｌ??＿！?．．．．．．．．．．．?■??＊?１１１１１１１?＼?ｉ?＿?：國幽＾?—ｌ?＾??＃＝—？；?；｜?圍圓圍士?｜?Ｒｅｄｉｓ＾??！?＼ｗｍｔｍｗｊ?＼?ｉ??苔戶職?ｉ?Ａ??７?；??Ｎｇｍｘ?ｊ?－Ｗ－?ｒ－?ｙ－?ｇ；???Ｉ?？圓?！?ＬｉｔＨ?隻ｆ．ｊ??辦??！??圖３－２大數(shù)據(jù)治理系統(tǒng)物理架構(gòu)圖??在該網(wǎng)絡(luò)拓撲架構(gòu)圖中，大數(shù)據(jù)治理系統(tǒng)主體為虛線圈住的部分，其中包??括數(shù)據(jù)標準服務(wù)、數(shù)據(jù)質(zhì)量服務(wù)、數(shù)據(jù)資產(chǎn)服務(wù)和數(shù)據(jù)修復(fù)服務(wù)四個核心服務(wù)，??以及權(quán)限認證中心、系統(tǒng)管理服務(wù)和任務(wù)調(diào)度服務(wù)三個基礎(chǔ)服務(wù)，Ｚｉｍｌ網(wǎng)關(guān)服??務(wù)和注冊中心使用ＳｐｒｉｎｇＣＬｏｕｄ通用解決方案。其他的Ｎｇｉｎｘ、存儲集群、計??算集群以及Ｒｅｄｉｓ服務(wù)器均采用各自項目統(tǒng)一的資源池，由項目統(tǒng)一管理。??系統(tǒng)中的所有服務(wù)均采用多節(jié)點部署模式，避免出現(xiàn)單點故障，根據(jù)系統(tǒng)??業(yè)務(wù)量、數(shù)據(jù)量以及訪問量的增長，各服務(wù)可線性擴展，滿足業(yè)務(wù)增長需要；??所使用的服務(wù)器資源可根據(jù)負載情況進行自動調(diào)配，使相關(guān)硬件資源達到最優(yōu)??使用率。??從邏輯上看，大數(shù)據(jù)治理系統(tǒng)整體可劃分為接入層、權(quán)限中心、業(yè)務(wù)服務(wù)、??調(diào)度中心和存儲層五大部分。其中接入層包含兩大部分，一是反向代理Ｎｇｉｎｘ，??它對所有用戶交互請求進行負載均衡；二


本文編號：3521160