如今各行各業(yè)都步入了信息化的時代,信息傳播速度快、覆蓋面廣等特性給人們的生活、工作帶來了極大便利,但同時也成為了不法分子進行經(jīng)濟犯罪活動的利器。然而涉及犯罪案件的數(shù)據(jù)信息分散在不同企業(yè)、平臺或網(wǎng)絡,難以利用信息化時代帶來的信息關聯(lián)便利對犯罪人員進行打擊。本文旨在搭建一個能夠將分散在不同領域的經(jīng)濟偵查類信息資源進行整合,同時為經(jīng)濟犯罪類案件的深度挖掘和可視化分析提供數(shù)據(jù)支撐的非法集資數(shù)據(jù)集成與共享平臺。本文設計的非法集資數(shù)據(jù)集成與共享平臺收集了互聯(lián)網(wǎng)信息、社會信息、經(jīng)濟信息等多渠道信息資源,以抽取、轉換、加載數(shù)據(jù)為技術手段,將這些信息資源處理為符合數(shù)據(jù)分析要求的數(shù)據(jù)并加載到資源池內(nèi)用于提供數(shù)據(jù)共享服務。本文介紹了本人在平臺的構建過程中的主要工作。首先,本人參與了數(shù)據(jù)集成與共享平臺的需求分析及總體的設計工作。其次,本人獨立完成了資源管理模塊、數(shù)據(jù)接入模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)存儲模塊和數(shù)據(jù)共享模塊的數(shù)據(jù)庫設計;在設計與實現(xiàn)階段,本人獨立完成了資源管理模塊、數(shù)據(jù)接入模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)存儲模塊和數(shù)據(jù)共享模塊的設計與開發(fā);在測試階段,本人獨立修復了測試團隊提交的問題功能并進行回歸測試。最后,... 

【文章來源】：北京交通大學北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：89 頁

【學位級別】：碩士

【部分圖文】：

圖２－１數(shù)據(jù)倉庫的體系機構??Ｆｉｇｕｒｅ２－１?Ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?Ｄａｔａ?Ｗａｒｅｈｏｕｓｅ??

數(shù)據(jù)倉庫而不是各個數(shù)據(jù)源，這樣的訪問方式是直接對物理數(shù)據(jù)進行操作的［１６］，??因此數(shù)據(jù)倉庫的訪問效率很高并且數(shù)據(jù)倉庫內(nèi)的數(shù)據(jù)不會因數(shù)據(jù)源數(shù)據(jù)的改變而??改變。數(shù)據(jù)倉庫的體系結構如圖２－１所示。??￥?“結??詢?果??｝?ｆ??ｌｉｆ據(jù)倉庫一??數(shù)據(jù)源?數(shù)據(jù)源?數(shù)據(jù)源??圖２－１數(shù)據(jù)倉庫的體系機構??Ｆｉｇｕｒｅ２－１?Ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?Ｄａｔａ?Ｗａｒｅｈｏｕｓｅ??根據(jù)數(shù)據(jù)倉庫的體系結構，通過設計數(shù)據(jù)倉庫的數(shù)據(jù)模式、ＥＴＬ過程和數(shù)據(jù)??展示來設計和實現(xiàn)數(shù)據(jù)倉庫。??數(shù)據(jù)倉庫的數(shù)據(jù)模式是由表結構、視圖、分區(qū)對象和索引組成的［１７］，通過分析??和整合業(yè)務數(shù)據(jù)模型，根據(jù)數(shù)據(jù)間關聯(lián)關系將數(shù)據(jù)抽象為概念模型，其次根據(jù)概??念模型中的實體間聯(lián)系進行邏輯模型的設計，最后依據(jù)邏輯模型進行物理實現(xiàn)［１８］。??ＥＴＬ過程是從數(shù)據(jù)源中抽取數(shù)據(jù)，按需求對數(shù)據(jù)進行轉換并儲存到中央數(shù)據(jù)層??或者是臨時儲存區(qū)。ＥＴＬ過程是指數(shù)據(jù)倉庫首先獲取元數(shù)據(jù)，然后對數(shù)據(jù)制定轉??換步驟并執(zhí)行，最后將處理完成的數(shù)據(jù)持久化到數(shù)據(jù)倉庫當中［１９］。??數(shù)據(jù)倉庫主要通過多維分析來表現(xiàn)

非法集資數(shù)據(jù)集成與共享平臺的核心功能包括資源管理、數(shù)據(jù)接入、數(shù)據(jù)處??理、數(shù)據(jù)存儲和數(shù)據(jù)共享五個模塊。完成對數(shù)據(jù)從接入、處理到持久化到目標庫??并可對數(shù)據(jù)進行發(fā)布的過程。核心功能模塊圖如圖４－１所示。??非法集資數(shù)據(jù)集成與共享平臺????Ｉ?????Ｉ?＇?１?Ｉ?￣￣?Ｉ?￣１??資源管理｜?丨數(shù)據(jù)接入丨｜數(shù)據(jù)處理?ｊ數(shù)據(jù)存儲?｜數(shù)據(jù)共享??Ｉ?＿ＩＴ＿?￣ＩＺＥ＿?Ｉ??Ｉ?ｒ?ｒ￣￣ｉ?｜?＾?｜?ｆ?＾?ｔ?ｉｌｌ?ｒ￣￣ｉ??資數(shù)?文元數(shù)?處Ｉ?＿?數(shù)接??源?ｇ?資件?ｇ?據(jù)數(shù)理?２?數(shù)存數(shù)?ｇ?據(jù)?□??分５?、源模?ｇ?輸據(jù)轉ｇ?據(jù)儲據(jù)?２?接調??組鑾新版?Ｓ人導換罷？Ｉ設去ｆ?□用??管?５?達設?￡?定入定?ｇ?覽賈重公設統(tǒng)??理５Ｓ?ｓ?１５制?制｜?＆晉計??圖４－１核心功能模塊圖??Ｆｉｇｕｒｅ４－１?Ｍｏｄｕｌｅ?Ｄｉａｇｒａｍ?ｏｆ?Ｃｏｒｅ?Ｆｕｎｃｔｉｏｎ??２３??

【參考文獻】：
期刊論文
[1]面向商業(yè)銀行數(shù)據(jù)倉庫的數(shù)據(jù)質量管理關鍵技術研究[J]. 項郎.  數(shù)碼世界. 2018(02)
[2]基于ETL技術的不動產(chǎn)數(shù)據(jù)整合建庫方法[J]. 趙衛(wèi)平,郝永攀,李曉靜.  勘察科學技術. 2017(S1)
[3]一種ETL數(shù)據(jù)整合架構設計與實現(xiàn)[J]. 張同楊.  價值工程. 2016(31)
[4]基于大數(shù)據(jù)的反恐情報數(shù)據(jù)倉庫體系結構設計[J]. 瞿志凱,張婷.  情報雜志. 2016(02)
[5]數(shù)據(jù)倉庫與數(shù)據(jù)挖掘概論[J]. 孟勛.  信息技術與信息化. 2015(08)
[6]基于OLAP的教學質量分析系統(tǒng)設計與實現(xiàn)[J]. 閆朝升,李丹.  電子設計工程. 2015(14)
[7]充分運用ETL工具,構建完整的數(shù)據(jù)倉庫體系結構[J]. 潘敏.  科技創(chuàng)新與應用. 2015(17)
[8]Oracle數(shù)據(jù)倉庫解決方案應用技術探析[J]. 易明中.  電腦編程技巧與維護. 2015(07)
[9]大數(shù)據(jù)資源轉化中的數(shù)據(jù)ETL過程研究[J]. 李蕓.  計算機光盤軟件與應用. 2014(21)
[10]數(shù)據(jù)庫系統(tǒng)概論（第5版）[J]. 王珊,薩師煊.  中國大學教學. 2014(09)

碩士論文
[1]基于全科醫(yī)生績效考核的數(shù)據(jù)倉庫模型研究[D]. 陳俠李.山西醫(yī)科大學 2017
[2]基于Spark的分布式ETL研究與應用[D]. 解書亮.東華大學 2017



本文編號：3413914