本文關(guān)鍵詞： 大數(shù)據(jù) 抽取-轉(zhuǎn)換-加載 數(shù)據(jù)融合 數(shù)據(jù)倉庫 城市基礎(chǔ)設(shè)施管養(yǎng)　出處：《計算機應(yīng)用》2017年10期 　論文類型：期刊論文

【摘要】：針對運維大數(shù)據(jù)維度高、形式多樣化和變化迅速等特性,為提高數(shù)據(jù)融合效率以及平臺的數(shù)據(jù)統(tǒng)計和決策分析性能,降低抽取-轉(zhuǎn)換-加載(ETL)執(zhí)行時間開銷和數(shù)據(jù)中心負(fù)擔(dān),面向智慧管養(yǎng)需求提出一種多層次任務(wù)調(diào)度(MTS)ETL框架(MTS-ETL)。首先,將數(shù)據(jù)倉庫分為數(shù)據(jù)臨時區(qū)、數(shù)據(jù)倉儲區(qū)、數(shù)據(jù)分類區(qū)和數(shù)據(jù)分析區(qū),并根據(jù)所分區(qū)域?qū)⑼暾腅TL過程劃分為4個層次的ETL任務(wù)調(diào)度環(huán)節(jié),同時設(shè)計了多頻率ETL運行調(diào)度以及順序和非順序兩種ETL工作模式;接著,基于MTS-ETL框架的非順序工作模式進(jìn)行數(shù)據(jù)融合的概念建模、邏輯建模和物理建模;最后,利用Pentaho Data Integration設(shè)計ETL轉(zhuǎn)換模塊和工作模塊以實現(xiàn)數(shù)據(jù)融合方法。在交通流量數(shù)據(jù)融合實驗中,該方法融合136 754條數(shù)據(jù)的時間僅為28.4 s;在千量級的數(shù)據(jù)融合實驗中比傳統(tǒng)ETL方法的總平均執(zhí)行時間降低了6.51%;報表分析結(jié)果表明其在融合400萬條數(shù)據(jù)時依然能保證ETL過程的可靠性。所提方法能夠有效融合運維大數(shù)據(jù),提高平臺統(tǒng)計分析性能,并維持ETL執(zhí)行時間開銷在較低水平。
[Abstract]:In order to improve the efficiency of data fusion and the performance of data statistics and decision analysis, big data has the characteristics of high dimension, diversified forms and rapid change. Reduce the decimation-transform-load ETL) execution overhead and data center burden. To meet the requirement of intelligent management, a multi-level task scheduling framework (MTS-ETL) is proposed. Firstly, the data warehouse is divided into data temporary area and data storage area. The whole ETL process is divided into four levels of ETL task scheduling according to the data classification area and data analysis area. At the same time, the multi-frequency ETL scheduling and two ETL modes, sequential and non-sequential, are designed. Then, the concept modeling, logical modeling and physical modeling of data fusion are carried out based on the non-sequential work pattern of MTS-ETL framework. Finally, using Pentaho Data Integration to design ETL conversion module and work module to realize data fusion method. In traffic flow data fusion experiment. The time of fusion of 136 754 data by this method is only 28.4 s; In the data fusion experiment, the average execution time of the traditional ETL method is 6.51 less than that of the traditional ETL method. The results of report analysis show that the method can still ensure the reliability of ETL process when 4 million pieces of data are fused. The proposed method can effectively fuse the operation and maintenance big data and improve the performance of statistical analysis of the platform. And maintain ETL execution time at a lower level.
【作者單位】： 上海大學(xué)悉尼工商學(xué)院;上海大學(xué)—上海城建建筑產(chǎn)業(yè)化研究中心;
【基金】：上海市城鄉(xiāng)建設(shè)和交通委員會建管項目(2014-009-002) 上海市科委重點項目(13511504803) 上海市國資委重大科研項目(2014008)~~
【分類號】：TP311.13
【正文快照】： 0引言城市基礎(chǔ)設(shè)施管養(yǎng)是指充分利用信息化和大數(shù)據(jù)技術(shù)對城市道路、橋梁以及隧道等各類市政設(shè)施進(jìn)行智慧化管理和養(yǎng)護(hù),它涵蓋了交通建設(shè)運營、設(shè)施設(shè)備管理、項目資產(chǎn)巡檢以及養(yǎng)護(hù)合同收益等多項業(yè)務(wù)。隨著智慧城市建設(shè)的推進(jìn),城市基礎(chǔ)設(shè)施管養(yǎng)精細(xì)化的需求日漸突出,海量歷史

【相似文獻(xiàn)】

相關(guān)期刊論文 前5條

1 姜德峰;齊瑞瑞;;智慧城市基礎(chǔ)設(shè)施建設(shè)與評估[J];電視技術(shù);2013年14期

2 劉巖;;以項目為核心提升城市基礎(chǔ)設(shè)施建設(shè)信息化管理水平[J];數(shù)字技術(shù)與應(yīng)用;2011年02期

3 孫國慶;劉濤;;武漢市城市基礎(chǔ)設(shè)施管理信息系統(tǒng)的開發(fā)與應(yīng)用[J];測繪通報;2007年06期

4 劉志泉;;GIS城市基礎(chǔ)設(shè)施管理系統(tǒng)研究[J];基建管理優(yōu)化;2000年02期

5 黃進(jìn)堂,沈祺,杜豫川,孫立軍;基于WEB GIS的城市基礎(chǔ)設(shè)施管理信息系統(tǒng)[J];中國市政工程;2002年01期

相關(guān)碩士學(xué)位論文 前2條

1 奚志濤;浦東新區(qū)路橋運檢管理系統(tǒng)設(shè)計與實現(xiàn)[D];大連理工大學(xué);2016年

2 林靖;基于.Net的城市基礎(chǔ)設(shè)施投資管理系統(tǒng)的開發(fā)與研究[D];山東大學(xué);2012年

，

本文編號：1445137