為適應(yīng)民用建筑"四節(jié)一環(huán)保"范圍廣、類型多、渠道不一等特點(diǎn),提出了四節(jié)一環(huán)保數(shù)據(jù)的概念模型與數(shù)據(jù)指標(biāo)管理模型。結(jié)合"四節(jié)一環(huán)保"分析應(yīng)用需求,構(gòu)建了基于Hadoop與MySQL的分布式大數(shù)據(jù)存儲服務(wù),設(shè)計(jì)實(shí)現(xiàn)了4層結(jié)構(gòu)的四節(jié)一環(huán)保數(shù)據(jù)倉庫。以住建部民用建筑"四節(jié)一環(huán)保"數(shù)據(jù)倉庫建設(shè)為例,開發(fā)了數(shù)據(jù)主題查詢、數(shù)據(jù)渠道查詢、數(shù)據(jù)指標(biāo)查詢、全文檢索、數(shù)據(jù)指標(biāo)體系管理、數(shù)據(jù)權(quán)限與安全控制等功能,驗(yàn)證了所設(shè)計(jì)的建模和存儲方法的有效性。結(jié)果表明,所提方法既滿足了宏觀決策對大數(shù)據(jù)的需求,又很好滿足"四節(jié)一環(huán)保"數(shù)據(jù)動(dòng)態(tài)更新的需要,減少了數(shù)據(jù)搬運(yùn)成本,提升了經(jīng)濟(jì)性。

【文章頁數(shù)】：8 頁

【部分圖文】：

圖1 民用建筑“四節(jié)一環(huán)�！睌�(shù)據(jù)邏輯模型結(jié)構(gòu)

以上數(shù)據(jù)內(nèi)容從數(shù)據(jù)原始格式方面來分析，可歸納為紙質(zhì)材料、表格類統(tǒng)計(jì)數(shù)據(jù)、傳感器數(shù)據(jù)、系統(tǒng)類數(shù)據(jù)、地理信息數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等類別。從數(shù)據(jù)存儲格式方面來看，可歸納為文件形式、關(guān)系型數(shù)據(jù)庫形式、時(shí)間序列數(shù)據(jù)庫形式、地理信息GeoDatabase形式等類別。數(shù)據(jù)頻度覆蓋實(shí)時(shí)、日度、月....

圖2 民用建筑“四節(jié)一環(huán)保”數(shù)據(jù)樹狀建模方法

首先對各類數(shù)據(jù)按照不同類型指標(biāo)分類情況，分為宏觀基礎(chǔ)類、規(guī)模類、用地類、用能類、用材類、用水類、環(huán)保類、綜合類，并按照其內(nèi)容進(jìn)行劃分，并分別建模。例如用材類數(shù)據(jù)被劃分為民用建筑鋼材使用量、民用建筑鋼材使用量、陶瓷使用量、平板玻璃使用量等，接著，對各子類屬性按獲取渠道、采集方案、關(guān)....

圖3 民用建筑“四節(jié)一環(huán)保”數(shù)據(jù)指標(biāo)管理模型示意

考慮四節(jié)一環(huán)保數(shù)據(jù)指標(biāo)的可拓展性，我們對數(shù)據(jù)指標(biāo)的可拓展性也進(jìn)行了擴(kuò)展模型設(shè)計(jì)。在針對某一個(gè)數(shù)據(jù)指標(biāo)，我們在每個(gè)指標(biāo)(度量)中，定義了通過六個(gè)方面(維度)進(jìn)行描述，包括數(shù)據(jù)指標(biāo)名稱、指標(biāo)層級、實(shí)際采集指標(biāo)、方案版本、采集方式、數(shù)據(jù)來源(渠道)、采集頻度、地區(qū)、單位、時(shí)間等。同時(shí)對....

圖4 民用建筑“四節(jié)一環(huán)保”大數(shù)據(jù)存儲服務(wù)結(jié)構(gòu)

在圖中數(shù)據(jù)存儲層(ODS):主要實(shí)現(xiàn)對各類結(jié)構(gòu)化/非結(jié)構(gòu)化源數(shù)據(jù)的存儲，存儲模式盡可能和源數(shù)據(jù)或系統(tǒng)的存儲模式保持一致，不做任何轉(zhuǎn)換。在數(shù)據(jù)存儲層會通過快照實(shí)現(xiàn)對歷史數(shù)據(jù)進(jìn)行保留，方便后續(xù)應(yīng)用。另外，如果分析應(yīng)用過程中需要直接從源數(shù)據(jù)進(jìn)行數(shù)據(jù)查詢或者生成報(bào)表，也可以由數(shù)據(jù)存儲層來....

本文編號：4044513