發(fā)布時(shí)間：2021-01-07 05:17

　　隨著位置傳感和對(duì)象監(jiān)測(cè)技術(shù)及設(shè)備的普及,在智能交通、智慧城市等領(lǐng)域積累了海量的時(shí)空數(shù)據(jù)。時(shí)空數(shù)據(jù)是同時(shí)具有時(shí)間、空間屬性,由特定對(duì)象產(chǎn)生的高維數(shù)據(jù),由于其隨對(duì)象生命周期持續(xù)生成,數(shù)量巨大,因此被稱(chēng)為時(shí)空大數(shù)據(jù)。因?yàn)槠渫瑫r(shí)具有大數(shù)據(jù)技術(shù)特征以及多樣化的分析需求,傳統(tǒng)的數(shù)據(jù)分析方式不能很好滿(mǎn)足眾多領(lǐng)域下時(shí)空大數(shù)據(jù)的分析處理需求,特別是在快速滿(mǎn)足不同領(lǐng)域不同業(yè)務(wù)的統(tǒng)計(jì)分析需求方面。因此如何能方便地從多維時(shí)空大數(shù)據(jù)中選擇用戶(hù)所需的維度以及方法快速進(jìn)行統(tǒng)計(jì)分析,挖掘時(shí)空大數(shù)據(jù)背后的潛在價(jià)值,成為目前急需解決的問(wèn)題。針對(duì)該問(wèn)題,本文采用面向服務(wù)的軟件方法來(lái)提高時(shí)空大數(shù)據(jù)統(tǒng)計(jì)分析應(yīng)用的開(kāi)發(fā)效率,主要開(kāi)展了以下四方面工作:1.針對(duì)傳統(tǒng)方法無(wú)法滿(mǎn)足時(shí)空大數(shù)據(jù)統(tǒng)計(jì)分析需求的問(wèn)題,通過(guò)對(duì)時(shí)空大數(shù)據(jù)統(tǒng)計(jì)分析需求的歸納,設(shè)計(jì)了用于支持時(shí)空大數(shù)據(jù)的統(tǒng)計(jì)分析的兩類(lèi)基礎(chǔ)服務(wù)模型,即數(shù)據(jù)服務(wù)和功能服務(wù)模型。其中數(shù)據(jù)服務(wù)主要通過(guò)多維度時(shí)空數(shù)據(jù)封裝得到,主要為功能服務(wù)提供分析操作的數(shù)據(jù)來(lái)源;功能服務(wù)則通過(guò)對(duì)統(tǒng)計(jì)分析過(guò)程中的預(yù)處理、統(tǒng)計(jì)計(jì)算和結(jié)果可視化三個(gè)環(huán)節(jié)的處理功能進(jìn)行歸納得到。通過(guò)兩類(lèi)服務(wù)模型可以為時(shí)空大數(shù)據(jù)的服務(wù)化工... 

【文章來(lái)源】：北方工業(yè)大學(xué)北京市

【文章頁(yè)數(shù)】：80 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Hadoop平臺(tái)的基本組成與生態(tài)系統(tǒng)

第三章時(shí)空大數(shù)據(jù)服務(wù)模型16圖3-1收費(fèi)數(shù)據(jù)中的關(guān)鍵字段由于收費(fèi)數(shù)據(jù)的體量十分龐大，選擇合適的接入方式存儲(chǔ)收費(fèi)數(shù)據(jù)這一工作十分重要。針對(duì)收費(fèi)數(shù)據(jù)的數(shù)據(jù)量比較大并且對(duì)數(shù)據(jù)查詢(xún)的要求，可以選擇HBase數(shù)據(jù)庫(kù)作為數(shù)據(jù)接入服務(wù)的輸出存儲(chǔ)。HBase數(shù)據(jù)庫(kù)是Hadoop集群上的支持高并發(fā)讀寫(xiě)的數(shù)據(jù)庫(kù)。為了滿(mǎn)足更小粒度的時(shí)空數(shù)據(jù)的分析和統(tǒng)計(jì)，因此選擇空間屬性中最小的粒度站點(diǎn)，分別接入不同時(shí)間粒度5分鐘、1小時(shí)、1天、1個(gè)月的收費(fèi)數(shù)據(jù)，存入HBase數(shù)據(jù)庫(kù)。HBase數(shù)據(jù)庫(kù)中唯一確定一條記錄的標(biāo)識(shí)是行鍵[43]，所以選擇合適的行鍵對(duì)于查詢(xún)起著十分重要的作用。過(guò)于簡(jiǎn)單的行鍵可能無(wú)法唯一確定一條數(shù)據(jù)，造成查詢(xún)結(jié)果不正確。而過(guò)于復(fù)雜的行鍵可能會(huì)導(dǎo)致需要掃描的數(shù)據(jù)比較多，降低查詢(xún)效率。因此既要滿(mǎn)足行鍵的簡(jiǎn)單性又要滿(mǎn)足行鍵的唯一確定性。結(jié)合時(shí)空大數(shù)據(jù)的時(shí)空屬性，將車(chē)輛出口時(shí)間和出口收費(fèi)站ID進(jìn)行拼接。由此，設(shè)計(jì)出的數(shù)據(jù)接入服務(wù)如圖3-2所示：圖3-2數(shù)據(jù)接入服務(wù)

第三章時(shí)空大數(shù)據(jù)服務(wù)模型16圖3-1收費(fèi)數(shù)據(jù)中的關(guān)鍵字段由于收費(fèi)數(shù)據(jù)的體量十分龐大，選擇合適的接入方式存儲(chǔ)收費(fèi)數(shù)據(jù)這一工作十分重要。針對(duì)收費(fèi)數(shù)據(jù)的數(shù)據(jù)量比較大并且對(duì)數(shù)據(jù)查詢(xún)的要求，可以選擇HBase數(shù)據(jù)庫(kù)作為數(shù)據(jù)接入服務(wù)的輸出存儲(chǔ)。HBase數(shù)據(jù)庫(kù)是Hadoop集群上的支持高并發(fā)讀寫(xiě)的數(shù)據(jù)庫(kù)。為了滿(mǎn)足更小粒度的時(shí)空數(shù)據(jù)的分析和統(tǒng)計(jì)，因此選擇空間屬性中最小的粒度站點(diǎn)，分別接入不同時(shí)間粒度5分鐘、1小時(shí)、1天、1個(gè)月的收費(fèi)數(shù)據(jù)，存入HBase數(shù)據(jù)庫(kù)。HBase數(shù)據(jù)庫(kù)中唯一確定一條記錄的標(biāo)識(shí)是行鍵[43]，所以選擇合適的行鍵對(duì)于查詢(xún)起著十分重要的作用。過(guò)于簡(jiǎn)單的行鍵可能無(wú)法唯一確定一條數(shù)據(jù)，造成查詢(xún)結(jié)果不正確。而過(guò)于復(fù)雜的行鍵可能會(huì)導(dǎo)致需要掃描的數(shù)據(jù)比較多，降低查詢(xún)效率。因此既要滿(mǎn)足行鍵的簡(jiǎn)單性又要滿(mǎn)足行鍵的唯一確定性。結(jié)合時(shí)空大數(shù)據(jù)的時(shí)空屬性，將車(chē)輛出口時(shí)間和出口收費(fèi)站ID進(jìn)行拼接。由此，設(shè)計(jì)出的數(shù)據(jù)接入服務(wù)如圖3-2所示：圖3-2數(shù)據(jù)接入服務(wù)


本文編號(hào)：2961988