【摘要】：當(dāng)前,大數(shù)據(jù)的管理和處理是云基礎(chǔ)設(shè)施的重點用武之地,而服務(wù)是落實云計算環(huán)境中各類資源及能力交付和使用模式的主要方式.隨著感知設(shè)備的普及,系統(tǒng)規(guī)模急劇擴(kuò)張,數(shù)據(jù)多元異構(gòu)復(fù)雜性提升,流數(shù)據(jù)并發(fā)數(shù)量及速度劇增,傳統(tǒng)的流數(shù)據(jù)系統(tǒng)在處理能力、可擴(kuò)展性、容錯性等方面面臨瓶頸問題,而云計算技術(shù)依靠其良好的可伸縮性、數(shù)據(jù)的并行化處理能力、對服務(wù)使用模式的支持、容錯性等特點,可作為流數(shù)據(jù)管理與處理的基礎(chǔ).基于云計算對來自不同類型設(shè)備的大規(guī)模流數(shù)據(jù)進(jìn)行集成、處理及服務(wù)化正是文中關(guān)注的焦點所在.從應(yīng)用需求出發(fā),該文對大規(guī)模流數(shù)據(jù)集成和實時處理及服務(wù)的概念框架、集成方法、流數(shù)據(jù)查詢處理、定制化服務(wù)、可伸縮性保障和可靠性保障以及相關(guān)評測基準(zhǔn)等要點進(jìn)行了剖析,歸納了大規(guī)模流數(shù)據(jù)的集成與服務(wù)研究面臨的挑戰(zhàn),探討了云計算環(huán)境下求解相關(guān)問題的思路.
【圖文】：

據(jù)處理引擎以及傳統(tǒng)數(shù)據(jù)庫，對外提供基于結(jié)構(gòu)化查詢語言的聲明式查詢接口和共用的ＡＰＩ．ＭａｘＳｔｒｅａｍ的實現(xiàn)原理如圖３所示，在客戶端和關(guān)系數(shù)據(jù)庫、流處理引擎之間增加了聯(lián)邦層，聯(lián)邦層對流數(shù)據(jù)連續(xù)查詢請求進(jìn)行解析、查詢結(jié)果進(jìn)行轉(zhuǎn)換，數(shù)據(jù)代理則負(fù)責(zé)所有控制消息的交換以及數(shù)據(jù)的轉(zhuǎn)發(fā)．ＭａｘＳｔｒｅａｍ可適用于跨組織和地域的分布式計算環(huán)境中，但在云計算環(huán)境下，如何針對動態(tài)變化的負(fù)載，對跨流處理引擎和傳統(tǒng)數(shù)據(jù)庫的連續(xù)查詢進(jìn)行功能及非功能屬性方面的優(yōu)化，還有待進(jìn)一步的研究．圖３ＭａｘＳｔｒｅａｍ：流處理引擎與傳統(tǒng)數(shù)據(jù)庫的集成［２３］３．２基于云計算的流數(shù)據(jù)查詢操作流數(shù)據(jù)查詢操作是實現(xiàn)定制化服務(wù)的基礎(chǔ)，其相關(guān)工作可以分為兩個方面．一方面是單個查詢操作的實現(xiàn)及優(yōu)化，例如連接查詢、聚集查詢等操作的實現(xiàn)及優(yōu)化；另一方面是互相連接的多個流數(shù)據(jù)操作算子的執(zhí)行及優(yōu)化．針對包含多個流數(shù)據(jù)操作算子的優(yōu)化方法，文獻(xiàn)［２４］進(jìn)行了總結(jié)，如算子重新排序、算子去重等優(yōu)化方法，本文不進(jìn)行贅述．與傳統(tǒng)數(shù)據(jù)庫一樣，流數(shù)據(jù)的基本查詢操作也可分為選擇、投影、連接（ｊｏｉｎ）和聚集（ａｇｇｒｅｇａｔｉｏｎ）等操作．其中，選擇和投影操作相對簡單，而連接操作和聚集操作是兩種較復(fù)雜、耗時的查詢操作．在傳統(tǒng)數(shù)據(jù)庫研１１２計算機(jī)學(xué)報２０１７年

ｉｎｇ［５０］、ＳＥＥＰ［５９］、ＣｈｒｏｎｏＳｔｒｅａｍ［６０］、Ｓａｍｚａ⑤以及ＴｉｍｅＳｔｒｅａｍ［６１］等都建立在可動態(tài)管理和擴(kuò)展節(jié)點的云基礎(chǔ)設(shè)施之上．算子放置技術(shù)與數(shù)據(jù)并行化處理技術(shù)是保障基于云計算的流數(shù)據(jù)服務(wù)可伸縮性的關(guān)鍵技術(shù)，其中，數(shù)據(jù)并行化被認(rèn)為是基于云計算的流數(shù)據(jù)處理系統(tǒng)的主要特征［１３］．下面結(jié)合學(xué)術(shù)界及工業(yè)界的實際系統(tǒng)及研究對其進(jìn)行分析．流數(shù)據(jù)處理ＤＡＧ中的邏輯算子可能根據(jù)其資源的需求情況部署在多個節(jié)點上，圖５是一個云計算環(huán)境下處理任務(wù)（算子）的部署示意圖，其中一個虛擬節(jié)點上可注冊多個資源容器，一個邏輯算子可部署到多個資源容器中．圖中虛線框中的邏輯算子ｖ６部署在多個虛擬機(jī)節(jié)點ｎ１和ｎ２中．針對由多個處理任務(wù)（算子）組成的流數(shù)據(jù)處理網(wǎng)絡(luò)，在云計算環(huán)境下，隨著計算節(jié)點的增加，主要通過在多個節(jié)點上平衡算子的分布來提供伸縮性，其關(guān)鍵問題是如何進(jìn)行算子的放置（或布局），以及如何在不同的節(jié)點上進(jìn)行負(fù)載均衡．這就是“算子放置（ｏｐｅｒａｔｏｒｐｌａｃｅｍｅｎｔ）”問題．算子放置問題是指將處理任務(wù)的一系列算子布局在一系列的節(jié)點上執(zhí)行，并在滿足一定約束條件的情況下達(dá)到優(yōu)化目標(biāo)．圖５云計算環(huán)境中算子的部署［６０］Ｌａｋｓｈｍａｎａｎ等人［６２］將現(xiàn)有的算子放置算法從體系結(jié)構(gòu)、算法結(jié)構(gòu)、優(yōu)化目標(biāo)、算子層次上的操作、動態(tài)重配置等５個維度進(jìn)行了分析和比較．在體系結(jié)構(gòu)上，分為主從式、分散式以及二者混合等情況，，當(dāng)前，大多數(shù)云環(huán)境下的流數(shù)據(jù)處理系統(tǒng)或中間件１１６計算機(jī)學(xué)報２０１

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 金澈清,錢衛(wèi)寧,周傲英;流數(shù)據(jù)分析與管理綜述[J];軟件學(xué)報;2004年08期

2 聶國梁;盧正鼎;;流數(shù)據(jù)實時近似求和的算法研究[J];小型微型計算機(jī)系統(tǒng);2005年10期

3 李衛(wèi)民;于守健;駱軼姝;樂嘉錦;;流數(shù)據(jù)管理的降載技術(shù):研究進(jìn)展[J];計算機(jī)科學(xué);2007年06期

4 李子杰;鄭誠;;流數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)存儲及管理方法比較研究[J];計算機(jī)技術(shù)與發(fā)展;2009年04期

5 潘靜;于宏偉;;流數(shù)據(jù)管理降載技術(shù)研究綜述[J];中國管理信息化;2009年21期

6 鄒永貴;龔海平;夏英;宋強(qiáng);;一種面向流數(shù)據(jù)頻繁項挖掘的降載策略[J];計算機(jī)應(yīng)用研究;2011年04期

7 聶國梁;盧正鼎;聶國棟;;流數(shù)據(jù)近似統(tǒng)計算法研究[J];計算機(jī)科學(xué);2005年04期

8 魏晶晶;金培權(quán);龔育昌;岳麗華;;基于流數(shù)據(jù)的大對象數(shù)據(jù)緩沖機(jī)制[J];計算機(jī)工程;2006年11期

9 楊立;;基于權(quán)重的流數(shù)據(jù)頻繁項挖掘算法的應(yīng)用[J];微型機(jī)與應(yīng)用;2011年02期

10 尹為;張成虎;楊彬;;基于流數(shù)據(jù)頻繁項挖掘的可疑金融交易識別研究[J];西安交通大學(xué)學(xué)報(社會科學(xué)版);2011年05期

相關(guān)會議論文 前3條

1 劉正濤;毛宇光;吳莊;;一種新的流數(shù)據(jù)模型及其擴(kuò)展[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2005年

2 姚春芬;陳紅;;分布偏斜的流數(shù)據(jù)上的一種直方圖維護(hù)算法[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2006年

3 孫煥良;趙法信;鮑玉斌;于戈;王大玲;;CD-Stream——一種基于空間劃分的流數(shù)據(jù)密度聚類算法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2004年

相關(guān)博士學(xué)位論文 前6條

1 丁智國;流數(shù)據(jù)在線異常檢測方法研究[D];上海大學(xué);2015年

2 聶國梁;流數(shù)據(jù)統(tǒng)計算法研究[D];華中科技大學(xué);2006年

3 劉建偉;流數(shù)據(jù)查詢系統(tǒng)結(jié)構(gòu)及模式查詢算法的研究[D];東華大學(xué);2005年

4 李衛(wèi)民;流數(shù)據(jù)查詢算法若干關(guān)鍵技術(shù)研究[D];東華大學(xué);2008年

5 屠莉;流數(shù)據(jù)的頻繁項挖掘及聚類的關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2009年

6 陳筠翰;車載網(wǎng)絡(luò)的若干關(guān)鍵技術(shù)研究[D];吉林大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 孔祥佳;基于海洋平臺監(jiān)測的流數(shù)據(jù)管理研究[D];大連理工大學(xué);2015年

2 王晨陽;支持位置謂詞的XML流數(shù)據(jù)查詢技術(shù)[D];北京工業(yè)大學(xué);2015年

3 王中義;基于動態(tài)支持度的流數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘[D];哈爾濱工業(yè)大學(xué);2014年

4 趙丹;面向流數(shù)據(jù)的不平衡樣本分類研究[D];哈爾濱工業(yè)大學(xué);2014年

5 馮學(xué)智;基于宏森林自動機(jī)的XML流數(shù)據(jù)查詢技術(shù)[D];北京工業(yè)大學(xué);2015年

6 徐靂靂;物流數(shù)據(jù)中的云聚類調(diào)度算法研究[D];南京郵電大學(xué);2015年

7 肖丙賢;大規(guī)模流數(shù)據(jù)聚集查詢服務(wù)的生成與優(yōu)化[D];北方工業(yè)大學(xué);2016年

8 劉曉斐;分布式流處理系統(tǒng)操作共享優(yōu)化算法研究[D];吉林大學(xué);2016年

9 張媛;基于彈性分布式數(shù)據(jù)集的流數(shù)據(jù)聚類分析[D];華東師范大學(xué);2016年

10 王曾亦;基于內(nèi)存計算的流數(shù)據(jù)處理在飛行大數(shù)據(jù)的研究與應(yīng)用[D];電子科技大學(xué);2016年

本文編號：2577164