發(fā)布時(shí)間：2018-08-23 09:33

【摘要】：提出了一種支持流數(shù)據(jù)處理、在線動(dòng)態(tài)調(diào)節(jié)周期的檢查點(diǎn)機(jī)制。首先,面向突發(fā)性流場(chǎng)景,建立恢復(fù)時(shí)間計(jì)算模型,機(jī)制為節(jié)點(diǎn)故障提供最大恢復(fù)時(shí)間保障。其次,針對(duì)數(shù)據(jù)流實(shí)時(shí)變化的特點(diǎn),提出檢查點(diǎn)實(shí)時(shí)性代價(jià)量化模型。最后,設(shè)計(jì)流量高峰避讓協(xié)議,基于檢查點(diǎn)實(shí)時(shí)性代價(jià)判斷,動(dòng)態(tài)選取最佳檢查點(diǎn)時(shí)機(jī)。對(duì)比實(shí)驗(yàn)結(jié)果表明:與傳統(tǒng)檢查點(diǎn)方法相比,該機(jī)制在靈活性和實(shí)時(shí)性方面具有明顯優(yōu)勢(shì),能夠滿(mǎn)足流數(shù)據(jù)處理高可靠性和實(shí)時(shí)性容錯(cuò)的要求。
[Abstract]:In this paper, a checkpoint mechanism is proposed to support data processing and on-line dynamic regulation of cycle. First of all, for the sudden flow scenario, a recovery time calculation model is established, which provides the maximum recovery time guarantee for node failure. Secondly, according to the characteristics of real-time data flow, a real-time cost quantization model of checkpoint is proposed. Finally, the flow peak avoidance protocol is designed, and the optimal checkpoint timing is dynamically selected based on the real-time cost judgment of checkpoint. The experimental results show that compared with the traditional checkpoint method, the mechanism has obvious advantages in flexibility and real-time, and can meet the requirements of high reliability and real-time fault tolerance in stream data processing.
【作者單位】： 吉林大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61170004) 深部探測(cè)技術(shù)與實(shí)驗(yàn)研究專(zhuān)項(xiàng)項(xiàng)目(SinoProbe-09-01) 教育部高等學(xué)校博士學(xué)科點(diǎn)專(zhuān)項(xiàng)科研基金項(xiàng)目(20130061110052) 吉林省科技發(fā)展計(jì)劃重點(diǎn)科技攻關(guān)項(xiàng)目(20140204013GX) 國(guó)家重點(diǎn)研發(fā)計(jì)劃高性能計(jì)算專(zhuān)項(xiàng)項(xiàng)目(2016YFB0201503)
【分類(lèi)號(hào)】：TP302.8

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 金澈清,錢(qián)衛(wèi)寧,周傲英;流數(shù)據(jù)分析與管理綜述[J];軟件學(xué)報(bào);2004年08期

2 聶國(guó)梁;盧正鼎;;流數(shù)據(jù)實(shí)時(shí)近似求和的算法研究[J];小型微型計(jì)算機(jī)系統(tǒng);2005年10期

3 李衛(wèi)民;于守健;駱軼姝;樂(lè)嘉錦;;流數(shù)據(jù)管理的降載技術(shù):研究進(jìn)展[J];計(jì)算機(jī)科學(xué);2007年06期

4 李子杰;鄭誠(chéng);;流數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)存儲(chǔ)及管理方法比較研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2009年04期

5 潘靜;于宏偉;;流數(shù)據(jù)管理降載技術(shù)研究綜述[J];中國(guó)管理信息化;2009年21期

6 鄒永貴;龔海平;夏英;宋強(qiáng);;一種面向流數(shù)據(jù)頻繁項(xiàng)挖掘的降載策略[J];計(jì)算機(jī)應(yīng)用研究;2011年04期

7 聶國(guó)梁;盧正鼎;聶國(guó)棟;;流數(shù)據(jù)近似統(tǒng)計(jì)算法研究[J];計(jì)算機(jī)科學(xué);2005年04期

8 魏晶晶;金培權(quán);龔育昌;岳麗華;;基于流數(shù)據(jù)的大對(duì)象數(shù)據(jù)緩沖機(jī)制[J];計(jì)算機(jī)工程;2006年11期

9 楊立;;基于權(quán)重的流數(shù)據(jù)頻繁項(xiàng)挖掘算法的應(yīng)用[J];微型機(jī)與應(yīng)用;2011年02期

10 尹為;張成虎;楊彬;;基于流數(shù)據(jù)頻繁項(xiàng)挖掘的可疑金融交易識(shí)別研究[J];西安交通大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2011年05期

相關(guān)會(huì)議論文 前3條

1 劉正濤;毛宇光;吳莊;;一種新的流數(shù)據(jù)模型及其擴(kuò)展[A];第二十二屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2005年

2 姚春芬;陳紅;;分布偏斜的流數(shù)據(jù)上的一種直方圖維護(hù)算法[A];第二十三屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2006年

3 孫煥良;趙法信;鮑玉斌;于戈;王大玲;;CD-Stream——一種基于空間劃分的流數(shù)據(jù)密度聚類(lèi)算法[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

相關(guān)博士學(xué)位論文 前6條

1 丁智國(guó);流數(shù)據(jù)在線異常檢測(cè)方法研究[D];上海大學(xué);2015年

2 聶國(guó)梁;流數(shù)據(jù)統(tǒng)計(jì)算法研究[D];華中科技大學(xué);2006年

3 劉建偉;流數(shù)據(jù)查詢(xún)系統(tǒng)結(jié)構(gòu)及模式查詢(xún)算法的研究[D];東華大學(xué);2005年

4 李衛(wèi)民;流數(shù)據(jù)查詢(xún)算法若干關(guān)鍵技術(shù)研究[D];東華大學(xué);2008年

5 屠莉;流數(shù)據(jù)的頻繁項(xiàng)挖掘及聚類(lèi)的關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2009年

6 陳筠翰;車(chē)載網(wǎng)絡(luò)的若干關(guān)鍵技術(shù)研究[D];吉林大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 孔祥佳;基于海洋平臺(tái)監(jiān)測(cè)的流數(shù)據(jù)管理研究[D];大連理工大學(xué);2015年

2 王晨陽(yáng);支持位置謂詞的XML流數(shù)據(jù)查詢(xún)技術(shù)[D];北京工業(yè)大學(xué);2015年

3 王中義;基于動(dòng)態(tài)支持度的流數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘[D];哈爾濱工業(yè)大學(xué);2014年

4 趙丹;面向流數(shù)據(jù)的不平衡樣本分類(lèi)研究[D];哈爾濱工業(yè)大學(xué);2014年

5 馮學(xué)智;基于宏森林自動(dòng)機(jī)的XML流數(shù)據(jù)查詢(xún)技術(shù)[D];北京工業(yè)大學(xué);2015年

6 徐靂靂;物流數(shù)據(jù)中的云聚類(lèi)調(diào)度算法研究[D];南京郵電大學(xué);2015年

7 肖丙賢;大規(guī)模流數(shù)據(jù)聚集查詢(xún)服務(wù)的生成與優(yōu)化[D];北方工業(yè)大學(xué);2016年

8 劉曉斐;分布式流處理系統(tǒng)操作共享優(yōu)化算法研究[D];吉林大學(xué);2016年

9 張媛;基于彈性分布式數(shù)據(jù)集的流數(shù)據(jù)聚類(lèi)分析[D];華東師范大學(xué);2016年

10 王曾亦;基于內(nèi)存計(jì)算的流數(shù)據(jù)處理在飛行大數(shù)據(jù)的研究與應(yīng)用[D];電子科技大學(xué);2016年

，

本文編號(hào)：2198639