【摘要】：通過分析Google集群中任務(wù)的失效次數(shù)和失效模式,找到具有高失效頻次和連續(xù)失效特征的殺手級(jí)任務(wù)。殺手級(jí)任務(wù)不僅影響云計(jì)算系統(tǒng)上應(yīng)用運(yùn)行的可靠性與可用性,而且會(huì)浪費(fèi)大量資源并顯著增加調(diào)度負(fù)載。在殺手級(jí)任務(wù)資源使用模式的基礎(chǔ)上,提出一種基于時(shí)間序列的在線識(shí)別方法,以利用資源使用時(shí)間序列在失效早期準(zhǔn)確識(shí)別出殺手級(jí)任務(wù)并通知云計(jì)算系統(tǒng)采取前攝性失效恢復(fù)措施,從而避免不必要的重復(fù)調(diào)度和資源浪費(fèi)。實(shí)驗(yàn)結(jié)果表明,該方法能夠以98.5%的準(zhǔn)確率在平均3%的失效時(shí)間內(nèi)識(shí)別出殺手級(jí)任務(wù),同時(shí)節(jié)約96.75%的系統(tǒng)資源。
【圖文】：

３．３失效頻率分析為度量任務(wù)的失效頻率特征，，本文對(duì)殺手級(jí)和非殺手級(jí)任務(wù)在長(zhǎng)度為５分鐘的時(shí)間窗口內(nèi)的失效頻次進(jìn)行了分析，結(jié)果如圖２所示。從圖中可以看出，大部分殺手級(jí)任務(wù)在某些窗口內(nèi)發(fā)生過多次失效，３７．８％的殺手級(jí)任務(wù)至少在一個(gè)窗口內(nèi)失效８次以上，甚至有一個(gè)任務(wù)的最大失效次數(shù)為１６次，意味著該任務(wù)在某些窗口內(nèi)平均每分鐘失效３次以上。相反，除０．０３％的非殺手級(jí)任務(wù)在某個(gè)窗口內(nèi)發(fā)生過４次失效外，幾乎所有非殺手級(jí)任務(wù)在所有窗口的失效次數(shù)均不超過２次，這與殺手級(jí)任務(wù)形成了鮮明對(duì)比。圖２失效頻率模式４殺手級(jí)任務(wù)在線識(shí)別根據(jù)上文分析，殺手級(jí)任務(wù)和非殺手級(jí)任務(wù)存在不同的資源使用模式。本文提出一種基于時(shí)間序列的殺手級(jí)任務(wù)在線識(shí)別算法，其利用早期資源的使用特征提前識(shí)別出殺手級(jí)任務(wù)并通知云計(jì)算系統(tǒng)采取前攝性措施。本文方法分為失效頻率閾值學(xué)習(xí)和殺手級(jí)任務(wù)識(shí)別兩個(gè)階段。４．１失效頻率閾值學(xué)習(xí)算法假設(shè)任務(wù)ｉ的駐留時(shí)間為Ｔｉ，Ｆｉ，ｔ和Ｒｉ，ｔ分別表示任務(wù)ｉ在時(shí)刻ｔ的失效次數(shù)和資源使用量。失效頻率閾值學(xué)習(xí)算法從非殺手級(jí)任務(wù)中學(xué)習(xí)失效頻率閾值作為殺手級(jí)任務(wù)和非殺手級(jí)任務(wù)的分界。算法分為以下３個(gè)步驟。（１）劃分資源異常窗口根據(jù)上文分析結(jié)果，殺手級(jí)任務(wù)的資源使用存在明顯分段趨勢(shì)，因此可將任務(wù)的生命周期劃分為若干個(gè)資源異常窗口。資源異常窗口指資源使用量與其他窗口差異顯著的時(shí)段。本文用資源使用量的變動(dòng)程度來判斷其是否異常。若某時(shí)刻資源使用變動(dòng)量大于閾值，則該時(shí)刻屬于另一窗口；否則該時(shí)刻與上一時(shí)刻屬于同一窗口。判斷某一時(shí)刻是否為資源異常點(diǎn)的方式如下：｜

５．２．２識(shí)別效果分析圖３示出了算法對(duì)殺手級(jí)任務(wù)的預(yù)識(shí)別程度，用識(shí)別前后的失效次數(shù)表征。如圖３所示，識(shí)別前的失效次數(shù)遠(yuǎn)少于識(shí)別后的失效次數(shù)，表明算法在發(fā)生少量失效時(shí)便能夠識(shí)別殺手級(jí)任務(wù)并通知云計(jì)算系統(tǒng)，從而避免大量不必要的失效。如某失效４０３９３次的殺手級(jí)任務(wù)在第１１次失效時(shí)便被識(shí)別，有效避免了４０３８２次失效。圖３識(shí)別前后的失效次數(shù)算法在資源節(jié)約和前置時(shí)間方面的性能如圖４所示。前置時(shí)間百分比指任務(wù)的前置時(shí)間占其失效總時(shí)間的百分比，資源節(jié)約百分比為任務(wù)資源節(jié)約量占其失效后資源總消耗的百分比。結(jié)果表明，大部分任務(wù)的前置時(shí)間接近于失效總時(shí)長(zhǎng)，且算法平均在３％的失效時(shí)長(zhǎng)內(nèi)識(shí)別殺手級(jí)任務(wù)，為系統(tǒng)平均保留４１０ｍｉｎ以采取有效措施。其中某個(gè)任務(wù)的前置時(shí)間為２８．９９天，即在首次失效后的第０．２４小時(shí)內(nèi)便被識(shí)別。此外，９８．９％的任務(wù)的資源節(jié)約百分比大于９０％，所有任務(wù)的平均資源節(jié)約百分比為９６．７５％。圖４資源節(jié)約和前置時(shí)間結(jié)束語具有高失效頻次和連續(xù)失效特征的殺手級(jí)任務(wù)不僅影響云計(jì)算系統(tǒng)的可靠性與可用性，還會(huì)造成大量的資源浪費(fèi)并顯著增加調(diào)度負(fù)載。本文從時(shí)間序列的角度對(duì)殺手級(jí)任務(wù)的資源使用模式進(jìn)行探究，并在此基礎(chǔ)上提出一種基于資源使用時(shí)間序列的殺手級(jí)任務(wù)在線識(shí)別方法。實(shí)驗(yàn)結(jié)果表明，本文方法能夠以９８．５％的準(zhǔn)確率識(shí)別出殺手級(jí)任務(wù)，平均節(jié)約９６．７５％的系統(tǒng)資源。今后將通過引入更多資源使用指標(biāo)（如內(nèi)存使用量）以及利用機(jī)器學(xué)習(xí)模型來優(yōu)化算法。此外，也考慮將方法應(yīng)用于各種不同類型的云計(jì)算系統(tǒng)。參考文獻(xiàn)［１］ＧｏｏｇｌｅＣｌｕｓｔｅｒＤａｔａ［

【相似文獻(xiàn)】

相關(guān)期刊論文 前1條

1 ;2006年9款殺手級(jí)新車揭秘[J];科學(xué)大觀園;2006年07期

相關(guān)會(huì)議論文 前1條

1 鄢俊華;;業(yè)務(wù)創(chuàng)新的關(guān)鍵在于模式創(chuàng)新[A];四川省通信學(xué)會(huì)2010年學(xué)術(shù)年會(huì)論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)記者 林莉君;資本逐鹿可穿戴設(shè)備 “殺手級(jí)”產(chǎn)品何時(shí)出現(xiàn)[N];科技日?qǐng)?bào);2014年

2 中國(guó)電信上海研究院 顧健　仝健剛 刑青;位置服務(wù)或成“殺手級(jí)”？[N];人民郵電;2009年

3 陳維義 陳翔;豪賭千億美元3G展開殺手級(jí)運(yùn)營(yíng)[N];中國(guó)計(jì)算機(jī)報(bào);2006年

4 本報(bào)記者 馬博;3G業(yè)務(wù)互聯(lián)網(wǎng)化趨勢(shì)明顯 現(xiàn)有應(yīng)用難當(dāng)殺手級(jí)重任[N];中國(guó)電子報(bào);2009年

5 陳曉林;這個(gè)“殺手”不太冷[N];通信產(chǎn)業(yè)報(bào);2004年

6 和利;LBS能否成為3G時(shí)代“殺手級(jí)”應(yīng)用？[N];科技日?qǐng)?bào);2009年

7 徐超;3G應(yīng)加大利益共享尺度[N];通信產(chǎn)業(yè)報(bào);2005年

8 劉鵬;積極借鑒國(guó)際經(jīng)驗(yàn)務(wù)實(shí)推進(jìn)中國(guó)3G產(chǎn)業(yè)[N];通信產(chǎn)業(yè)報(bào);2004年

9 中國(guó)網(wǎng)通陜西省分公司 周雙陽 杜碧玉;3G業(yè)務(wù)主打“組合拳”[N];通信產(chǎn)業(yè)報(bào);2007年

10 鐘凌江;移動(dòng)IM：“殺手級(jí)”新星冉冉升起[N];人民郵電;2007年

本文編號(hào)：2566227