【摘要】：隨著大數(shù)據(jù)、云計(jì)算、人工智能技術(shù)的飛速發(fā)展,互聯(lián)網(wǎng)數(shù)據(jù)中心(Internet Data Center,IDC)的規(guī)模也隨之爆炸式增長(zhǎng),作為數(shù)據(jù)中心安全運(yùn)行保障的運(yùn)維管理就顯得至關(guān)重要。早期的手工運(yùn)維在業(yè)務(wù)快速增長(zhǎng)、人力成本高的時(shí)代難以維系,自動(dòng)化運(yùn)維取代人去執(zhí)行簡(jiǎn)單重復(fù)的工作,提高了運(yùn)維效率,但隨著業(yè)務(wù)服務(wù)復(fù)雜多樣,基于規(guī)則指導(dǎo)的自動(dòng)化運(yùn)維日顯不足,系統(tǒng)復(fù)雜度不斷升級(jí)、系統(tǒng)架構(gòu)不斷演化,現(xiàn)有的技術(shù)使運(yùn)維部門(mén)很難準(zhǔn)確、迅速地把控系統(tǒng)架構(gòu)與系統(tǒng)變更,無(wú)法自動(dòng)感知系統(tǒng)實(shí)際變更導(dǎo)致的配置管理數(shù)據(jù)庫(kù)(Configuration Management Database,CMDB)中的數(shù)據(jù)失效問(wèn)題。然而數(shù)據(jù)中心每時(shí)每刻產(chǎn)生大量的服務(wù)器日志數(shù)據(jù),如果可以基于這些數(shù)據(jù)有效地分析出業(yè)務(wù)系統(tǒng)的組織結(jié)構(gòu),實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)架構(gòu)自動(dòng)化梳理,就能改變傳統(tǒng)手工運(yùn)維的不足,提高運(yùn)維效率和系統(tǒng)架構(gòu)圖信息時(shí)效性。本文基于數(shù)據(jù)中心采集到的服務(wù)器日志數(shù)據(jù)進(jìn)行分析,服務(wù)器在業(yè)務(wù)驅(qū)動(dòng)下相互之間會(huì)建立TCP連接進(jìn)行通信協(xié)作,因此TCP網(wǎng)絡(luò)可以反映服務(wù)器之間的業(yè)務(wù)功能邏輯關(guān)系。通常業(yè)務(wù)系統(tǒng)中的服務(wù)器以集群的形式對(duì)外提供功能服務(wù),并且不同服務(wù)器集群在業(yè)務(wù)處理流程中存在先后順序之別,因此,復(fù)雜業(yè)務(wù)系統(tǒng)的組織結(jié)構(gòu)是一種帶有層次式的網(wǎng)絡(luò)結(jié)構(gòu)。所以本文將這種帶層次式網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜業(yè)務(wù)系統(tǒng)組織結(jié)構(gòu)發(fā)現(xiàn)問(wèn)題分解成服務(wù)器集群發(fā)現(xiàn)與服務(wù)器集群層次發(fā)現(xiàn)兩個(gè)子問(wèn)題,提出一種基于服務(wù)器日志數(shù)據(jù)的集群發(fā)現(xiàn)和層次發(fā)現(xiàn)的方法(Cluster Discovery and Hierarchy Discovery,CD-HD)。CD-HD方法基于大數(shù)據(jù)平臺(tái)采集的服務(wù)器日志數(shù)據(jù),首先利用服務(wù)器屬性和已知的部分服務(wù)器的類別標(biāo)簽信息,進(jìn)行基于服務(wù)器屬性判斷服務(wù)器是否屬于相同類別的迭代分類器訓(xùn)練,分類器用于判斷所有沒(méi)有類別標(biāo)簽信息的服務(wù)器間關(guān)系;然后在服務(wù)器TCP網(wǎng)絡(luò)上,計(jì)算服務(wù)器通信行為模式的相似性,結(jié)合分類器對(duì)服務(wù)器間關(guān)系的判斷,構(gòu)建服務(wù)器相似度網(wǎng)絡(luò),在該相似度網(wǎng)絡(luò)上,借助社區(qū)發(fā)現(xiàn)的方法進(jìn)行服務(wù)器集群發(fā)現(xiàn)。最后根據(jù)業(yè)務(wù)流確定服務(wù)器集群在業(yè)務(wù)系統(tǒng)中的功能層次,從而實(shí)現(xiàn)復(fù)雜業(yè)務(wù)系統(tǒng)組織結(jié)構(gòu)發(fā)現(xiàn)。在來(lái)自某大型數(shù)據(jù)中心的真實(shí)服務(wù)器日志數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,本文所提出的方法能夠有效解決運(yùn)維領(lǐng)域的復(fù)雜業(yè)務(wù)系統(tǒng)組織結(jié)構(gòu)只能依靠手工繪制的痛點(diǎn),實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)架構(gòu)自動(dòng)化梳理。
【圖文】：

北京交通大學(xué)碩士學(xué)位論文邐相關(guān)知識(shí)理論基礎(chǔ)逡逑２相關(guān)知識(shí)理論基礎(chǔ)逡逑２．１復(fù)雜網(wǎng)絡(luò)定義逡逑系統(tǒng)是由相互作用和相互依賴的若干組成部分結(jié)合的具有特定功能的有機(jī)整逡逑體［２６］，世界上存在很多復(fù)雜的系統(tǒng)，如果把組成部分抽象成節(jié)點(diǎn)，把相互作用和相逡逑互依賴抽象成邊，就可以將很多真實(shí)的復(fù)雜系統(tǒng)抽象成復(fù)雜網(wǎng)絡(luò)。如萬(wàn)維網(wǎng)、因特逡逑網(wǎng)、蛋白質(zhì)網(wǎng)絡(luò)、病毒傳播網(wǎng)絡(luò)、社交網(wǎng)絡(luò)、通信網(wǎng)絡(luò)、科研合作網(wǎng)絡(luò)、電力網(wǎng)絡(luò)、逡逑交通網(wǎng)絡(luò)等大量現(xiàn)實(shí)生活中的復(fù)雜系統(tǒng)都可以應(yīng)用復(fù)雜網(wǎng)絡(luò)的理論進(jìn)行研究。如逡逑圖展示了生物領(lǐng)域的復(fù)雜系統(tǒng)。逡逑

始化聚類中心的方法有Ｆｏｒｇｙ方法和隨機(jī)劃分方法，Ｆｏｒｇｙ心分散開(kāi)，而隨機(jī)劃分則使初始聚類中心集中在數(shù)據(jù)中心的ｎｓ聚類算法，Ｆｏｒｇｙ方法初始化聚類中心的效果會(huì)更好一些［４準(zhǔn)Ｋ－ｍｅａｎｓ聚類算法等價(jià)于最小化歐氏距離來(lái)分類觀測(cè)點(diǎn)，公式，如Ｋ－ｍｅｄｏｉｄｓ算法和Ｓｐｈｅｒｉｃａｌ邋Ｋ－ｍｅａｎｓ算法，，算法以通過(guò)設(shè)定閾值來(lái)結(jié)束算法。算法劃分的結(jié)果受到初始聚次運(yùn)行無(wú)法保證算法收斂到全局最優(yōu)解，但算法的運(yùn)行效率中都會(huì)以不同的初始聚類中心運(yùn)行多次來(lái)獲取更好的劃分／ｃ個(gè)劃分的算法時(shí)間復(fù)雜度為０（ｎｄｆｃ＋１邋＋邋ｋ＾ｎ），其中ｎ為需類逡逑是一種基于譜圖理論的聚類算法，算法將數(shù)據(jù)集中的對(duì)象當(dāng)
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP308;TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 賈洪杰;丁世飛;史忠植;;求解大規(guī)模譜聚類的近似加權(quán)核k-means算法[J];軟件學(xué)報(bào);2015年11期

2 劉大有;金弟;何東曉;黃晶;楊建寧;楊博;;復(fù)雜網(wǎng)絡(luò)社區(qū)挖掘綜述[J];計(jì)算機(jī)研究與發(fā)展;2013年10期

3 魏祥麟;陳鳴;范建華;張國(guó)敏;盧紫毅;;數(shù)據(jù)中心網(wǎng)絡(luò)的體系結(jié)構(gòu)[J];軟件學(xué)報(bào);2013年02期

4 柴變芳;賈彩燕;于劍;;基于統(tǒng)計(jì)推理的社區(qū)發(fā)現(xiàn)模型綜述[J];計(jì)算機(jī)科學(xué);2012年08期

5 智源;行飛;;復(fù)雜網(wǎng)絡(luò)社區(qū)結(jié)構(gòu)問(wèn)題綜述[J];陰山學(xué)刊(自然科學(xué));2011年03期

6 蔡曉妍;戴冠中;楊黎斌;;譜聚類算法綜述[J];計(jì)算機(jī)科學(xué);2008年07期

相關(guān)會(huì)議論文 前1條

1 ;2018年 中國(guó)企業(yè)IT運(yùn)維管理市場(chǎng)報(bào)告[A];艾瑞咨詢系列研究報(bào)告（2018年第3期）[C];2018年

相關(guān)博士學(xué)位論文 前1條

1 潘磊;若干社區(qū)發(fā)現(xiàn)算法研究[D];南京大學(xué);2014年

相關(guān)碩士學(xué)位論文 前1條

1 陳雨晴;復(fù)雜網(wǎng)絡(luò)中的社區(qū)發(fā)現(xiàn)算法研究[D];南京郵電大學(xué);2018年

本文編號(hào)：2698657