隨著現(xiàn)代化生產(chǎn)規(guī)模越來(lái)越大,生產(chǎn)過(guò)程中會(huì)產(chǎn)生越來(lái)越多的日志文本,因此,在生產(chǎn)過(guò)程中進(jìn)行日志分析是必不可少的。同時(shí),這些日志文本具有數(shù)據(jù)量大、批次產(chǎn)生、日志內(nèi)容復(fù)雜、分析成本高等特點(diǎn)。引入機(jī)器學(xué)習(xí)技術(shù)進(jìn)行日志分析,對(duì)日志問(wèn)題的定位與解決提供數(shù)據(jù)支撐,可以大大減少實(shí)際分析人員的工作量與分析難度。主要研究成果包括以下四點(diǎn):（1）根據(jù)實(shí)際應(yīng)用場(chǎng)景及日志文本特點(diǎn),總結(jié)出日志文本具有非結(jié)構(gòu)化、不平衡與單一分類算法過(guò)擬合的問(wèn)題,針對(duì)以上問(wèn)題,提出一套基于集成學(xué)習(xí)以解決不平衡性的日志分析模型。（2）針對(duì)日志文本的非結(jié)構(gòu)化與不平衡性的特點(diǎn),且現(xiàn)存的不平衡處理方法仍有改進(jìn)的空間,本文提出一種改進(jìn)的不平衡性算法KS-SMOTE,利用Word2vec進(jìn)行初級(jí)向量表示,為了向量能夠提取前后向的詞關(guān)系,引入雙向LSTM,通過(guò)Bi-LSTM得到特征向量,利用SVM對(duì)數(shù)據(jù)集進(jìn)行分類,對(duì)噪聲樣本進(jìn)行識(shí)別并予以剔除,進(jìn)而對(duì)錯(cuò)誤分類和正確分類的樣本進(jìn)行SMOTE算法處理,根據(jù)聚類算法組合出新的樣本集。實(shí)驗(yàn)結(jié)果表明,KS-SMOTE的分類效果優(yōu)于SMOTE算法。（3）針對(duì)傳統(tǒng)的單一分類算法遇到的過(guò)擬合問(wèn)題,本文提出一種改進(jìn)的... 

【文章來(lái)源】：東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：77 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

KS-SMOTE效果圖

東南大學(xué)碩士學(xué)位論文62除了以上三層之外，仍需要一個(gè)消息發(fā)送器，作用是把一個(gè)個(gè)網(wǎng)站訪問(wèn)請(qǐng)求發(fā)送到不同的視圖中，視圖再使用對(duì)應(yīng)的模型和模板。由于Django框架是基于Python語(yǔ)言平臺(tái)開(kāi)發(fā)的，設(shè)計(jì)者可以使用ORM機(jī)制定義具體的數(shù)據(jù)模型，從而大幅減小了數(shù)據(jù)庫(kù)開(kāi)發(fā)的編程壓力。Django框架通過(guò)設(shè)計(jì)消息映射，避免系統(tǒng)亂碼的出現(xiàn)。另外，該框架在系統(tǒng)內(nèi)置的模板中增加擴(kuò)展功能，開(kāi)發(fā)者能夠自主設(shè)計(jì)頁(yè)面樣式、控制系統(tǒng)的編碼方式。該框架的網(wǎng)絡(luò)請(qǐng)求處理如圖5-8所示。瀏覽器Mod_python處理器響應(yīng)中間層響應(yīng)異常請(qǐng)求中間層URL映射顯示中間設(shè)備開(kāi)始結(jié)束圖5-9網(wǎng)絡(luò)請(qǐng)求處理流程圖由圖5-9可知，分析人員通過(guò)前端頁(yè)面進(jìn)行訪問(wèn)請(qǐng)求，mod_python處理器對(duì)這些請(qǐng)求進(jìn)行處理，同時(shí)發(fā)送到請(qǐng)求中間設(shè)備、URL映射、顯示等設(shè)備進(jìn)行具體處理。提交異常處理中間設(shè)備并進(jìn)行判斷，同時(shí)反饋給響應(yīng)中間設(shè)備進(jìn)行處理，再返回到mod_python處理器進(jìn)行集中處理。具體頁(yè)面如圖5-10所示。圖5-10日志系統(tǒng)圖

第五章日志分析在路由器測(cè)試中的應(yīng)用63由于測(cè)試分析人員的習(xí)慣以及項(xiàng)目需求，在頁(yè)面只展示通過(guò)率、錯(cuò)誤率和錯(cuò)誤類型分布，具體的內(nèi)容通過(guò)在線生成報(bào)表展示，報(bào)表如圖5-11所示，利用xlwt庫(kù)生成Excel表格。由于檢測(cè)系統(tǒng)復(fù)雜，參與人數(shù)眾多，解決腳本問(wèn)題的人需要找腳本編寫者，環(huán)境問(wèn)題需要找外包測(cè)試組，因此通過(guò)報(bào)表里的不同問(wèn)題表，可以便于分析人員快速定位并解決問(wèn)題。圖5-11生成報(bào)表圖本章小結(jié)本章是日志分析模型在路由器測(cè)試中的實(shí)際應(yīng)用，并對(duì)實(shí)際日志的問(wèn)題定位提出一種有效的解決方案，本文提出一套基于集成學(xué)習(xí)以解決不平衡性的日志分析系統(tǒng)，就整個(gè)系統(tǒng)的模塊進(jìn)行了設(shè)計(jì)和實(shí)現(xiàn)，主要包括數(shù)據(jù)收集、數(shù)據(jù)管理、日志分析以及線上展示模塊。

【參考文獻(xiàn)】：
期刊論文
[1]支持向量機(jī)動(dòng)態(tài)多分類方法[J]. 房漢鳴,稅愛(ài)社,汪輝,宗福興.  后勤工程學(xué)院學(xué)報(bào). 2017(02)
[2]Unsteady aerodynamic modeling at high angles of attack using support vector machines[J]. Wang Qing,Qian Weiqi,He Kaifeng.  Chinese Journal of Aeronautics. 2015(03)
[3]復(fù)句關(guān)系詞自動(dòng)識(shí)別中規(guī)則的表示方法研究[J]. 胡金柱,舒江波,胡泉,李源,楊進(jìn)才,謝芳.  計(jì)算機(jī)工程與應(yīng)用. 2016(01)
[4]Using a support vector machine method to predict the development indices of very high water cut oilfields[J]. Zhong Yihua 1 , Zhao Lei 1 , Liu Zhibin 1 , Xu Yao 2 and Li Rong 1 1 School of Sciences, Southwest Petroleum University, Chengdu, Sichuan 610500, China 2 Sichuan Forestry Cadre School, Chengdu, Sichuan 610066, China.  Petroleum Science. 2010(03)

博士論文
[1]鐵路事故故障文本大數(shù)據(jù)分析關(guān)鍵技術(shù)研究及應(yīng)用[D]. 楊連報(bào).中國(guó)鐵道科學(xué)研究院 2018
[2]單分類支持向量機(jī)的學(xué)習(xí)方法研究[D]. 王洪波.浙江大學(xué) 2012

碩士論文
[1]基于LSTM的文本上下文依賴特征的表示方法研究[D]. 高成亮.河北科技大學(xué) 2019
[2]隨機(jī)森林算法的優(yōu)化研究及在文本并行分類上的應(yīng)用[D]. 張?chǎng)?南京郵電大學(xué) 2018
[3]基于CNN和LSTM的視頻語(yǔ)義分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 竇敏.南京郵電大學(xué) 2018
[4]基于增量學(xué)習(xí)的三支決策KNN算法的研究與應(yīng)用[D]. 曹婧.西安理工大學(xué) 2018
[5]基于Stacking框架的互聯(lián)網(wǎng)金融個(gè)人信用評(píng)分研究[D]. 魯瑩.暨南大學(xué) 2018
[6]多標(biāo)簽數(shù)據(jù)流中新標(biāo)簽發(fā)現(xiàn)及其增量學(xué)習(xí)問(wèn)題研究[D]. 李永春.南京大學(xué) 2018
[7]基于Stacking模型融合的電信客戶信用度模型研究與設(shè)計(jì)[D]. 周子程.華南理工大學(xué) 2018
[8]一種結(jié)合聚類和采樣策略的不平衡數(shù)據(jù)分類算法[D]. 張晨.武漢科技大學(xué) 2018
[9]面向故障日志的短文本分類方法研究與實(shí)現(xiàn)[D]. 王彬彬.南京師范大學(xué) 2018
[10]基于序列模式挖掘的Hadoop日志預(yù)測(cè)與故障分析系統(tǒng)[D]. 李經(jīng)綸.哈爾濱工業(yè)大學(xué) 2017



本文編號(hào)：3044940