【摘要】：隨著網(wǎng)絡(luò)攻擊的愈加頻繁與嚴(yán)重,網(wǎng)絡(luò)安全越來越重要。近年來,由于傳統(tǒng)方法的性能下降,基于機(jī)器學(xué)習(xí)的方法正在發(fā)揮重要作用。然而,在實(shí)踐中,獲得完整的標(biāo)記數(shù)據(jù)集是極其困難的,因?yàn)樵撊蝿?wù)昂貴且耗時(shí),其中需要專業(yè)技術(shù)人員準(zhǔn)確地標(biāo)記數(shù)據(jù)集,而獲得未標(biāo)記的數(shù)據(jù)集相對(duì)容易。但是傳統(tǒng)的監(jiān)督學(xué)習(xí)算法在僅獲得少量標(biāo)記數(shù)據(jù)情況下,未能很好的利用已經(jīng)存在的大量容易獲取的未標(biāo)記數(shù)據(jù),從而在實(shí)際應(yīng)用中表現(xiàn)不佳。反過來,考慮標(biāo)記和未標(biāo)記樣本的半監(jiān)督學(xué)習(xí)算法可以顯著提高學(xué)習(xí)效率,使算法更適合實(shí)際的網(wǎng)絡(luò)應(yīng)用,因此對(duì)半監(jiān)督方法的研究是有必要的。在本文中,我們提出了一個(gè)半監(jiān)督模型通過利用大量存在的未標(biāo)記數(shù)據(jù)集來提高分類器的分類能力與分類效果�；诜制绲姆椒ㄊ前氡O(jiān)督學(xué)習(xí)的一個(gè)重要分支,從最開始用于多視圖學(xué)習(xí)的協(xié)同訓(xùn)練算法,到交叉驗(yàn)證協(xié)同訓(xùn)練算法,再到如今的Tri-training算法,基于分歧的方法已經(jīng)得到了有效的驗(yàn)證。Tri-training算法是一種具備很強(qiáng)泛化能力的半監(jiān)督學(xué)習(xí)算法,可以有效提高檢測(cè)的準(zhǔn)確性。然而錯(cuò)誤標(biāo)記數(shù)據(jù)會(huì)引入噪音,從而產(chǎn)生的負(fù)面影響可能會(huì)抵消使用大量未標(biāo)記數(shù)據(jù)的好處。文中改進(jìn)了傳統(tǒng)的Tri-training算法,通過估計(jì)未標(biāo)記數(shù)據(jù)的標(biāo)記置信度,進(jìn)行置信度篩選從而降低了錯(cuò)誤標(biāo)記數(shù)據(jù)放入標(biāo)記數(shù)據(jù)中的可能性。并把置信度作為每個(gè)數(shù)據(jù)的權(quán)重來降低錯(cuò)誤數(shù)據(jù)在模型中的影響,從而提高了算法的準(zhǔn)確率。實(shí)驗(yàn)表明,對(duì)Tri-training的改進(jìn)是有效的,取得了更好的檢測(cè)率,和更快速的檢測(cè)速度。決策樹作為基本機(jī)器學(xué)習(xí)分類方法之一,具有速度快,準(zhǔn)確性高的特點(diǎn),實(shí)際網(wǎng)絡(luò)檢測(cè)時(shí)對(duì)檢測(cè)速度要求很高,因此本文使用決策樹算法作為基本分類器。并結(jié)合集成學(xué)習(xí)算法后形成的分類器作為改進(jìn)型Tri-training算法的弱分類器,進(jìn)一步降低錯(cuò)誤標(biāo)記數(shù)據(jù)的比重,經(jīng)過改進(jìn)Tri-training算法訓(xùn)練后生成最終分類模型,最終實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)流量的準(zhǔn)確和快速分類效果。實(shí)驗(yàn)表明,本文所提出的系統(tǒng)在網(wǎng)絡(luò)流量檢測(cè)方面表現(xiàn)良好,即使在訓(xùn)練數(shù)據(jù)集只有少量標(biāo)記數(shù)據(jù)的情況下,也能取得很好檢測(cè)效果。與之前工作提出的半監(jiān)督檢測(cè)模型相比,在NSL-KDD數(shù)據(jù)集上,該系統(tǒng)在準(zhǔn)確性與算法耗時(shí)上表現(xiàn)最佳;在Kyoto數(shù)據(jù)集上,該系統(tǒng)在準(zhǔn)確性與時(shí)間成本上取得了很好的平衡。
【圖文】：

圖 1-1 研究內(nèi)容結(jié)構(gòu)圖如圖 1-1 所示，為了避免因?yàn)殄e(cuò)誤標(biāo)記引入噪聲所帶來的負(fù)面效果，本文在傳統(tǒng)的 Tri-training 算法的基礎(chǔ)上進(jìn)行了改進(jìn)，對(duì) Tri-training 算法主要是從錯(cuò)誤篩選和權(quán)重迭代倆個(gè)方面去思考，通過置信度閾值判定篩選掉部分錯(cuò)誤標(biāo)記的數(shù)據(jù)，對(duì)仍然可能存在的錯(cuò)誤標(biāo)記數(shù)據(jù)被加入到新標(biāo)記數(shù)據(jù)的情況，也會(huì)因?yàn)橐肓藱?quán)重概念，在迭代過程中錯(cuò)誤標(biāo)記數(shù)據(jù)對(duì)模型的影響越來越低，模型更貼合真實(shí)數(shù)據(jù)分布，從而提高了模型的效果。決策樹算法在數(shù)據(jù)量較少維度較高的情況下表現(xiàn)良好，Adaboost算法專注于之前分類器的誤分類的訓(xùn)練樣本，因此使用 Adaboost 可以進(jìn)一步提高決策樹算法的分類精確度，使用了決策樹算法也能降低時(shí)間成本，將 Adaboost（DT）算法作為改進(jìn) Tri-training 算法的弱分類器，形成本文提出的半監(jiān)督網(wǎng)絡(luò)流量檢測(cè)模型。最后將所提出的模型應(yīng)用在入侵檢測(cè)數(shù)據(jù)集上，并于已有的模型進(jìn)行比較。

圖 2-2 CLS 系統(tǒng)圖的決策樹算法具有代表性的是上世紀(jì) 80 年代的 ID3（Iteramiser 3）算法，ID3 算法[38]的提出的理論基礎(chǔ)主要是基于香農(nóng)信息是使用信息增益作為分裂屬性的選擇標(biāo)準(zhǔn)，然后在各個(gè)節(jié)點(diǎn)上分裂使得某個(gè)節(jié)點(diǎn)屬性分裂后能帶來最多的信息，從量化的角度來說，系統(tǒng)的熵值越小，分類的準(zhǔn)確性也就越高。ID3 算法的優(yōu)點(diǎn)在于分度很快，但無法處理連續(xù)屬性與屬性缺失等問題。而引入了信息增.5 算法則解決了 ID3 的不足之處，更引入了使得算法更加高效的決策，使得決策樹算法進(jìn)一步發(fā)展，本文使用的決策樹算法正是 C4.5 算裂屬性方法屬性的標(biāo)準(zhǔn)對(duì)決策樹的準(zhǔn)確性具有很大影響，下文列舉了常見的幾選取的方法:
【學(xué)位授予單位】：華東師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP181;TP393.08

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 屠恩美;楊杰;;半監(jiān)督學(xué)習(xí)理論及其研究進(jìn)展概述[J];上海交通大學(xué)學(xué)報(bào);2018年10期

2 唐曉亮;韓敏;;一種基于極端學(xué)習(xí)機(jī)的半監(jiān)督學(xué)習(xí)方法[J];大連理工大學(xué)學(xué)報(bào);2010年05期

3 張晨光;李玉擰;;哈希圖半監(jiān)督學(xué)習(xí)方法及其在圖像分割中的應(yīng)用[J];自動(dòng)化學(xué)報(bào);2010年11期

4 張燕;張晨光;張夏歡;;平衡化圖半監(jiān)督學(xué)習(xí)方法[J];系統(tǒng)科學(xué)與數(shù)學(xué);2016年08期

5 李聰;黃俊爽;朱明明;李相儉;;初探半監(jiān)督學(xué)習(xí)在腦白質(zhì)纖維束辨識(shí)中的應(yīng)用[J];科技信息;2010年10期

6 周志華;;半監(jiān)督學(xué)習(xí)�？把訹J];軟件學(xué)報(bào);2008年11期

7 姜震;詹永照;;基于差異半監(jiān)督學(xué)習(xí)的相關(guān)理論分析[J];模式識(shí)別與人工智能;2014年10期

8 張建欣;;基于半監(jiān)督學(xué)習(xí)的在線評(píng)論挖掘應(yīng)用[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2012年20期

9 王曉波;;基于可信點(diǎn)的聯(lián)合半監(jiān)督學(xué)習(xí)[J];哈爾濱商業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2016年01期

10 索南楞智;劉靜靜;劉萍;;結(jié)合圖模型和分層查詢的半監(jiān)督學(xué)習(xí)方法[J];計(jì)算機(jī)工程與設(shè)計(jì);2017年05期

相關(guān)會(huì)議論文 前10條

1 趙玲玲;周水生;王雪巖;;基于集成算法的半監(jiān)督學(xué)習(xí)[A];第十四屆全國信號(hào)處理學(xué)術(shù)年會(huì)(CCSP-2009)論文集[C];2009年

2 陳耀東;王挺;陳火旺;;半監(jiān)督學(xué)習(xí)和主動(dòng)學(xué)習(xí)相結(jié)合的淺層語義分析[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

3 吳龍飛;孫浩;計(jì)科峰;;基于集成映射的半監(jiān)督圖像分類方法[A];第八屆全國信號(hào)和智能信息處理與應(yīng)用學(xué)術(shù)會(huì)議會(huì)刊[C];2014年

4 滑文強(qiáng);王爽;;基于協(xié)同學(xué)習(xí)的半監(jiān)督極化SAR分類[A];第三屆高分辨率對(duì)地觀測(cè)學(xué)術(shù)年會(huì)（天基對(duì)地觀測(cè)技術(shù)分會(huì)）優(yōu)秀論文集[C];2014年

5 林良憲;利德江;蔡孟璇;邱政賢;;針對(duì)小樣本分類的半監(jiān)督式學(xué)習(xí)法[A];第25屆全國灰色系統(tǒng)會(huì)議論文集[C];2014年

6 朱松豪;梁志偉;;用半監(jiān)督學(xué)習(xí)方法實(shí)現(xiàn)圖像檢索[A];第二十九屆中國控制會(huì)議論文集[C];2010年

7 謝永芳;蔣有為;唐明珠;;一種基于數(shù)據(jù)剪輯的半監(jiān)督最鄰近分類算法[A];Proceedings of the 2011 Chinese Control and Decision Conference（CCDC）[C];2011年

8 孫濤;劉靜;劉青山;盧漢清;;半監(jiān)督譜判別式分析[A];第六屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2010)、第19屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2010）、第6屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2010）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2010）論文集[C];2010年

9 何正焱;王厚峰;;商品品牌名稱挖掘[A];中國計(jì)算語言學(xué)研究前沿進(jìn)展（2009-2011）[C];2011年

10 邱維蓉;吳幫玉;賈駿雄;;基于正例和未標(biāo)記樣本的半監(jiān)督集成學(xué)習(xí)方法在滑坡易發(fā)性預(yù)測(cè)中的應(yīng)用[A];中國石油學(xué)會(huì)2019年物探技術(shù)研討會(huì)論文集[C];2019年

相關(guān)博士學(xué)位論文 前10條

1 王紹凱;屬性網(wǎng)絡(luò)的半監(jiān)督學(xué)習(xí)方法研究[D];哈爾濱工業(yè)大學(xué);2018年

2 唐曉亮;基于神經(jīng)網(wǎng)絡(luò)的半監(jiān)督學(xué)習(xí)方法研究[D];大連理工大學(xué);2009年

3 桂杰;基于圖的半監(jiān)督學(xué)習(xí)和維數(shù)約簡(jiǎn)方法及其應(yīng)用研究[D];中國科學(xué)技術(shù)大學(xué);2010年

4 孫博良;在線半監(jiān)督學(xué)習(xí)理論、算法與應(yīng)用研究[D];國防科學(xué)技術(shù)大學(xué);2014年

5 吳夢(mèng)麟;基于半監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像檢索研究[D];南京理工大學(xué);2015年

6 潘俊;基于圖的半監(jiān)督學(xué)習(xí)及其應(yīng)用研究[D];浙江大學(xué);2011年

7 黃鵬;基于廣義半監(jiān)督學(xué)習(xí)方法的軟件質(zhì)量預(yù)測(cè)研究[D];上海交通大學(xué);2010年

8 楊晨雪;圖像特征學(xué)習(xí)方法與應(yīng)用研究[D];電子科技大學(xué);2016年

9 姜震;基于差異的半監(jiān)督學(xué)習(xí)中有關(guān)算法和理論研究[D];復(fù)旦大學(xué);2012年

10 呂佳;基于局部學(xué)習(xí)的半監(jiān)督分類問題研究[D];內(nèi)蒙古大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 張偉健;互聯(lián)網(wǎng)背景下基于集成半監(jiān)督學(xué)習(xí)的用戶對(duì)抗性識(shí)別[D];天津財(cái)經(jīng)大學(xué);2018年

2 吳春葉;基于半監(jiān)督學(xué)習(xí)的觀點(diǎn)挖掘算法的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2019年

3 張仕將;基于最大間隔和半監(jiān)督學(xué)習(xí)的偏標(biāo)記學(xué)習(xí)算法研究[D];太原理工大學(xué);2019年

4 劉文婷;基于半監(jiān)督學(xué)習(xí)的情感分類方法研究[D];北京郵電大學(xué);2019年

5 彭國柱;基于弱監(jiān)督和半監(jiān)督學(xué)習(xí)的面部動(dòng)作單元識(shí)別[D];中國科學(xué)技術(shù)大學(xué);2019年

6 唐新瑤;主動(dòng)學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的視覺數(shù)據(jù)分類方法研究[D];武漢大學(xué);2018年

7 李敦明;基于半監(jiān)督學(xué)習(xí)策略的網(wǎng)絡(luò)異常檢測(cè)方法研究[D];華東師范大學(xué);2019年

8 陳子嵐;基于廣義可加模型的半監(jiān)督學(xué)習(xí)方法[D];廈門大學(xué);2018年

9 祝宏玉;基于不確定性的代價(jià)敏感半監(jiān)督學(xué)習(xí)[D];深圳大學(xué);2018年

10 董豪晨;復(fù)雜半監(jiān)督學(xué)習(xí)場(chǎng)景的研究[D];南京大學(xué);2019年

，

本文編號(hào)：2702788