隨著互聯(lián)網(wǎng)網(wǎng)絡(luò)的高速發(fā)展,人與人之間在信息交流中使用電子郵件的頻率與日俱增,它逐漸成為一個(gè)重要的溝通媒介。但是,隨著電子郵件的不斷普及,伴隨而來(lái)的是垃圾郵件的泛濫,控制不好甚至?xí)绊懥巳藗兊恼９ぷ髋c生活。目前已有的垃圾郵件過(guò)濾仍存在諸多不足,不能很好地將垃圾郵件區(qū)分過(guò)濾。針對(duì)這項(xiàng)不足,如何更好地加強(qiáng)對(duì)垃圾郵件過(guò)濾技術(shù)的研究便顯得尤為重要。本次研究是要設(shè)計(jì)一種基于統(tǒng)計(jì)的郵件過(guò)濾系統(tǒng)模型。模型訓(xùn)練選用BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。實(shí)驗(yàn)過(guò)程對(duì)公共PU語(yǔ)料庫(kù)進(jìn)行數(shù)據(jù)預(yù)處理和算法訓(xùn)練得到大量模型,接著進(jìn)行模型選擇,最終通過(guò)模型組合得到垃圾郵件過(guò)濾系統(tǒng)主輔多重協(xié)同模型。郵件在該模型的過(guò)濾過(guò)程中會(huì)被分成多股數(shù)據(jù)流進(jìn)入FC層,并分別在Output層輸出結(jié)果,再根據(jù)子模型虛報(bào)率（FALLOUT）計(jì)算權(quán)值得到最終判斷結(jié)果。論文預(yù)處理過(guò)程包括了基于Hadoop的詞頻統(tǒng)計(jì)、基于改進(jìn)TF算法的詞典降維和向量空間模型（VSM）形式矩陣生成。詞頻統(tǒng)計(jì)得到總特征詞列表、合法郵件特征詞列表、垃圾郵件特征詞列表和每封郵件特征詞列表。本研究針對(duì)數(shù)據(jù)預(yù)處理改進(jìn)了傳統(tǒng)的TF算法,通過(guò)詞頻統(tǒng)計(jì)對(duì)語(yǔ)料庫(kù)特征詞集合進(jìn)行降維,將維度落在20... 

【文章來(lái)源】：深圳大學(xué)廣東省

【文章頁(yè)數(shù)】：64 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
    1.3 本文研究?jī)?nèi)容
    1.4 本文組織結(jié)構(gòu)
第二章 郵件過(guò)濾相關(guān)理論及實(shí)驗(yàn)平臺(tái)
    2.1 郵件過(guò)濾原理
        2.1.1 服務(wù)器端和客戶端的郵件過(guò)濾
        2.1.2 三種郵件過(guò)濾技術(shù)原理
        2.1.3 特征選擇技術(shù)
    2.2 基于統(tǒng)計(jì)的郵件過(guò)濾算法
        2.2.1 貝葉斯
        2.2.2 K近鄰
        2.2.3 支持向量機(jī)
        2.2.4 BP神經(jīng)網(wǎng)絡(luò)算法
    2.3 Hadoop平臺(tái)及MapReduce編程模式
        2.3.1 Hadoop平臺(tái)
        2.3.2 MapReduce編程模式
    2.4 小結(jié)
第三章 數(shù)據(jù)采集、詞典維數(shù)與預(yù)處理
    3.1 實(shí)驗(yàn)語(yǔ)料庫(kù)選擇
    3.2 語(yǔ)料庫(kù)子集劃分
    3.3 基于Hadoop實(shí)驗(yàn)數(shù)據(jù)詞頻統(tǒng)計(jì)
    3.4 基于改進(jìn)的TF算法詞典降維
        3.4.1 初步降維
        3.4.2 詞典降維
        3.4.3 生成VSM形式的稀疏矩陣
    3.5 數(shù)據(jù)處理實(shí)驗(yàn)
        3.5.1 Hadoop的配置
        3.5.2 實(shí)驗(yàn)過(guò)程
        3.5.3 實(shí)驗(yàn)結(jié)果
    3.6 小結(jié)
第四章 基于BP神經(jīng)網(wǎng)絡(luò)郵件過(guò)濾研究
    4.1 算法訓(xùn)練及模型選擇
        4.1.1 學(xué)習(xí)率（Learning Rate）選擇
        4.1.2 模型仿真及最優(yōu)模型選擇
    4.2 實(shí)驗(yàn)最優(yōu)模型與SVM基函數(shù)訓(xùn)練模型比較
    4.3 小結(jié)
第五章 多重過(guò)濾系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
    5.1 多重郵件過(guò)濾系統(tǒng)的流程設(shè)計(jì)
    5.2 指標(biāo)測(cè)試結(jié)果
        5.2.1 重要評(píng)價(jià)指標(biāo)
        5.2.2 基于AUC的評(píng)價(jià)指標(biāo)
    5.3 模型運(yùn)算量評(píng)估
    5.4 模型內(nèi)存占用率評(píng)估
    5.5 小結(jié)
第六章 總結(jié)與展望
    6.1 總結(jié)
    6.2 展望
參考文獻(xiàn)
致謝


【參考文獻(xiàn)】：
期刊論文
[1]DNS服務(wù)器淺談[J]. 楊龍.  電腦知識(shí)與技術(shù). 2017(21)
[2]Hadoop MapReduce短作業(yè)執(zhí)行性能優(yōu)化[J]. 顧榮,嚴(yán)金雙,楊曉亮,袁春風(fēng),黃宜華.  計(jì)算機(jī)研究與發(fā)展. 2014(06)
[3]垃圾郵件優(yōu)化過(guò)濾方法的研究與仿真[J]. 邵葉秦.  計(jì)算機(jī)仿真. 2013(12)
[4]基于鄰接表的進(jìn)路廣度搜索算法分析[J]. 文冬林.  科技資訊. 2013(34)
[5]文本分類中TF-IDF方法的改進(jìn)研究[J]. 覃世安,李法運(yùn).  現(xiàn)代圖書(shū)情報(bào)技術(shù). 2013(10)
[6]一種智能垃圾郵件過(guò)濾模型的仿真研究[J]. 雷劍剛,孫細(xì)斌.  計(jì)算機(jī)仿真. 2013(05)
[7]VSM信息檢索中的數(shù)據(jù)稀疏問(wèn)題分析與規(guī)避策略[J]. 梁士金.  圖書(shū)情報(bào)工作. 2013(01)
[8]Matlab神經(jīng)網(wǎng)絡(luò)工具NNTool的應(yīng)用與仿真[J]. 唐忠,謝濤.  計(jì)算機(jī)與現(xiàn)代化. 2012(12)
[9]Hadoop HDFS和MapReduce架構(gòu)淺析[J]. 郝樹(shù)魁.  郵電設(shè)計(jì)技術(shù). 2012(07)
[10]基于AUC的分類器評(píng)價(jià)和設(shè)計(jì)綜述[J]. 汪云云,陳松燦.  模式識(shí)別與人工智能. 2011(01)

碩士論文
[1]郵件服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)[D]. 韓穎.吉林大學(xué) 2014
[2]ID3算法、樸素貝葉斯算法和BP神經(jīng)網(wǎng)絡(luò)算法的比較和分析研究[D]. 林士杰.內(nèi)蒙古大學(xué) 2013
[3]基于改進(jìn)SVM的垃圾郵件過(guò)濾系統(tǒng)研究與實(shí)現(xiàn)[D]. 陳孝禮.山東師范大學(xué) 2011
[4]基于神經(jīng)網(wǎng)絡(luò)集成的垃圾郵件過(guò)濾系統(tǒng)設(shè)計(jì)[D]. 劉寶萍.山西財(cái)經(jīng)大學(xué) 2010
[5]Exchange郵件傳輸過(guò)程的安全性研究[D]. 金晶.上海交通大學(xué) 2009
[6]基于內(nèi)容的垃圾郵件過(guò)濾技術(shù)研究[D]. 楊麗華.西南交通大學(xué) 2006
[7]基于支持向量機(jī)理論的垃圾郵件過(guò)濾模型[D]. 張羽.電子科技大學(xué) 2006
[8]基于內(nèi)容的垃圾郵件過(guò)濾研究[D]. 潘文鋒.中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所） 2004



本文編號(hào)：3160048