超大規(guī)模機(jī)器學(xué)習(xí)問(wèn)題往往是許多機(jī)器學(xué)習(xí)算法在實(shí)際應(yīng)用中的一大限制。這種大規(guī)模問(wèn)題經(jīng)常會(huì)遇到,比如專(zhuān)利分類(lèi)。即便是像支持向量機(jī)這樣高效率的學(xué)習(xí)算法,面對(duì)超大規(guī)模的數(shù)據(jù),照樣會(huì)難以克服。在這種情況下,突破單機(jī)限制,利用豐富的并行計(jì)算資源,解決這些大規(guī)模學(xué)習(xí)問(wèn)題往往是比較可行的辦法。最小最大模塊化支持向量機(jī)（M3-SVM）是基于“分而治之”的思想解決大規(guī)模問(wèn)題的有效學(xué)習(xí)算法。它通過(guò)分解大規(guī)模問(wèn)題,變成大量小規(guī)模問(wèn)題進(jìn)行學(xué)習(xí),并通過(guò)有效的分類(lèi)器組合算法將他們重新組合,成為大規(guī)模問(wèn)題的原始解,該算法具有天生的并行特性。本研究主要探討在并行計(jì)算環(huán)境下,并行M3-SVM的實(shí)現(xiàn)和特點(diǎn),分析其并行訓(xùn)練和測(cè)試時(shí)間復(fù)雜度。在原有的最小最大模塊化并行測(cè)試算法基礎(chǔ)上,提出了基于流水化作業(yè)的對(duì)稱(chēng)分類(lèi)器選擇（SCS）算法、非對(duì)稱(chēng)分類(lèi)器選擇（ACS）算法和決策樹(shù)分類(lèi)器選擇（TCS）算法。實(shí)驗(yàn)證明利用流水化作業(yè)的分類(lèi)器選擇算法大大提高了分類(lèi)器測(cè)試的效率。在問(wèn)題劃分環(huán)節(jié)上,我們提出了質(zhì)心連線(xiàn)劃分方法,在不使用先驗(yàn)知識(shí)的情況下,該劃分方法有效提高了分類(lèi)效果。在應(yīng)用方面,本研究利用并行最小最大模塊化支持向量機(jī)解決超大規(guī)模的專(zhuān)... 

【文章來(lái)源】：上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：76 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT（英文摘要）
目錄
主要符號(hào)對(duì)照表
第一章 緒論
    1.1 模式分類(lèi)概述
    1.2 并行機(jī)器學(xué)習(xí)
        1.2.1 研究背景
        1.2.2 研究現(xiàn)狀
    1.3 論文安排
第二章 文本分類(lèi)
    2.1 引言
    2.2 文本分類(lèi)
        2.2.1 問(wèn)題定義
        2.2.2 文本分類(lèi)系統(tǒng)
    2.3 預(yù)處理
        2.3.1 文本清理
        2.3.2 索引
        2.3.3 降維
    2.4 分類(lèi)器學(xué)習(xí)
        2.4.1 樸素貝葉斯
        2.4.2 K近鄰
        2.4.3 Boosting
    2.5 分類(lèi)器評(píng)測(cè)
    2.6 本章小結(jié)
第三章 最小最大模塊化支持向量機(jī)
    3.1 引言
    3.2 支持向量機(jī)
        3.2.1 最優(yōu)超平面
        3.2.2 二次規(guī)劃問(wèn)題
        3.2.3 非線(xiàn)性SVM與核函數(shù)
        3.2.4 多類(lèi)SVM
    3.3 最小最大模塊化支持向量機(jī)
        3.3.1 任務(wù)分解
        3.3.2 分類(lèi)器集成
        3.3.3 數(shù)據(jù)劃分策略
    3.4 本章小結(jié)
第四章 并行最小最大模塊化支持向量機(jī)
    4.1 引言
    4.2 并行M~3-SVM
        4.2.1 并行M~3-SVM架構(gòu)
        4.2.2 復(fù)雜度分析
    4.3 分類(lèi)器選擇算法
        4.3.1 非對(duì)稱(chēng)分類(lèi)器選擇
        4.3.2 對(duì)稱(chēng)分類(lèi)器選擇
        4.3.3 分類(lèi)器選擇算法的評(píng)價(jià)
    4.4 流水化分類(lèi)器選擇算法
        4.4.1 流水
        4.4.2 分類(lèi)器選擇算法的流水化
        4.4.3 復(fù)雜度分析
    4.5 決策樹(shù)分類(lèi)器選擇算法
        4.5.1 元學(xué)習(xí)
    4.6 本章小結(jié)
第五章 并行M~3-SVM在大規(guī)模專(zhuān)利分類(lèi)上的應(yīng)用
    5.1 專(zhuān)利分類(lèi)
        5.1.1 研究背景
        5.1.2 研究現(xiàn)狀
    5.2 專(zhuān)利分類(lèi)實(shí)驗(yàn)
        5.2.1 實(shí)驗(yàn)設(shè)置
        5.2.2 M~3-SVM不同劃分策略的比較
        5.2.3 SVM~(light)與M~3-SVMs對(duì)比實(shí)驗(yàn)
    5.3 本章小結(jié)
第六章 并行M~3-SVM在不平衡分類(lèi)問(wèn)題上的應(yīng)用
    6.1 引言
    6.2 不平衡分類(lèi)問(wèn)題研究現(xiàn)狀
        6.2.1 重采樣
        6.2.2 數(shù)據(jù)劃分與分類(lèi)器集成
        6.2.3 代價(jià)敏感學(xué)習(xí)
    6.3 不平衡分類(lèi)問(wèn)題實(shí)驗(yàn)
        6.3.1 實(shí)驗(yàn)數(shù)據(jù)
        6.3.2 分類(lèi)器
        6.3.3 分類(lèi)器評(píng)測(cè)指標(biāo)
        6.3.4 實(shí)驗(yàn)結(jié)果與分析
    6.4 本章小結(jié)
第七章 總結(jié)與展望
    7.1 本文的主要貢獻(xiàn)
    7.2 進(jìn)一步的研究工作
參考文獻(xiàn)
致謝
個(gè)人簡(jiǎn)歷、在學(xué)期間的研究成果及發(fā)表的論文
上海交通大學(xué)碩士學(xué)位論文答辯決議書(shū)



本文編號(hào)：3262159