本文關(guān)鍵詞：基于遷移學(xué)習(xí)的特征選擇與分類方法及其應(yīng)用研究，由筆耕文化傳播整理發(fā)布。

【摘要】：近年來,特征降維和模式分類方法作為模式識(shí)別研究領(lǐng)域的兩大重要內(nèi)容,受到廣大學(xué)者的關(guān)注。特別是隨著近期出現(xiàn)遷移學(xué)習(xí)框架的快速發(fā)展,使特征降維和模式分類方法的適用范圍更加廣泛。但是,傳統(tǒng)的特征降維和模式分類方法仍然面臨著一系列的問題,如精度不高,泛化能力弱,應(yīng)用范圍單一等。鑒于此,本課題在遷移框架下對(duì)特征降維和模式分類進(jìn)行了相關(guān)研究,具體內(nèi)容如下:1、以Relief算法為基礎(chǔ)研究了基于遷移學(xué)習(xí)的特征選擇方法。在遷移學(xué)習(xí)的應(yīng)用場景下構(gòu)造了基于間距最大化原理的最優(yōu)化學(xué)習(xí)問題,而后運(yùn)用優(yōu)化理論對(duì)該函數(shù)進(jìn)行了理論證明,最后對(duì)應(yīng)于遷移環(huán)境下二類和多類的遷移學(xué)習(xí)問題,提出不同版本的遷移Relief算法。通過在人工集和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)表明算法是有效的。2、研究面向演進(jìn)數(shù)據(jù)流數(shù)據(jù)的分類方法,在有效利用相鄰演進(jìn)窗內(nèi)數(shù)據(jù)間相似性信息的基礎(chǔ)上,通過引入反例信息,構(gòu)建了一種面向演進(jìn)數(shù)據(jù)流的增強(qiáng)型演進(jìn)分類器優(yōu)化目標(biāo)函數(shù),從而推導(dǎo)出面向演進(jìn)數(shù)據(jù)流的分類新方法。該方法在保有最大間隔原則和全局優(yōu)化特性的同時(shí),亦充分考慮反例信息對(duì)待解分類平面的影響。模擬和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)表明了所提新方法的有效性。3、基于組概率的學(xué)習(xí)方法因其能夠很好地保護(hù)數(shù)據(jù)的隱私性而成為近年來機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)。已有的組概率學(xué)習(xí)方法雖然取得了一定的效果,但是在模型訓(xùn)練時(shí)僅考慮單一的場景信息,如果在當(dāng)前領(lǐng)域所采集的數(shù)據(jù)信息有限,則在當(dāng)前領(lǐng)域下建立的分類模型泛化能力較差。針對(duì)此問題,提出了一種基于組概率和結(jié)構(gòu)風(fēng)險(xiǎn)最小化模型的遷移組概率學(xué)習(xí)機(jī)(TGPLM)。該方法通過構(gòu)造領(lǐng)域相似距離項(xiàng)來引入歷史領(lǐng)域的先驗(yàn)知識(shí),提出了針對(duì)類標(biāo)簽保護(hù)數(shù)據(jù)的增強(qiáng)型分類器優(yōu)化目標(biāo)學(xué)習(xí)準(zhǔn)則,以期在有效利用當(dāng)前領(lǐng)域數(shù)據(jù)類標(biāo)簽組概率信息的同時(shí)借鑒歷史領(lǐng)域相關(guān)知識(shí)來指導(dǎo)當(dāng)前領(lǐng)域下的學(xué)習(xí)任務(wù)。基于模擬、UCI及PIE人臉等數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,本文所提之方法是有效的。4、為解決機(jī)器學(xué)習(xí)中的主觀知識(shí)缺失問題,提出一種新的面向共享數(shù)據(jù)的遷移組概率學(xué)習(xí)機(jī)(TGPLM-CD)。該方法方法基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化模型,將源領(lǐng)域所含知識(shí)和目標(biāo)領(lǐng)域的類標(biāo)簽組概率信息,特別是領(lǐng)域間的共享數(shù)據(jù)納入學(xué)習(xí)框架中,進(jìn)而實(shí)現(xiàn)了源領(lǐng)域和目標(biāo)領(lǐng)域的知識(shí)遷移,因此在待研究領(lǐng)域數(shù)據(jù)信息不足的情況下提高了分類精確度。在大量數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果上表明了所提方法的有效性。5、在真實(shí)世界中往往無法得到數(shù)據(jù)的確切類別標(biāo)簽,為解決該場景下的分類學(xué)習(xí)問題,提出一種新的適用于不確定類標(biāo)簽數(shù)據(jù)的遷移標(biāo)支持向量機(jī)方法(TSVM-UL)。該方法基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化模型,同時(shí)將源領(lǐng)域中所學(xué)知識(shí),領(lǐng)域間的共享數(shù)據(jù)及目標(biāo)領(lǐng)域中已標(biāo)定的和不確定的數(shù)據(jù)納入組概率學(xué)習(xí)框架中,進(jìn)而實(shí)現(xiàn)了源領(lǐng)域和目標(biāo)領(lǐng)域的知識(shí)遷移。在PIE人臉數(shù)據(jù)集和20Newsgroups數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果上表明了所提方法的有效性。6、在政治、欺詐檢測和疾病診斷等領(lǐng)域,為了保護(hù)數(shù)據(jù)標(biāo)簽信息的隱私性,一種常見情況是僅知道少量已標(biāo)記信息和未標(biāo)記樣本的比例信息,由此產(chǎn)生了一種人為的信息缺失。為解決該應(yīng)用場景下的分類學(xué)習(xí)問題,提出一種新的部分類標(biāo)簽隱私保護(hù)的流形支持向量機(jī)(Support vector machine with manifold regularization and partially labeling privacy protection,SVM-MRPLPP)。該方法將未標(biāo)定數(shù)據(jù)的類標(biāo)簽比例信息納入流形正則學(xué)習(xí)框架中,構(gòu)造了一種分類器優(yōu)化目標(biāo)函數(shù)準(zhǔn)則,提高了分類學(xué)習(xí)能力。而后為降低算法復(fù)雜度優(yōu)化了目標(biāo)函數(shù),提出了適合大樣本數(shù)據(jù)集的部分類標(biāo)簽隱私保護(hù)的大樣本流形支持向量機(jī)(Scalable support vector machine with manifold regularization and partially labeling privacy protection,SSVM-MRPLPP)實(shí)現(xiàn)了對(duì)大樣本的快速訓(xùn)練和分類。大量人造和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明了SVM-MRPLPP和SSVM-MRPLPP算法的有效性。
【關(guān)鍵詞】：演進(jìn)數(shù)據(jù)流 支持向量機(jī) 遷移學(xué)習(xí) 組概率 隱私保護(hù)
【學(xué)位授予單位】：江南大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP181;TP391.4
【目錄】：

• 摘要3-5
• ABSTRACT5-10
• 第一章 緒論10-16
• 1.1 課題研究背景10-13
• 1.1.1 特征降維方法10-11
• 1.1.2 模式分類方法11-12
• 1.1.3 遷移學(xué)習(xí)12-13
• 1.2 特征降維和模式分類面臨的幾個(gè)挑戰(zhàn)13-14
• 1.3 課題主要內(nèi)容、特色和創(chuàng)新14-16
• 第二章 基于遷移學(xué)習(xí)的特征選擇方法研究16-28
• 2.1 引言16
• 2.2 RELIEF和間距最大化16-19
• 2.2.1 Relief算法16-17
• 2.2.2 基于間距最大化的Relief特征加權(quán)17
• 2.2.3 迭代Relief17-19
• 2.3 遷移RELIEF19-21
• 2.3.1 遷移Relief框架目標(biāo)函數(shù)19-20
• 2.3.2 理論推導(dǎo)20-21
• 2.4 適用于多類數(shù)據(jù)的T-RELIEF-M方法21-22
• 2.4.1 T-Relief-m方法21-22
• 2.4.3 計(jì)算復(fù)雜性分析22
• 2.5 實(shí)驗(yàn)與分析22-26
• 2.5.1 實(shí)驗(yàn)設(shè)置22
• 2.5.2 人工數(shù)據(jù)集22-25
• 2.5.3 真實(shí)數(shù)據(jù)集25-26
• 2.6 結(jié)論26-28
• 第三章 一種面向演進(jìn)數(shù)據(jù)流的結(jié)合相似準(zhǔn)則和反例信息的分類新方法28-40
• 3.1 引言28-29
• 3.2 TA-SVM29
• 3.3 結(jié)合相似準(zhǔn)則與反例信息的演進(jìn)數(shù)據(jù)流支持向量機(jī)：SCC-SVM29-34
• 3.3.1 結(jié)合相似準(zhǔn)則和反例信息的目標(biāo)函數(shù)構(gòu)造29-33
• 3.3.2 算法描述33
• 3.3.3 討論33-34
• 3.4 實(shí)驗(yàn)與分析34-38
• 3.4.1 人造數(shù)據(jù)集34-37
• 3.4.2 真實(shí)數(shù)據(jù)集37-38
• 3.5 總結(jié)38-40
• 第四章 遷移組概率學(xué)習(xí)機(jī)40-54
• 4.1 引言40-41
• 4.2 反向標(biāo)定技術(shù)(IC)41
• 4.3 遷移組概率學(xué)習(xí)機(jī)41-48
• 4.3.1 融合數(shù)據(jù)和組概率的目標(biāo)函數(shù)構(gòu)造42-43
• 4.3.2 相關(guān)定理推導(dǎo)和證明43-47
• 4.3.3 TGPLM算法流程47
• 4.3.4 TGPLM的問題復(fù)雜度分析47-48
• 4.4 實(shí)驗(yàn)結(jié)果與分析48-53
• 4.4.1 人工數(shù)據(jù)集48-49
• 4.4.2 真實(shí)數(shù)據(jù)集49-51
• 4.4.3 參數(shù)敏感實(shí)驗(yàn)51-53
• 4.5 結(jié)論53-54
• 第五章 面向共享數(shù)據(jù)的遷移組概率學(xué)習(xí)機(jī)54-68
• 5.1 前言54
• 5.2 組概率支持向量機(jī)(IC-SVM)54-55
• 5.2.1 傳統(tǒng)支持向量機(jī)54-55
• 5.2.2 組概率支持向量機(jī)55
• 5.3 面向共享數(shù)據(jù)的遷移組概率學(xué)習(xí)機(jī)55-63
• 5.3.1 問題定義56
• 5.3.2 目標(biāo)函數(shù)構(gòu)造56-58
• 5.3.3 相關(guān)定理推導(dǎo)和證明58-62
• 5.3.4 TGPLM-CD算法流程62-63
• 5.4 實(shí)驗(yàn)結(jié)果與分析63-67
• 5.4.1 人造雙月型數(shù)據(jù)集64-65
• 5.4.2 真實(shí)數(shù)據(jù)集65-67
• 5.5 結(jié)論67-68
• 第六章 適用于不確定類標(biāo)簽數(shù)據(jù)學(xué)習(xí)的遷移支持向量機(jī)68-78
• 6.1 前言68-69
• 6.2 相關(guān)工作69
• 6.3 適用于不確定類標(biāo)簽數(shù)據(jù)學(xué)習(xí)的遷移支持向量機(jī)69-74
• 6.3.1 目標(biāo)函數(shù)構(gòu)造69-70
• 6.3.2 相關(guān)定理推導(dǎo)和證明70-73
• 6.3.3 TSVM-UL算法流程73-74
• 6.4 實(shí)驗(yàn)結(jié)果與分析74-77
• 6.4.1 PIE人臉數(shù)據(jù)集74-75
• 6.4.2 跨領(lǐng)域文本數(shù)據(jù)集 20Newsgroups75-76
• 6.4.3 UCI數(shù)據(jù)集76-77
• 6.4.4 實(shí)驗(yàn)結(jié)果分析77
• 6.5 結(jié)論77-78
• 第七章 基于不確定標(biāo)簽比例的半監(jiān)督學(xué)習(xí)機(jī)78-96
• 7.1 引言78-79
• 7.2 流形正則化(MR)框架79-80
• 7.3 部分類標(biāo)簽保護(hù)的流形支持向量機(jī)80-83
• 7.3.1 目標(biāo)函數(shù)構(gòu)造80-81
• 7.3.2 相關(guān)定理推導(dǎo)和證明81-83
• 7.3.3 SVM-MR&PLPP算法流程83
• 7.3.4 SVM-MR&PLPP的問題復(fù)雜度分析83
• 7.4 適用于大數(shù)據(jù)集的類標(biāo)簽隱私保護(hù)的流形學(xué)習(xí)機(jī)83-86
• 7.4.1 目標(biāo)函數(shù)構(gòu)造83-84
• 7.4.2 相關(guān)定理證明84-85
• 7.4.3 SSVM-MR&PLPP算法流程85-86
• 7.4.4 算法分析86
• 7.5 實(shí)驗(yàn)與分析86-94
• 7.5.1 人工數(shù)據(jù)集86-90
• 7.5.2 真實(shí)數(shù)據(jù)集90-93
• 7.5.3 不同數(shù)目帶標(biāo)簽樣本和未帶標(biāo)簽樣本實(shí)驗(yàn)93-94
• 7.6 結(jié)論94-96
• 第八章 結(jié)束語96-98
• 致謝98-100
• 參考文獻(xiàn)100-108
• 附錄 1：作者在攻讀博士學(xué)位期間發(fā)表的論文列表108
• 附錄 2：攻讀博士學(xué)位期間參與的科研項(xiàng)目列表108

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 朱顥東;周姝;鐘勇;;結(jié)合ODF和辨識(shí)集的特征選擇[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年01期

2 韓建民;于娟;虞慧群;賈l，

本文編號(hào)：407241