許多流行且實(shí)用的機(jī)器學(xué)習(xí)方法都是基于求解一個將正則化后的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的最優(yōu)模型,比如支持向量機(jī)和矩陣分解方法等等。而另一方面,貝葉斯學(xué)習(xí)方法關(guān)注模型的概率分布,在建模上享有很強(qiáng)的靈活性與健壯性,在推理上也有一系列成熟的算法。因此我們希望能夠?qū)⒁恍┱齽t風(fēng)險(xiǎn)最小化問題轉(zhuǎn)化成相應(yīng)的貝葉斯學(xué)習(xí)問題,并借助后者在建模與推理上豐富的工具與手段,得到更好的學(xué)習(xí)方法。與此同時,互聯(lián)網(wǎng)的繁榮催生出了一些新的數(shù)據(jù)類型（比如關(guān)系數(shù)據(jù)）,如何擴(kuò)展并利用貝葉斯方法對這類數(shù)據(jù)進(jìn)行建模與分析是很值得研究的問題。而大數(shù)據(jù)時代的到來,也對貝葉斯方法的推理效率以及可擴(kuò)展性提出了更高的要求。本文首先考察了如何將一個一般的正則風(fēng)險(xiǎn)最小化問題轉(zhuǎn)化成貝葉斯學(xué)習(xí)問題。我們細(xì)致地比較了直接基于貝葉斯準(zhǔn)則的傳統(tǒng)方法以及最大熵判別方法這兩種不同的實(shí)現(xiàn)手段,揭示了它們的一些本質(zhì)區(qū)別與聯(lián)系。然后,作為實(shí)踐該轉(zhuǎn)化方法的一個具體實(shí)例,我們考察了用于分析“用戶-物品”間評分關(guān)系的最大間隔矩陣分解方法,并在將其轉(zhuǎn)化得到的貝葉斯模型中進(jìn)一步引入了非參數(shù)化的貝葉斯方法,從而有效地解決了隱含因子個數(shù)的選擇問題。最后,我們提出了一個通用的對貝葉斯模型的后... 

【文章頁數(shù)】：85 頁

【學(xué)位級別】：博士

【文章目錄】：
摘要
abstract
主要符號對照表
第1章 引言
    1.1 研究背景
        1.1.1 貝葉斯學(xué)習(xí)方法
        1.1.2 關(guān)系數(shù)據(jù)與隱式特征
        1.1.3 大數(shù)據(jù)時代的貝葉斯推理
    1.2 研究內(nèi)容與主要貢獻(xiàn)
第2章 從最優(yōu)模型到最優(yōu)分布
    2.1 正則風(fēng)險(xiǎn)最小化
    2.2 貝葉斯分析
        2.2.1 代先驗(yàn)與代似然
        2.2.2 從正則風(fēng)險(xiǎn)最小化到最大后驗(yàn)估計(jì)
        2.2.3 貝葉斯準(zhǔn)則的變分優(yōu)化形式
        2.2.4 從點(diǎn)估計(jì)到分布估計(jì)
    2.3 最大熵判別
        2.3.1 間隔與間隔約束
        2.3.2 支持向量機(jī)
        2.3.3 最大熵判別
    2.4 區(qū)別與聯(lián)系
    2.5 學(xué)習(xí)與推理
        2.5.1 貝葉斯分析
        2.5.2 蒙特卡洛采樣方法
        2.5.3 最大熵判別
        2.5.4 變分近似與平均場假設(shè)
        2.5.5 兩種方法最優(yōu)解之間的聯(lián)系
    2.6 本章小結(jié)
第3章 支持向量機(jī)的貝葉斯模型
    3.1 貝葉斯分析
        3.1.1 數(shù)據(jù)增廣下的采樣近似求解
    3.2 最大熵判別
    3.3 本章小結(jié)與討論
第4章 最大間隔矩陣分解的貝葉斯模型
    4.1 協(xié)同過濾問題與矩陣分解
    4.2 最大間隔矩陣分解
    4.3 評分的鉸鏈損失
    4.4 貝葉斯分析
    4.5 最大熵判別
    4.6 本章小結(jié)與討論
第5章 非參數(shù)化貝葉斯方法及非參最大間隔矩陣分解
    5.1 隱式特征模型的模型選擇問題
    5.2 印度自助餐過程
        5.2.1 IBP與隱式特征模型的關(guān)系
        5.2.2 IBP的吉布斯采樣
        5.2.3 IBP的折棰表示
    5.3 非參最大間隔矩陣分解
        5.3.1 最大熵判別
        5.3.2 貝葉斯分析
    5.4 實(shí)驗(yàn)設(shè)計(jì)
        5.4.1 數(shù)據(jù)集
        5.4.2 測試方法
        5.4.3 超參數(shù)的選取
    5.5 實(shí)驗(yàn)結(jié)果與分析
        5.5.1 預(yù)測誤差
        5.5.2 隱含因子的個數(shù)
        5.5.3 算法穩(wěn)定性
        5.5.4 算法運(yùn)行時間
    5.6 本章小結(jié)與討論
第6章 分布式的貝葉斯后驗(yàn)采樣算法
    6.1 研究動機(jī)與相關(guān)工作
    6.2 分布式的貝葉斯后驗(yàn)采樣算法
        6.2.1 期望傳播算法
        6.2.2 基于矩共享的分布式后驗(yàn)采樣算法
        6.2.3 多維高斯分布族
        6.2.4 算法收斂性
    6.3 實(shí)驗(yàn)設(shè)計(jì)
        6.3.1 貝葉斯邏輯回歸
        6.3.2 數(shù)據(jù)集
        6.3.3 比較的其他算法
        6.3.4 分布式計(jì)算環(huán)境
    6.4 實(shí)驗(yàn)結(jié)果與分析
        6.4.1 算法收斂性
        6.4.2 各算法近似誤差的比較
        6.4.3 劃分個數(shù)對算法性能的影響
    6.5 本章小結(jié)
第7章 總結(jié)與展望
    7.1 全文總結(jié)
    7.2 未來工作展望
參考文獻(xiàn)
致謝
個人簡歷、在學(xué)期間發(fā)表的學(xué)術(shù)論文與研究成果



本文編號：3726010