許多流行且實用的機器學習方法都是基于求解一個將正則化后的經(jīng)驗風險最小化的最優(yōu)模型,比如支持向量機和矩陣分解方法等等。而另一方面,貝葉斯學習方法關注模型的概率分布,在建模上享有很強的靈活性與健壯性,在推理上也有一系列成熟的算法。因此我們希望能夠將一些正則風險最小化問題轉化成相應的貝葉斯學習問題,并借助后者在建模與推理上豐富的工具與手段,得到更好的學習方法。與此同時,互聯(lián)網(wǎng)的繁榮催生出了一些新的數(shù)據(jù)類型（比如關系數(shù)據(jù)）,如何擴展并利用貝葉斯方法對這類數(shù)據(jù)進行建模與分析是很值得研究的問題。而大數(shù)據(jù)時代的到來,也對貝葉斯方法的推理效率以及可擴展性提出了更高的要求。本文首先考察了如何將一個一般的正則風險最小化問題轉化成貝葉斯學習問題。我們細致地比較了直接基于貝葉斯準則的傳統(tǒng)方法以及最大熵判別方法這兩種不同的實現(xiàn)手段,揭示了它們的一些本質區(qū)別與聯(lián)系。然后,作為實踐該轉化方法的一個具體實例,我們考察了用于分析“用戶-物品”間評分關系的最大間隔矩陣分解方法,并在將其轉化得到的貝葉斯模型中進一步引入了非參數(shù)化的貝葉斯方法,從而有效地解決了隱含因子個數(shù)的選擇問題。最后,我們提出了一個通用的對貝葉斯模型的后... 

【文章頁數(shù)】：85 頁

【學位級別】：博士

【文章目錄】：
摘要
abstract
主要符號對照表
第1章 引言
    1.1 研究背景
        1.1.1 貝葉斯學習方法
        1.1.2 關系數(shù)據(jù)與隱式特征
        1.1.3 大數(shù)據(jù)時代的貝葉斯推理
    1.2 研究內容與主要貢獻
第2章 從最優(yōu)模型到最優(yōu)分布
    2.1 正則風險最小化
    2.2 貝葉斯分析
        2.2.1 代先驗與代似然
        2.2.2 從正則風險最小化到最大后驗估計
        2.2.3 貝葉斯準則的變分優(yōu)化形式
        2.2.4 從點估計到分布估計
    2.3 最大熵判別
        2.3.1 間隔與間隔約束
        2.3.2 支持向量機
        2.3.3 最大熵判別
    2.4 區(qū)別與聯(lián)系
    2.5 學習與推理
        2.5.1 貝葉斯分析
        2.5.2 蒙特卡洛采樣方法
        2.5.3 最大熵判別
        2.5.4 變分近似與平均場假設
        2.5.5 兩種方法最優(yōu)解之間的聯(lián)系
    2.6 本章小結
第3章 支持向量機的貝葉斯模型
    3.1 貝葉斯分析
        3.1.1 數(shù)據(jù)增廣下的采樣近似求解
    3.2 最大熵判別
    3.3 本章小結與討論
第4章 最大間隔矩陣分解的貝葉斯模型
    4.1 協(xié)同過濾問題與矩陣分解
    4.2 最大間隔矩陣分解
    4.3 評分的鉸鏈損失
    4.4 貝葉斯分析
    4.5 最大熵判別
    4.6 本章小結與討論
第5章 非參數(shù)化貝葉斯方法及非參最大間隔矩陣分解
    5.1 隱式特征模型的模型選擇問題
    5.2 印度自助餐過程
        5.2.1 IBP與隱式特征模型的關系
        5.2.2 IBP的吉布斯采樣
        5.2.3 IBP的折棰表示
    5.3 非參最大間隔矩陣分解
        5.3.1 最大熵判別
        5.3.2 貝葉斯分析
    5.4 實驗設計
        5.4.1 數(shù)據(jù)集
        5.4.2 測試方法
        5.4.3 超參數(shù)的選取
    5.5 實驗結果與分析
        5.5.1 預測誤差
        5.5.2 隱含因子的個數(shù)
        5.5.3 算法穩(wěn)定性
        5.5.4 算法運行時間
    5.6 本章小結與討論
第6章 分布式的貝葉斯后驗采樣算法
    6.1 研究動機與相關工作
    6.2 分布式的貝葉斯后驗采樣算法
        6.2.1 期望傳播算法
        6.2.2 基于矩共享的分布式后驗采樣算法
        6.2.3 多維高斯分布族
        6.2.4 算法收斂性
    6.3 實驗設計
        6.3.1 貝葉斯邏輯回歸
        6.3.2 數(shù)據(jù)集
        6.3.3 比較的其他算法
        6.3.4 分布式計算環(huán)境
    6.4 實驗結果與分析
        6.4.1 算法收斂性
        6.4.2 各算法近似誤差的比較
        6.4.3 劃分個數(shù)對算法性能的影響
    6.5 本章小結
第7章 總結與展望
    7.1 全文總結
    7.2 未來工作展望
參考文獻
致謝
個人簡歷、在學期間發(fā)表的學術論文與研究成果



本文編號：3726010