第 1 章  緒   論 

1.1  論文研究的背景  
因特網(wǎng)（Internet）的廣泛使用給人們工作和生活帶來了巨大的便利，它讓信息真正的流動起來，讓人們更方便的獲得信息，進行信息的交流。與此同時，信息技術的高速發(fā)展帶來了信息量的爆發(fā)式增長，人們又陷入了另一種煩惱——信息過載和資源迷失，即人們雖然不缺少信息來源和信息量，但是越來越難以簡單的獲得有效的信息，直接選擇信息變得非常困難。人們獲得傳統(tǒng)解決此類問題的方法是使用搜索引擎過濾數(shù)據(jù)。搜索引擎指自動從其他網(wǎng)站提取信息，建立數(shù)據(jù)庫，用戶通過輸入關鍵字進行檢索，搜索引擎返回結(jié)果并對結(jié)果進行排序。到了 web 2.0 時代，論壇、博客開始興起，人們在互聯(lián)網(wǎng)上，不再僅僅瀏覽信息，同時開始生產(chǎn)內(nèi)容，可以讓其他人進行瀏覽，這被稱為UGC(User-generated Content)，即內(nèi)容由用戶產(chǎn)生，而不是平臺產(chǎn)生，比如說博客等，國內(nèi)短視頻類如小咖秀、秒拍等也是其中的代表，同時因為產(chǎn)生這些內(nèi)容的用戶間的差別，這部分內(nèi)容又被劃分出 PGC(Professionally-generated Content)，即內(nèi)容由專家產(chǎn)生，這些內(nèi)容相對信息質(zhì)量較高，大家對于這部分關注度會比較高。在這一階段，互聯(lián)網(wǎng)的信息量又一次的進行飛躍，傳統(tǒng)搜索引擎已經(jīng)不能滿足購物、社交等新生需求。這時候，推薦系統(tǒng)就成為了一種有效的、簡單的過濾信息方式，系統(tǒng)將消息給用戶，而減少用戶自己篩選信息的過程。在過去的幾十年中，在學術上和實際應用中，都有了很大的進步，各類電商平臺，如 Amazon、淘寶、京東等，利用推薦系統(tǒng)提升銷量；各類社交平臺，如 Facebook、Twitter、微博等，利用推薦系統(tǒng)為用戶推薦好友，展示廣告。商業(yè)上的成功應用同樣帶動了大家的研究熱情，使得對推薦系統(tǒng)的研究始終處于一個較高的熱度。 在 2015 年第十二屆全國人大，李克強總理提出“互聯(lián)網(wǎng)+”行動計劃，“推動移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等與現(xiàn)代制造業(yè)結(jié)合，促進電子商務、工業(yè)互聯(lián)網(wǎng)和互聯(lián)網(wǎng)金融健康發(fā)展，引導互聯(lián)網(wǎng)企業(yè)拓展國際市場�！蓖甑氖澜缁ヂ�(lián)網(wǎng)大會上，百度公司董事長兼首席執(zhí)行官李彥宏提出  “百度要連接 3600 行”。在大數(shù)據(jù)、互聯(lián)網(wǎng)+的背景下，中國各個行業(yè)處于前所未有的互聯(lián)網(wǎng)化的時代，所有行業(yè)從未如此容易的收集用戶數(shù)據(jù)，行業(yè)和行業(yè)通過互聯(lián)網(wǎng)形成一個個大生態(tài)、小生態(tài)。
.........

1.2  推薦系統(tǒng)研究現(xiàn)狀 
在搜索引擎時代，人們通過搜索引擎在網(wǎng)上檢索信息，這種信息過濾方式大大方便人們在網(wǎng)絡上瀏覽信息，但與此同時搜索引擎也有他的局限性，具體有（1）搜索引擎智能被動接受用戶的查詢，通過查詢關鍵字進行檢索，每一次的檢索結(jié)果是相同的，用戶不一定會喜歡最先得到的那幾個結(jié)果；（2）有上一點帶來的另一個缺點就是缺乏個性化，在一個提倡釋放個性的時代，在號稱最自由的互聯(lián)網(wǎng)中，一個沒有個性的結(jié)果不會令人一直喜愛的；（3）用戶輸入的關鍵字有時候不能完整的描述用戶的意圖甚至產(chǎn)生歧義，導致搜索引擎的結(jié)果不那么準確，甚至產(chǎn)生錯誤，圖 1.2 就是非常典型的情況。推薦系統(tǒng)由此走到人們面前，它改變了搜索引擎被動的模式，由搜索引擎時代用戶主動輸入關鍵字從服務器拉信息，到推薦系統(tǒng)由系統(tǒng)向用戶推信息，這一推一拉之間的改變，使互聯(lián)網(wǎng)服務變得生動起來。近年來，推薦系統(tǒng)迅速發(fā)展并投入實用，從國外Amazon 的商品推薦、Netflix 的電影推薦，到國內(nèi)的京東推薦商品、豆瓣 FM 的音樂推薦。國內(nèi)外的推薦系統(tǒng)為各自公司帶來了巨大的利潤，提高了營業(yè)額，同時也為用戶帶了更加便捷、舒適的體驗�？吹搅送扑]系統(tǒng)強大的服務潛力，從上世紀九十年代開始，推薦系統(tǒng)就已成為商業(yè)公司和學者眾多研究熱點之一。協(xié)同過濾是推薦系統(tǒng)中使用最為廣泛的方法之一，這種方法集合了社會網(wǎng)絡中的力量，參考了社會學、心理學等人文學科知識，結(jié)合數(shù)學、計算機的技術，進行數(shù)據(jù)過濾。在國外有 IBM、微軟、Facebook 等公司建立研究院，在學術界，重要的學術會議和期刊如 SIGIR、TKDE 等，每一年都有大量的學者研究推薦系統(tǒng)，發(fā)表了大量的文章。在每一年，Amazon、百度、Facebook 會分享部分真實數(shù)據(jù)，以比賽的形式供大家研究學習，以獎金的方式刺激大家投入精力。
..........

第 2 章  本文涉及的相關知識 

前一章節(jié)已經(jīng)講過，推薦系統(tǒng)目前已是解決 web 2.0 時代信息過載問題的重要手段之一，隨著移動互聯(lián)網(wǎng)近年來迅猛發(fā)展，推薦系統(tǒng)在商業(yè)上被普遍應用，從社交軟件推薦朋友，到外賣網(wǎng)站推薦店面、電商網(wǎng)站推薦商品，推薦系統(tǒng)正無時無刻不在幫助我們的生活。簡單來說，推薦系統(tǒng)就是預測一個特定的用戶是否會喜歡特定的對象，并將其推薦給用戶；或者將一組對象進行排序，以一個用戶希望的順序推薦給一個用戶。想推薦對象給特定的用戶，就要知道該用戶相關信息，在推薦系統(tǒng)中這些信息被稱為偏好信息，在問答型社區(qū)這些信息表現(xiàn)為用戶的年齡、性別、閱讀歷史、關注的用戶、興趣標簽等信息。本章介紹推薦系統(tǒng)常用的幾種方法，通過理論闡述的方式理解各種方式的主要使用環(huán)境，以配合本文使用相應的方法。 

2.1  基于內(nèi)容的推薦 
基于內(nèi)容的推薦系統(tǒng)（Content-Based Recommenders）會在對象中提取相應的內(nèi)容特征，根據(jù)這些特征決定是否向特定用戶推薦該對象。例如，在論文推薦系統(tǒng)中，基于內(nèi)容的推薦系統(tǒng)要分析文本信息提煉有效信息（關鍵字），對用戶進行推薦；在音樂推薦中，使用基于內(nèi)容推薦系統(tǒng)會提取使用音樂的數(shù)據(jù),如標題、類型、或作詞人作曲人等信息�；趦�(nèi)容的方法被廣泛用于信息檢索和信息過濾等領域。在基于內(nèi)容的推薦中，系統(tǒng)根據(jù)從推薦對象提取的信息和用戶畫像（User Profile）進行推薦。用戶畫像包含用戶的偏好信息，通過這些信息和對象提取的信息進行匹配。信息檢索技術（Information Retrieval，IR）和機器學習比較適合解決基于內(nèi)容推薦的問題。 
.........

2.2  協(xié)同過濾 
協(xié)同過濾(Collaborative filtering  ，CF)在構(gòu)建推薦系統(tǒng)時經(jīng)常被使用，和基于內(nèi)容的方法不同，協(xié)同過濾不會對將要推薦的對象進行分析提取信息，而是通過用戶對于該對象的評價來進行推薦[2]。在基于協(xié)同過濾的推薦系統(tǒng)中，推薦是基于三個因素：（1）用戶之前的行為；（2）用戶間的社交關系；（3）其他用戶對該對象的評價�？梢哉f協(xié)同過濾是根據(jù)口碑進行篩選的，就如同現(xiàn)實社會一樣，一個用戶會受到其他人或團體的影響喜歡或不喜歡某個事或人，同樣的事情在網(wǎng)絡世界同樣會發(fā)生。群體對項目的評價通過矩陣實現(xiàn)，首先用戶要對對象進行評價，這個評價可以是顯式的也可以是隱式的，但是應該以數(shù)值的形式存在，而不是文本評價，例如對電影的評級通常使用星級，從 1 星到5 星，1 星意味著非常不喜歡該電影而 5 星則代表非常喜歡；而隱式評級是電影的購買記錄，瀏覽該電影片花，評價信息等等[3]。 
............

第 3 章 推薦系統(tǒng)建模 ....... 17 
3.1 數(shù)據(jù)來源和數(shù)據(jù)描述 ........... 17 
3.2 問題建模 ........... 19 
3.3 答案建模 .......... 20 
3.4 用戶模型 ........... 21 
3.5 話題信息模型 ....... 23 
3.6 整體模型 .......... 24 
第 4 章 推薦系統(tǒng)的設計和實現(xiàn) ......... 26 
4.1 適用于問答社區(qū)的協(xié)同過濾 .... 26 
4.2 發(fā)現(xiàn)明星 .......... 29 
4.3 關注關系 .......... 33 
4.4 答案推薦 .......... 33 
4.5 問題推薦 ........... 36 
4.6 推薦冷啟動 ......... 37 
4.6.1 熱門推薦 ..... 38 
4.6.2 精華推薦 ..... 40 
4.7 小結(jié) ............. 41 
第 5 章 總結(jié)與展望 ......... 42 
5.1 總結(jié) .... 42 
5.2 展望 .... 42 

第 4 章  推薦系統(tǒng)的設計和實現(xiàn) 

本文要設計一個問答型社區(qū)的推薦系統(tǒng)，在第 2 章介紹了推薦系統(tǒng)常用的算法和相關理論，在第 3 章討論了用戶、問題和答案的模型建立，在本章將根據(jù)前文的相關理論和建立模型來實現(xiàn)推薦。在問答社區(qū)中，推薦對象是問題和答案，所以在推薦系統(tǒng)中分為兩個部分：（1）問題推薦；（2）答案推薦。

4.1  適用于問答社區(qū)的協(xié)同過濾 

協(xié)同過濾中有多種算法，在本小節(jié)將協(xié)同過濾進行改造，使之適用于問答系統(tǒng)。在問答型社區(qū)中，包含有大量的標簽，在作者作為模板的知乎社區(qū)，有超過四十萬的話題（包含重復的），問題數(shù)量遠超話題數(shù)量，所以說對于某一問題的關注者來講，user-item矩陣會極其稀疏，本文在協(xié)同過濾階段主要使用 user-topic 關注矩陣來減少稀疏性問題，user-question（user-item）關注矩陣同樣會被建立，用于輔助 user-topic 矩陣。 系統(tǒng)使用預計算的模式，即在用戶使用前進行計算，生成一個 top-N 推薦表，根據(jù)本文建模結(jié)構(gòu)計算每個 user 對 question 的關注，生成 user-question 矩陣，user-question關注矩陣如表 4.1 所根據(jù)作者的實驗數(shù)據(jù)觀察，用戶通常關注的話題領域不會特別多，會集中在幾個領域內(nèi)，原因在于，每個用戶的注意力有限，在話題層面一般上會產(chǎn)生關注梯度比較明顯情況，如果關注的話題屬性過于分散，實際上令用戶失去特征，所以選取 5 個關注最高的話題進行計算，減少計算量并增加用戶個性，所以建立起矩陣后，根據(jù)用戶 u 的topic_interest 值選擇關注度最高的 5 個話題，計算用戶間的相似度，減少計算量并增加用戶個性，計算相似度的用戶集 U 選擇這 5 個話題下有關注度的所有用戶。在此需要說明的是，本文選擇計算用戶間相似度，而不是項目間的相似度，原因在于問題的數(shù)量相對于問題變動比用戶變動更加明顯，用戶間相似度計算方法參照公式（2.1），選取用戶u 相似度最高的 5 個最近鄰居，構(gòu)成為 neighbors 表，在數(shù)據(jù)庫中也保存一張 neighbors表，用于保存用戶鄰居。 

........

總結(jié) 

在 web 2.0 時代，數(shù)據(jù)量的飛速增長讓信息過濾變得前所未有的重要，原有的搜索引擎已經(jīng)難以滿足用戶瀏覽數(shù)據(jù)的要求，同時機器學習，人工智能領域在應用方面正逐漸走向成熟，互聯(lián)網(wǎng)技術正在變得越來越主動，而不是原來被動的等待用戶的使用，推薦系統(tǒng)作為網(wǎng)絡主動與用戶進行交互的方式也越來越受到重視。精準的推薦就代表更好的用戶體驗，同樣也代表了龐大的利益，搜索引擎時代 Google 利于其精準的搜索技術進行廣告投放帶來了巨大的廣告收益，今日頭條則通過推薦系統(tǒng)為其帶來了前所未有的成功。今日頭條通過微信和微博賬號登錄的方式獲得用戶在社會網(wǎng)絡的相關信息進行推薦，可見在社會網(wǎng)絡中的推薦也可應用到其他領域。同時在大數(shù)據(jù)，互聯(lián)網(wǎng)+的背景下，用戶在各個領域的數(shù)據(jù)正通過社會網(wǎng)絡進行連接，所以社會網(wǎng)絡中的推薦正變得非常有前景。 首先本文介紹了推薦系統(tǒng)這種解決信息過濾手段的研究背景和研究意義，以及國內(nèi)外的現(xiàn)狀，通過對于問答社區(qū)這種社交網(wǎng)絡的分析，以一個具有更高維度信息的眼光看待問答社區(qū)。其次介紹現(xiàn)有的推薦算法的基本原理，以推薦系統(tǒng)的角度，對其進行對比，，介紹社區(qū)中明星發(fā)現(xiàn)的原理，為后文的系統(tǒng)設計和實現(xiàn)充實了理論基礎。最后，通過對于問答社區(qū)的分析和對推薦算法的理解，對問答社區(qū)進行建模，并最終實現(xiàn)了推薦系統(tǒng)，該推薦系統(tǒng)可對基于用戶的歷史數(shù)據(jù)進行協(xié)同推薦，可以發(fā)現(xiàn)明星，通過明星發(fā)現(xiàn)和基于內(nèi)容的推薦進行答案推薦，通過動態(tài)和精華問題的方法解決推薦冷啟動的問題，并實現(xiàn)了答案的動態(tài)推薦。 
.........
參考文獻(略)

本文編號：86161