發(fā)布時間：2016-05-26 18:00

  本文關(guān)鍵詞：推薦系統(tǒng)，由筆耕文化傳播整理發(fā)布。

====2014年更新答案====
Netflix現(xiàn)在的算法已經(jīng)不再主要是機(jī)器挖掘進(jìn)行分類，而是人工手動定義電影標(biāo)簽。如果大家想看可以看這篇文章：How Netflix Reverse Engineered Hollywood
比如一個電影可以屬于：獲得奧斯卡獎的有關(guān)被禁止的愛情的情感倫理片
或者屬于 1980年年代的，懸疑+暴力的動作片

而用戶有多喜歡這些標(biāo)簽則依然是計算機(jī)算法計算出來的

這篇文章里還提到通過這些標(biāo)簽，都可以編造出一些其實不存在的電影，例如：
1.世界末日之后有關(guān)友誼的喜劇
2.根據(jù)中東家庭真實故事改編的，海下王國父親與兒子的故事

你說Netflix如果不去編電影，就簡直是浪費(fèi)了這么逆天的算法了~~

====之前的文章====
《Netflix的大數(shù)據(jù)挖掘與紙牌屋》
答者注：我只是從一個側(cè)重點(diǎn)去講了Netflix是如何通過了解用戶讓《紙牌屋》暢銷的，一部電視劇的成功有諸多理由，更多時候是人的判斷。但對于用戶數(shù)據(jù)的深度挖掘正是Netflix與其他Producer的差別。

===回歸正文===
如果有人邀請你去看一場電影，你第一個問題，很有可能是，什么電影？
你可能會聽信你的朋友的力薦，或者是新聞上公布的票房，或者是豆瓣上的評分，或者就憑自己的直覺。然而如果有一位朋友特別了解你的喜好，基本上每次給你推薦看的電影你都非常喜歡，而且他可以讓你在家里看，比電影院便宜很多，你是不是覺得太好了。這個朋友就是Netflix。

Netflix推出《紙牌屋》的一個來源是靈感和完美的執(zhí)行，但相比較其他電視劇則是Netflix優(yōu)異的數(shù)據(jù)分析能力。這是因為他有世界上最好的推薦系統(tǒng)，對于用戶的了解甚至比任何導(dǎo)演都清楚。下面由我以技術(shù)的角度來分析一下Netflix到底優(yōu)勢是怎么體現(xiàn)出來的。

個性化推薦算法（百度百科：個性化推薦系統(tǒng)），也被稱作協(xié)同過濾，是大數(shù)據(jù)挖掘的一部分。
對于不懂?dāng)?shù)學(xué)的人來講，就是當(dāng)電腦了解到成百上千人對于成百上千個電影的喜好之后，電腦又了解了你所喜歡的幾十個電影，然后推薦給他猜你會喜歡的電影。

補(bǔ)充一下：
有朋友可能就會問，用戶信息挖掘，其實找個數(shù)學(xué)家統(tǒng)計一下用戶信息就行了，個性化推薦有那么大必要嗎？其實是天壤之別，用戶信息挖掘的區(qū)別就像做心理測試和天氣預(yù)報的差別一樣大——心理測試，一般來講是不用負(fù)責(zé)任的，而天氣預(yù)報，是有確定的答案的，你要么算得對，你要么算得不對。個性化推薦也同樣，你推薦給用戶的電影，要么他喜歡（然后買單了），要么他直接pass了。所以說，個性化推薦是一種具有實驗檢驗性質(zhì)的用戶挖掘。最后被Netflix利用到最高境界：沒有拍攝的電影，Netflix都可以預(yù)測這個電影會受歡迎。

==== 學(xué)過線性代數(shù)歡迎踩過華麗的分割線 =====
其基礎(chǔ)的數(shù)學(xué)就是，有n個電影，和m個用戶。
那么評價就可以放在一個n*m大小的矩陣?yán)�，歸一化后，觀眾對于一部電影的評價分布在0~1之間。 而且通常來講，不會告訴你有個人或者電影的任何細(xì)節(jié)信息（人的性別，年齡，喜好，電影的導(dǎo)演，演員，風(fēng)格，都沒有給矩陣）
現(xiàn)在問，如果隱藏一部分?jǐn)?shù)據(jù)的話，是否能夠推算出其他的數(shù)據(jù)。

對于隨機(jī)的矩陣，這個是毫無價值的，但這個矩陣并不是隨機(jī)的，下面我們來分析一些里面的規(guī)律。
先從最基本的排行榜的角度來看，人們喜歡排行榜前幾名的幾率要遠(yuǎn)大于后面默默無聞的，這也很正常，電影之間拍攝水平也不同。
然后從觀眾喜好來講，喜歡《美麗心靈》的同學(xué)喜歡《Big bang theory》的可能性也會更大，喜歡《臥虎藏龍》的同學(xué)喜歡《醉拳》的可能性也大。這就是經(jīng)常某一個商品底下我們會看到，喜歡該商品的朋友還推薦XXX商品
還有一種可能性就是看你喜歡的電影是否類似另外的某一個用戶——如果想像，并且他有喜歡的電影你缺沒看過，那么你很有可能也會喜歡。

以上幾個方法可以做到一定準(zhǔn)確率的個性化推薦，然而想再提升則需要更大的本領(lǐng)了。
Netflix公司為了提升推薦算法的準(zhǔn)確率，2006年推出了Netflix Prize 百萬美元大獎，就是讓大家找到能夠提升其推薦算法10%的高級方法。這里有兩篇博文有詳細(xì)的介紹：Netflix 推薦系統(tǒng)：第一部分Netflix 推薦系統(tǒng)：第二部分

其中最核心的部分是SVD（奇異值分解） ，其核心思想又與Topic Model（主題模型）又密切相關(guān)。下面我們來簡要介紹一下這個的核心思想。
實際中的人，是很復(fù)雜的一個狀態(tài)，電影也是很復(fù)雜的一個狀態(tài)——而之前的每一種模型都認(rèn)為每一個人喜歡同一個電影的原因是完全一樣的。那么我們可以引入一個全新的概念叫做電影的主題/Topic或者叫電影的“口味”/aspect
張三不再是只是喜歡某一個具體的電影，而是張三有三個喜歡的分支，一個是喜歡各種武俠動作電影，另一個是喜歡黑幫動作電影，還有一個是喜歡梁朝偉演的各種電影。而李四，則或許酷愛日本的愛情片，動作片和梁朝偉出演的各種電影。
而倒過來，比如《七武士》可能包含一定成分的武俠，又是日本的動作片。這部電影可能張三和李四都喜歡，但是喜歡的理由卻可能完全不同。
所以問題就轉(zhuǎn)化成，如何對于一個矩陣進(jìn)行分解。將原有n*m的矩陣分解成一個n*k的人-主題矩陣和一個k*m主題-電影矩陣。用矩陣表達(dá)就是

其中k是主題的個數(shù)，epsilon是一個很小的誤差值
這個工作則正好與屬性值的奇異值分解有巨大關(guān)系，感興趣的同學(xué)不妨看看這篇文章：推薦系統(tǒng)相關(guān)算法(1)：SVD 由于口味k的數(shù)量要遠(yuǎn)小于人數(shù)或者電影數(shù)，所以這也是一種主成分分析（PCA）：最顯著的k個特征向量被抽取出來，形成了電影特定的口味。

當(dāng)然如果事情有這么簡單，早就有人拿獎了。SVD是一個很好的模型，但是依舊很粗糙，全世界的各個不同人在SVD的基礎(chǔ)之上，添加了自己的獨(dú)門秘笈，，有人加了概率里的貝葉斯統(tǒng)計（比如pLSA, LDA, CTM），有人加了物理模型，有人加了神經(jīng)元網(wǎng)絡(luò)算法，有人加了馬爾可夫鏈，有人加了決策樹，也有人加了自己秘制手動調(diào)節(jié)的參數(shù)。由于Netflix每次評判，參賽人并不能夠看到評判數(shù)據(jù)，而只能看到自己的評判結(jié)果，實際過程中，許多模型已經(jīng)到后來失去了其科學(xué)模型，而更像是調(diào)雞尾酒那樣湊出一個解。
最后2009年獲得大獎的是來自三個強(qiáng)力團(tuán)隊的“雞尾酒”他們將自己的結(jié)果勾兌之后終于以10.05%改進(jìn)分?jǐn)?shù)成為第一個超過的終點(diǎn)線的團(tuán)隊（The Ensemble緊隨其后），網(wǎng)址在這里：BellKor's Pragmatic Chaos 還有許多相關(guān)鏈接在這里：BellKor Home Page

再補(bǔ)充一個小花絮：
中獎的算法是由上百個模型勾兌出來的，而如果Netflix真的采用了如此復(fù)雜的模型，是非常不劃算的。所以最終的結(jié)果是Netflix竟然沒有采用那個提高10%的算法（謝謝@wello提醒），而是只應(yīng)用了最核心的奇異值分解（SVD）和受限玻爾茲曼機(jī)（RBM，一個物理模型）。除此以外，Netflix并不希望給你推薦10部風(fēng)格完全一樣的電影，而是要保證一定的多樣性（Diversity）。感興趣的同學(xué)歡迎繼續(xù)讀：The Netflix Tech Blog: Netflix Recommendations: Beyond the 5 stars (Part 1)

====低調(diào)的分割線===
這一切跟我的關(guān)系是，BPC獲獎的時候，我正在大學(xué)畢設(shè)研究Topic Model理論（不算研究，只算是學(xué)習(xí)），我當(dāng)時感覺Netflix的獎終于2009年頒發(fā)在全球轟動了。畢業(yè)后，我才知道，大多數(shù)人都沒有聽說過Netflix，更沒有聽說過Topic Model，甚至勉強(qiáng)理解什么叫做個性化推薦算法。以至于我當(dāng)時想以畢業(yè)時研究的個性化推薦找一個工作都找不到（當(dāng)然現(xiàn)在不一樣了，現(xiàn)在許多電商網(wǎng)站都招這樣的人）。我想和大家分享自己對于Netflix這個百分之十的個人體會。

如果你的網(wǎng)站是剛剛起步，你所賣的東西同類電商有數(shù)十家，你又在前三名之后，或許你要研究的不是提高轉(zhuǎn)化率，而是如何更多獲得用戶。而當(dāng)你的用戶只要有1%的轉(zhuǎn)化率提高就能夠給你帶來百萬的收入時，10%的個性化提升對于你則是如虎添翼（Netflix則是看起來占了一個大便宜，只花很少的錢卻讓全世界的科學(xué)家?guī)退嶅X）。一般來講，SVD驅(qū)動的個性化推薦還是適合在后期才上線，初期有一個商品排行榜，后來增加一個“瀏覽該商品的朋友最終購買XX“的欄目就能夠有不錯的效果了。畢竟推薦算法只是提高增長的一個辦法，然而可以預(yù)料在不久的講了，越來越普遍的開源推薦算法會對目前信息爆炸，商品過多，人們無從挑選的困境帶來一定的幫助，為電商優(yōu)秀的用戶體驗添彩。



====回歸到《紙牌屋》====
另一個答案的提供者@鄭紫陽 在他的回答里說
Netflix 的高層一年前告訴 Salon，他們通過分析數(shù)據(jù)，才決定翻拍廣受大眾（包括他們的用戶）歡迎和評論家贊賞的 1990 年 BBC 迷你劇 House of Cards，而且他們還發(fā)現(xiàn)，喜歡這個劇集的人也非常喜歡有 Kevin Spacey 參演，或者 David Fincher 導(dǎo)演的作品。也因此，他們才有了結(jié)論，決定斷然投資一億美元翻拍一部兩季共計 26 季有 Spacey 和 Fincher 參加的同名劇。《紙牌屋》的受歡迎正是大數(shù)據(jù)時代的一個經(jīng)典案例。Netflix通過對于大量電影/電視劇的數(shù)據(jù)挖掘，真正了解到觀眾的喜好，也從影視租賃商逐漸轉(zhuǎn)化為影視提供商。這種轉(zhuǎn)換就可以類比是，由于京東極度了解用戶的喜歡信息，而轉(zhuǎn)化開始自己產(chǎn)家電，并且大受歡迎。這種大數(shù)據(jù)的方式正是互聯(lián)網(wǎng)公司相比較傳統(tǒng)公司的一大優(yōu)勢。

  本文關(guān)鍵詞：推薦系統(tǒng)，由筆耕文化傳播整理發(fā)布。

本文編號：50224