長尾信息的個(gè)性化推薦中的特征選擇優(yōu)化算法
本文關(guān)鍵詞:長尾信息的個(gè)性化推薦中的特征選擇優(yōu)化算法,由筆耕文化傳播整理發(fā)布。
【摘要】:隨著電子商務(wù)的快速發(fā)展,購物網(wǎng)站產(chǎn)生了海量的商品信息,這使得用戶難于從中發(fā)現(xiàn)目標(biāo)商品(特別是長尾目標(biāo)商品)。個(gè)性化推薦系統(tǒng)是當(dāng)前解決這一問題的有效方式,研究改善推薦系統(tǒng)的性能具有巨大的經(jīng)濟(jì)價(jià)值。特征是從數(shù)據(jù)中提取的表征用戶個(gè)性和偏好的量,如何選擇高質(zhì)量的特征對改善推薦系統(tǒng)的性能有著十分重要的意義。當(dāng)前推薦系統(tǒng)領(lǐng)域的研究多集中在算法和模型,對特征選擇優(yōu)化的研究關(guān)注較少。本文對單模型推薦系統(tǒng)和分類器融合策略進(jìn)行了研究,在此基礎(chǔ)上提出了一種優(yōu)化特征選擇的融合算法,和一種可行的分類器融合方案。論文主要進(jìn)行了以下三方面的工作:(1)對矩陣分解模型中的FunkSVD算法、邏輯回歸算法(Logistic Regression,LR)和梯度迭代回歸算法(Gradient Boosting Regression Tree,GBRT)的原理和實(shí)現(xiàn)進(jìn)行了研究。分析了三種算法的模型復(fù)雜度、訓(xùn)練效率、應(yīng)用場景和優(yōu)勢與不足,論述了LR算法對特征的篩選原理,以及GBRT算法的強(qiáng)分類能力,并對LR算法和GBRT算法的融合潛力進(jìn)行了論證。(2)提出了一種基于邏輯回歸和GBRT模型的融合算法。算法引入了分維度的特征篩選,用LR算法將特征區(qū)分為偏向于正樣本和偏向于負(fù)樣本兩個(gè)維度;構(gòu)建不同參數(shù)的LR算法,將特征篩選劃分為不同的粒度;將GBRT算法訓(xùn)練特征的隨機(jī)抽取優(yōu)化為等比例從兩個(gè)特征維度隨機(jī)抽取;為GBRT算法的訓(xùn)練特征加入順序規(guī)則,優(yōu)化訓(xùn)練效率。(3)給出了一種分類器融合方案,選用基于邏輯回歸和GBRT模型的融合算法以及FunkSVD算法進(jìn)行分類結(jié)果融合重排序。算法的結(jié)果融合前用z-score歸一化。(4)采用movielens數(shù)據(jù)集和天貓商城開放數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)集,F1指標(biāo)作為推薦性能評(píng)測指標(biāo),以邏輯回歸單模型和GBRT單模型做為對比對象,對算法進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)證明使用本文算法和方案能夠改善推薦系統(tǒng)性能,特別是基于邏輯回歸和GBRT模型的融合算法的F1指標(biāo)最大約有1.5%的提高。
【關(guān)鍵詞】:個(gè)性化推薦系統(tǒng) 邏輯回歸 GBRT算法 分類器融合
【學(xué)位授予單位】:北京交通大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2016
【分類號(hào)】:TP391.3
【目錄】:
- 致謝5-6
- 摘要6-7
- ABSTRACT7-12
- 1 引言12-16
- 1.1 研究背景12-13
- 1.2 研究現(xiàn)狀13-14
- 1.3 本文主要研究工作14-15
- 1.4 本文的結(jié)構(gòu)15-16
- 2 個(gè)性化推薦系統(tǒng)技術(shù)16-26
- 2.1 個(gè)性化推薦系統(tǒng)架構(gòu)16-17
- 2.2 推薦系統(tǒng)分類17-21
- 2.2.1 基于內(nèi)容的推薦18-19
- 2.2.2 協(xié)同過濾推薦19-20
- 2.2.3 隱語義模型20-21
- 2.3 模型融合推薦系統(tǒng)21-22
- 2.4 推薦系統(tǒng)性能評(píng)價(jià)指標(biāo)22-24
- 2.4.1 預(yù)測準(zhǔn)確度指標(biāo)22-23
- 2.4.2 分類準(zhǔn)確度指標(biāo)23-24
- 2.5 總結(jié)24-26
- 3 模型融合基礎(chǔ)算法26-39
- 3.1 FunkSVD算法26-27
- 3.1.1 FunkSVD算法原理26-27
- 3.1.2 加入偏移量的改進(jìn)FunkSVD算法27
- 3.2 邏輯回歸算法27-30
- 3.2.1 邏輯回歸算法原理28-29
- 3.2.2 經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)的設(shè)計(jì)29-30
- 3.3 GBRT算法30-33
- 3.3.1 回歸決策樹算法30-31
- 3.3.2 Gradient Boosting31-33
- 3.3.3 GBRT算法實(shí)現(xiàn)33
- 3.4 特征工程33-38
- 3.4.1 特征選擇34
- 3.4.2 特征篩選方法34-35
- 3.4.3 特征值的正則化35
- 3.4.4 特征值的歸一化35-36
- 3.4.5 特征值的離散化36-37
- 3.4.6 LR算法模型和GBRT算法模型對特征的處理37-38
- 3.5 總結(jié)38-39
- 4 基于邏輯回歸和GBRT模型的融合算法39-50
- 4.1 算法融合基礎(chǔ)39-40
- 4.2 融合算法對特征選擇的優(yōu)化40-43
- 4.3 一種融合FUNKSVD算法結(jié)果的推薦性能改善方法43-44
- 4.4 movielens數(shù)據(jù)集特征選擇44-49
- 4.4.1 movielens數(shù)據(jù)集介紹44-46
- 4.4.2 movielens數(shù)據(jù)集特征預(yù)選擇46-48
- 4.4.3 特征值的Dummy Coding賦值48-49
- 4.5 總結(jié)49-50
- 5 實(shí)驗(yàn)結(jié)果和分析50-62
- 5.1 實(shí)驗(yàn)環(huán)境50
- 5.2 基于邏輯回歸和GBRT模型的融合算法實(shí)驗(yàn)結(jié)果50-59
- 5.2.1 movielens數(shù)據(jù)集實(shí)驗(yàn)過程50-51
- 5.2.2 實(shí)驗(yàn)結(jié)果分析51-54
- 5.2.3 天貓商城數(shù)據(jù)集實(shí)驗(yàn)過程54-59
- 5.3 融合FunkSVD算法結(jié)果的推薦系統(tǒng)性能實(shí)驗(yàn)59-62
- 5.3.1 movielens數(shù)據(jù)集實(shí)驗(yàn)過程59-60
- 5.3.2 天貓商城數(shù)據(jù)集實(shí)驗(yàn)過程60-62
- 6 結(jié)論62-64
- 6.1 工作總結(jié)62-63
- 6.2 研究展望63-64
- 參考文獻(xiàn)64-67
- 作者簡歷及攻讀碩士學(xué)位期間取得的研究成果67-69
- 學(xué)位論文數(shù)據(jù)集69
【相似文獻(xiàn)】
中國期刊全文數(shù)據(jù)庫 前10條
1 米可菲;張勇;邢春曉;蔚欣;;面向大數(shù)據(jù)的開源推薦系統(tǒng)分析[J];計(jì)算機(jī)與數(shù)字工程;2013年10期
2 脫建勇;王嵩;李秀;劉文煌;;精品課共享中的推薦系統(tǒng)框架與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年17期
3 蘇冠賢;張麗霞;林丕源;劉吉平;;生物信息學(xué)推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用研究;2007年05期
4 王改芬;;推薦系統(tǒng)研究綜述[J];軟件導(dǎo)刊;2007年23期
5 葉群來;;營銷與網(wǎng)絡(luò)推薦系統(tǒng)[J];電子商務(wù);2007年10期
6 李媚;;個(gè)性化網(wǎng)絡(luò)學(xué)習(xí)資源推薦系統(tǒng)研究[J];福建電腦;2008年12期
7 潘冉;姜麗紅;;基于經(jīng)濟(jì)學(xué)模型的推薦系統(tǒng)的研究[J];計(jì)算機(jī)應(yīng)用與軟件;2008年03期
8 劉魯;任曉麗;;推薦系統(tǒng)研究進(jìn)展及展望[J];信息系統(tǒng)學(xué)報(bào);2008年01期
9 劉小燕;陳艷麗;賈宗璞;沈記全;;基于增強(qiáng)學(xué)習(xí)的旅行計(jì)劃推薦系統(tǒng)[J];計(jì)算機(jī)工程;2010年21期
10 曹畋;;智能推薦系統(tǒng)在知識(shí)瀏覽領(lǐng)域的應(yīng)用[J];硅谷;2011年21期
中國重要會(huì)議論文全文數(shù)據(jù)庫 前8條
1 張燕;李燕萍;;基于內(nèi)容分析和點(diǎn)擊率記錄的混合音樂推薦系統(tǒng)[A];2009年通信理論與信號(hào)處理學(xué)術(shù)年會(huì)論文集[C];2009年
2 趙欣;寇綱;鄔文帥;盧艷群;;基于時(shí)間密集性的推薦系統(tǒng)攻擊檢測[A];第六屆(2011)中國管理學(xué)年會(huì)論文摘要集[C];2011年
3 張玉連;張波;張敏;;改進(jìn)的個(gè)性化信息推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2005年全國理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2005年
4 王君;許潔萍;;層次音樂推薦系統(tǒng)的研究[A];第18屆全國多媒體學(xué)術(shù)會(huì)議(NCMT2009)、第5屆全國人機(jī)交互學(xué)術(shù)會(huì)議(CHCI2009)、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議(PCC2009)論文集[C];2009年
5 潘宇;林鴻飛;楊志豪;;基于用戶聚類的電子商務(wù)推薦系統(tǒng)[A];第三屆學(xué)生計(jì)算語言學(xué)研討會(huì)論文集[C];2006年
6 尤忠彬;陳越;張英;朱揚(yáng)勇;;基于Web服務(wù)的技術(shù)轉(zhuǎn)移平臺(tái)推薦系統(tǒng)研究[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集(技術(shù)報(bào)告篇)[C];2005年
7 王國霞;劉賀平;李擎;;二部圖影射及其在推薦系統(tǒng)中的應(yīng)用[A];第25屆中國控制與決策會(huì)議論文集[C];2013年
8 王雪;董愛華;吳怡之;;基于RFID技術(shù)的智能服裝推薦系統(tǒng)設(shè)計(jì)[A];2011年全國電子信息技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2011年
中國重要報(bào)紙全文數(shù)據(jù)庫 前2條
1 ;大數(shù)據(jù)如何“落地”[N];中國新聞出版報(bào);2014年
2 本報(bào)記者 鄒大斌;大數(shù)據(jù):電商新武器[N];計(jì)算機(jī)世界;2012年
中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條
1 王宏宇;商務(wù)推薦系統(tǒng)的設(shè)計(jì)研究[D];中國科學(xué)技術(shù)大學(xué);2007年
2 楊東輝;基于情感相似度的社會(huì)化推薦系統(tǒng)研究[D];哈爾濱工業(yè)大學(xué);2014年
3 曹渝昆;基于神經(jīng)網(wǎng)絡(luò)和模糊邏輯的智能推薦系統(tǒng)研究[D];重慶大學(xué);2006年
4 王立才;上下文感知推薦系統(tǒng)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2012年
5 劉龍;一個(gè)能實(shí)現(xiàn)個(gè)性化實(shí)時(shí)路徑推薦服務(wù)的推薦系統(tǒng)框架[D];中國科學(xué)技術(shù)大學(xué);2014年
6 李濤;推薦系統(tǒng)中若干關(guān)鍵問題研究[D];南京航空航天大學(xué);2009年
7 劉士琛;面向推薦系統(tǒng)的關(guān)鍵問題研究及應(yīng)用[D];中國科學(xué)技術(shù)大學(xué);2014年
8 李方方;非獨(dú)立同分布推薦系統(tǒng)研究[D];北京理工大學(xué);2014年
9 李曉建;基于語義的個(gè)性化資源推薦系統(tǒng)中關(guān)鍵技術(shù)研究[D];武漢大學(xué);2010年
10 張堯;B2C環(huán)境下用戶感知可信的推薦系統(tǒng)理論及其關(guān)鍵方法研究[D];哈爾濱工業(yè)大學(xué);2013年
中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條
1 朱孔真;基于云計(jì)算的電子商務(wù)智能推薦系統(tǒng)研究[D];武漢理工大學(xué);2014年
2 郭敬澤;基于賦權(quán)評(píng)分和Dpark的分布式推薦系統(tǒng)研究與實(shí)現(xiàn)[D];天津理工大學(xué);2015年
3 周俊宇;信息推薦系統(tǒng)的研究與設(shè)計(jì)[D];江南大學(xué);2015年
4 李煒;基于電子商務(wù)平臺(tái)的保險(xiǎn)推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2013年
5 車豐;基于排序主題模型的論文推薦系統(tǒng)[D];大連海事大學(xué);2015年
6 秦大路;基于因式分解機(jī)模型的上下文感知推薦系統(tǒng)研究[D];鄭州大學(xué);2015年
7 徐霞婷;動(dòng)態(tài)路網(wǎng)監(jiān)控與導(dǎo)航推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];蘇州大學(xué);2015年
8 黃學(xué)峰;基于Hadoop的電影推薦系統(tǒng)研究與實(shí)現(xiàn)[D];南京師范大學(xué);2015年
9 路小瑞;基于Hadoop平臺(tái)的職位推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2015年
10 李愛寶;基于組合消費(fèi)行為分析的團(tuán)購?fù)扑]系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年
本文關(guān)鍵詞:長尾信息的個(gè)性化推薦中的特征選擇優(yōu)化算法,,由筆耕文化傳播整理發(fā)布。
本文編號(hào):299537
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/299537.html