本文關鍵詞：面向電子商務海量數(shù)據(jù)的智能挖掘技術研究，由筆耕文化傳播整理發(fā)布。

《山東師范大學》 2015年

面向電子商務海量數(shù)據(jù)的智能挖掘技術研究

劉全志  

【摘要】：伴隨著計算機和網(wǎng)絡技術的迅猛發(fā)展，Internet已經(jīng)融入到人們?nèi)粘Ｉ钪械母鱾�方面，它在不知不覺間影響著現(xiàn)今社會人們的生活習慣。隨著Web2.0時代的到來，使得互聯(lián)網(wǎng)信息的創(chuàng)建和傳播變得越來越容易。海量的網(wǎng)絡信息使用戶的信息需求得到了滿足。但是，信息量過多也絕對不是什么好事，人們也在承受著信息過載（information overload）帶來的困擾。在這個時代，無論是信息需求者還是信息供應者都面臨著巨大的挑戰(zhàn)：對于信息需求者，從海量的互聯(lián)網(wǎng)信息中找到自己感興趣的信息將是一件相當困難的事情；對于信息供應者，，讓自己供應的信息脫穎而出，得到廣大網(wǎng)民的認可，也是一件相當困難的事情。 眾所周知，為了解決信息過載的問題，在不同的時期人們提出了許多不同的方法�？偨Y(jié)起來，分為三個主要發(fā)展階段，即導航、檢索和推薦。導航，隨著互聯(lián)網(wǎng)網(wǎng)站數(shù)量的指數(shù)級增加，導航已經(jīng)逐漸退出歷史舞臺，目前我們常見的分類目錄網(wǎng)站就屬于這一類，如國內(nèi)的Hao123、國外的Yahoo和DMOZ等。檢索，百度、谷歌等搜索引擎皆屬于此類，人們只要在搜索框中輸入相應的關鍵詞，就可獲取自己想要的信息。但很多時候人們并不知道自己的明確需求，此時，就需要進行推薦。推薦，根據(jù)用戶的歷史行為，為用戶建立興趣模型，從而主動地為用戶提供他們想要的信息。 隨著Internet的發(fā)展及國家相關政策的支持，電子商務網(wǎng)站如雨后春筍般涌現(xiàn)出來。傳統(tǒng)商店受經(jīng)營場所面積及貨架成本制約，不能將所有的商品展示出來。但電子商務網(wǎng)站不受這些因素影響，能夠用比較低成本展示并出售更多的商品。如何從海量的同質(zhì)商品中選出自己滿意的商品，這是用戶比較關注的問題；如何讓用戶從海量的商品中選擇自己的產(chǎn)品，也成為影響電子商務網(wǎng)站發(fā)展的重要因素。將推薦系統(tǒng)應用于電子商務網(wǎng)站，不僅能提高電子商務網(wǎng)站的業(yè)績，也能對用戶提供較好的服務，從而避免用戶流失。因此，電子商務網(wǎng)站的推薦系統(tǒng)成為了當前學術界及產(chǎn)業(yè)界的研究熱點。 本文首先對當前常用推薦算法分類進行了介紹，并通過簡單的示例描述了各個推薦算法的原理，接合亞馬遜電子商務網(wǎng)站說明了推薦系統(tǒng)在實際環(huán)境中的應用。 其次，本文針對HTML文檔開發(fā)了一套信息采集抽取系統(tǒng)。系統(tǒng)利用開源的網(wǎng)絡爬蟲Heritrix對電子商務網(wǎng)站的網(wǎng)頁進行爬取，然后采用開源的JSoup進行信息抽取。為驗證系統(tǒng)的性能，我們對國內(nèi)最大的B2C電子商務網(wǎng)站天貓商城及國內(nèi)最大的B2B電子商務網(wǎng)站阿里巴巴的銷售記錄進行了采集抽取，并得到了良好的實驗結(jié)果。 再次，傳統(tǒng)的基于物品的協(xié)同過濾算法和基于用戶的協(xié)同過濾算法存在矩陣稀疏的問題，一旦將稀疏矩陣補全，則又會出現(xiàn)存儲空間過大及計算時間過長的問題。針對該情況，本文對隱語義模型LFM（Latent Factor Model）進行了研究，結(jié)合目前常見的標簽系統(tǒng)，提出了基于標簽的推薦算法。根據(jù)標簽的生成方式，一般分為兩種：一種是由專業(yè)的編輯對物品打有限的標簽；另一種是讓用戶根據(jù)自己的感知給物品打上相應標簽，即UGC（UserGenerated Content，用戶生成的內(nèi)容）。這樣，UGC標簽既能反映用戶的意識，又描述了物品的某種屬性，從而將用戶和物品聯(lián)系了起來。目前，很多Web2.0網(wǎng)站都帶有UGC標簽系統(tǒng)。 最后，我們通過相關數(shù)據(jù)集對該算法就進行了評測，并取得了理想的結(jié)果。

【關鍵詞】：
【學位授予單位】：山東師范大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP391.3;TP311.13
【目錄】：

下載全文 更多同類文獻

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前3條

1 張敏;孫敏;;基于Heritrix限定爬蟲的設計與實現(xiàn)[J];計算機應用與軟件;2013年04期

2 李萍;朱建波;周立新;廖彬;;基于快速構建模板的購物信息抽取方法[J];計算機應用;2014年03期

3 夏天;;中心網(wǎng)頁中主題網(wǎng)頁鏈接的自動抽取[J];山東大學學報(理學版);2012年05期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 冀俊忠,沙志強,劉椿年,郎青;B2C電子商務站點中知識發(fā)現(xiàn)的研究[J];北京工業(yè)大學學報;2003年02期

2 張帆;林建;;智能搜索引擎信息過濾機制研究[J];圖書與情報;2007年04期

3 蔡曉霞;;數(shù)據(jù)挖掘技術在圖書館中的應用[J];長春師范學院學報;2011年04期

4 牟乃夏;劉文寶;張靈先;孫翠羽;;空間信息服務的個性化問題[J];測繪科學;2011年03期

5 何興無;;用戶興趣實例模型與K_means算法的改進[J];重慶師范大學學報(自然科學版);2006年02期

6 曹毅;羅新星;;電子商務推薦系統(tǒng)關鍵技術研究[J];湘南學院學報;2008年05期

7 朱郁筱;呂琳媛;;推薦系統(tǒng)評價指標綜述[J];電子科技大學學報;2012年02期

8 孫多;;教育網(wǎng)站個性化推薦系統(tǒng)中的一種用戶興趣模型的建立[J];電腦知識與技術(學術交流);2007年21期

9 章婷;姚萬輝;;關聯(lián)規(guī)則和事務集分組技術在圖書館個性化推薦系統(tǒng)中的應用研究[J];電腦知識與技術;2009年31期

10 閆洲;石劉紅;;基于用戶和項目組合的協(xié)同過濾推薦算法[J];電腦知識與技術;2011年16期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 高琪;辛樂;;基于用戶偏好度模型和情感計算的產(chǎn)品推薦算法[A];第二十九屆中國控制會議論文集[C];2010年

2 趙琦;駱志剛;田文穎;李聰;丁凡;;一種基于負反饋信息的用戶興趣模型修正方法[A];中國通信學會第六屆學術年會論文集（下）[C];2009年

3 蔡曉霞;;數(shù)據(jù)挖掘在圖書館中的應用[A];福建省圖書館學會2010年學術年會論文集[C];2010年

4 周玉妮;鄭會頌;;基于瀏覽路徑選擇的蟻群推薦算法:用于移動商務個性化推薦系統(tǒng)[A];社會經(jīng)濟發(fā)展轉(zhuǎn)型與系統(tǒng)工程——中國系統(tǒng)工程學會第17屆學術年會論文集[C];2012年

5 徐曉東;郭燕慧;;AppStore應用信息自動化采集系統(tǒng)設計與實現(xiàn)[A];2013年中國信息通信研究新進展論文集[C];2014年

6 吳克河;何霞;李廷順;;基于Lucene構建電力企業(yè)搜索引擎分析器[A];2008電力行業(yè)信息化年會會議論文集[C];2008年

7 趙琦;駱志剛;田文穎;李聰;丁凡;;一種基于負反饋信息的用戶興趣模型修正方法[A];中國通信學會第六屆學術年會論文集（下）[C];2009年

8 趙振宇;杭國強;陳芨;莊懷宇;;移動互聯(lián)網(wǎng)業(yè)務智能推薦系統(tǒng)設計研究[A];2014全國無線及移動通信學術大會論文集[C];2014年

9 徐曉東;郭燕慧;;App Store應用信息自動化采集系統(tǒng)設計與實現(xiàn)[A];2013年中國信息通信研究新進展論文集[C];2014年

10 吳運超;崔浩;王賽;王浩然;崔真真;;面向規(guī)劃編制的網(wǎng)絡數(shù)據(jù)獲取與整合方法研究[A];第十七屆中國科協(xié)年會——分16　大數(shù)據(jù)與城鄉(xiāng)治理研討會論文集[C];2015年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 張寅;個性化技術及其在數(shù)字圖書館中應用的研究[D];浙江大學;2009年

2 靳延安;社會標簽推薦技術與方法研究[D];華中科技大學;2011年

3 胡慕海;面向動態(tài)情境的信息推薦方法及系統(tǒng)研究[D];華中科技大學;2011年

4 葉紅云;面向金融營銷問題的個性化推薦方法研究[D];合肥工業(yè)大學;2011年

5 劉毅捷;視頻社區(qū)中海量數(shù)據(jù)管理方法研究[D];中國科學技術大學;2011年

6 劉潤然;復雜網(wǎng)絡上的幾種動力學過程研究[D];中國科學技術大學;2011年

7 劉玉國;基于內(nèi)容的互聯(lián)網(wǎng)輿情信息挖掘關鍵技術研究[D];山東大學;2011年

8 馬春山;移動增值業(yè)務的個性化推薦研究[D];北京郵電大學;2011年

9 夏培勇;個性化推薦技術中的協(xié)同過濾算法研究[D];中國海洋大學;2011年

10 楊鵬;面向事件感知的應急臨機決策引擎研究[D];天津大學;2010年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 吳則則;支持動態(tài)演進的用戶興趣模型挖掘方法研究[D];山東科技大學;2010年

2 何瑩杰;個性化圖書信息服務技術研究[D];哈爾濱工程大學;2010年

3 李媛;電子商務個性化推薦關鍵技術研究[D];哈爾濱工程大學;2010年

4 李春;協(xié)同過濾推薦算法的研究[D];湘潭大學;2010年

5 韓璐;針對推薦系統(tǒng)中信息共享需求下隱私保護機制的研究與實現(xiàn)[D];華東師范大學;2011年

6 宋健;基于主題挖掘和時間窗口劃分的興趣推薦技術研究[D];華東師范大學;2011年

7 仵雪婷;基于知識情境的知識個性化推送技術的研究與應用[D];南昌大學;2010年

8 金亞亞;一種基于改進信任度的協(xié)同過濾算法[D];華東理工大學;2011年

9 夏超倫;基于社會計算的電子商務協(xié)同過濾推薦算法研究[D];浙江大學;2011年

10 鄭佳佳;社交網(wǎng)絡中基于圖排序的好友推薦機制研究與實現(xiàn)[D];浙江大學;2011年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 林亞平,劉云中,周順先,陳治平,蔡立軍;基于最大熵的隱馬爾可夫模型文本信息抽取[J];電子學報;2005年02期

2 王宇;譚松波;廖祥文;曾依靈;;基于擴展領域模型的有名屬性抽取[J];計算機研究與發(fā)展;2010年09期

3 盧漢;曹存根;王石;;基于元性質(zhì)的數(shù)量型屬性值自動提取系統(tǒng)的實現(xiàn)[J];計算機研究與發(fā)展;2010年10期

4 董永權;李慶忠;丁艷輝;彭朝暉;;基于約束條件隨機場的Web數(shù)據(jù)語義標注[J];計算機研究與發(fā)展;2012年02期

5 李保利,陳玉忠,俞士汶;信息抽取研究綜述[J];計算機工程與應用;2003年10期

6 王芳;于浩;譚紅葉;趙鐵軍;;基于鏈接分塊的相關鏈接提取方法[J];計算機工程與應用;2006年31期

7 劉輝;陳靜玉;徐學洲;;基于模板流程配置的Web信息抽取[J];計算機工程;2008年20期

8 李素建,王厚峰,俞士汶,辛乘勝;關鍵詞自動標引的最大熵模型應用研究[J];計算機學報;2004年09期

9 汪濤,樊孝忠;主題爬蟲的設計與實現(xiàn)[J];計算機應用;2004年S1期

10 周立柱,林玲;聚焦爬蟲技術研究綜述[J];計算機應用;2005年09期

中國碩士學位論文全文數(shù)據(jù)庫 前1條

1 蒲宇達;基于web的網(wǎng)頁鏈接與正文抽取技術研究[D];哈爾濱工業(yè)大學;2006年

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 張付志;張啟鳳;;融合多系統(tǒng)用戶信息的協(xié)同過濾算法[J];計算機工程;2009年21期

2 周麗娟;徐明升;張研研;張璋;;基于協(xié)同過濾的課程推薦模型[J];計算機應用研究;2010年04期

3 劉淇;陳恩紅;;結(jié)合二部圖投影與排序的協(xié)同過濾[J];小型微型計算機系統(tǒng);2010年05期

4 董全德;;基于雙信息源的協(xié)同過濾算法研究[J];合肥工業(yè)大學學報(自然科學版);2010年07期

5 李聰;;電子商務協(xié)同過濾可擴展性研究綜述[J];現(xiàn)代圖書情報技術;2010年11期

6 傅鶴崗;李冉;;基于用戶實時反饋的協(xié)同過濾算法[J];計算機應用;2011年07期

7 辛勤芳;;基于項目聚類的協(xié)同過濾算法研究[J];赤峰學院學報(自然科學版);2011年09期

8 楊君;汪會玲;艾丹祥;;一種基于情景的多維協(xié)同過濾新方法研究[J];圖書情報工作;2011年21期

9 王宗武;;基于信任用戶聯(lián)合聚類的協(xié)同過濾算法[J];計算機與現(xiàn)代化;2013年09期

10 杜永萍;黃亮;何明;;融合信任計算的協(xié)同過濾推薦方法[J];模式識別與人工智能;2014年05期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 周軍鋒;湯顯;郭景峰;;一種優(yōu)化的協(xié)同過濾推薦算法[A];第二十一屆中國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2004年

2 沈杰峰;杜亞軍;唐俊;;一種基于項目分類的協(xié)同過濾算法[A];第二十二屆中國數(shù)據(jù)庫學術會議論文集（技術報告篇）[C];2005年

3 董全德;;基于雙信息源的協(xié)同過濾算法研究[A];全國第20屆計算機技術與應用學術會議（CACIS·2009）暨全國第1屆安全關鍵技術與應用學術會議論文集（上冊）[C];2009年

4 李建國;姚良超;湯庸;郭歡;;基于認知度的協(xié)同過濾推薦算法[A];第26屆中國數(shù)據(jù)庫學術會議論文集（B輯）[C];2009年

5 張光衛(wèi);康建初;李鶴松;劉常昱;李德毅;;面向場景的協(xié)同過濾推薦算法[A];中國系統(tǒng)仿真學會第五次全國會員代表大會暨2006年全國學術年會論文集[C];2006年

6 胡必云;李舟軍;王君;;基于心理測量學的協(xié)同過濾相似度方法(英文)[A];NDBC2010第27屆中國數(shù)據(jù)庫學術會議論文集(B輯)[C];2010年

7 王明文;陶紅亮;熊小勇;;雙向聚類迭代的協(xié)同過濾推薦算法[A];第三屆全國信息檢索與內(nèi)容安全學術會議論文集[C];2007年

8 林麗冰;師瑞峰;周一民;李月雷;;基于雙聚類的協(xié)同過濾推薦算法[A];2008'中國信息技術與應用學術論壇論文集（一）[C];2008年

9 羅喜軍;王韜丞;杜小勇;劉紅巖;何軍;;基于類別的推薦——一種解決協(xié)同推薦中冷啟動問題的方法[A];第二十四屆中國數(shù)據(jù)庫學術會議論文集（研究報告篇）[C];2007年

10 黃創(chuàng)光;印鑒;汪靜;劉玉葆;王甲海;;不確定近鄰的協(xié)同過濾推薦算法[A];NDBC2010第27屆中國數(shù)據(jù)庫學術會議論文集A輯一[C];2010年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 郭艷紅;推薦系統(tǒng)的協(xié)同過濾算法與應用研究[D];大連理工大學;2008年

2 李聰;電子商務推薦系統(tǒng)中協(xié)同過濾瓶頸問題研究[D];合肥工業(yè)大學;2009年

3 羅恒;基于協(xié)同過濾視角的受限玻爾茲曼機研究[D];上海交通大學;2011年

4 薛福亮;電子商務協(xié)同過濾推薦質(zhì)量影響因素及其改進機制研究[D];天津大學;2012年

5 高旻;基于計算語用學和項目的資源協(xié)同過濾推薦研究[D];重慶大學;2010年

6 孔維梁;協(xié)同過濾推薦系統(tǒng)關鍵問題研究[D];華中師范大學;2013年

7 沈磊;心理學模型與協(xié)同過濾集成的算法研究[D];北京航空航天大學;2010年

8 孫小華;協(xié)同過濾系統(tǒng)的稀疏性與冷啟動問題研究[D];浙江大學;2005年

9 夏培勇;個性化推薦技術中的協(xié)同過濾算法研究[D];中國海洋大學;2011年

10 趙向宇;Top-N協(xié)同過濾推薦技術研究[D];北京理工大學;2014年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 胡淼;基于協(xié)同過濾的服務評價方法的研究[D];哈爾濱工程大學;2008年

2 趙偉;基于評分預測和概率融合的協(xié)同過濾研究[D];河南大學;2007年

3 彭玉;基于用戶個人特征的多內(nèi)容項目協(xié)同過濾推薦[D];西南大學;2007年

4 李冉;基于用戶實時反饋的協(xié)同過濾算法研究[D];重慶大學;2011年

5 孫凱;協(xié)同過濾移動社區(qū)的研究與實現(xiàn)[D];北京郵電大學;2012年

6 全智超;基于用戶性格的協(xié)同過濾推薦研究[D];首都師范大學;2014年

7 張亮;基于協(xié)同過濾與劃分聚類的推薦算法研究[D];吉林大學;2014年

8 白龍;融合數(shù)據(jù)檢測與用戶信任的協(xié)同過濾算法研究[D];燕山大學;2010年

9 王均波;協(xié)同過濾推薦算法及其改進研究[D];重慶大學;2010年

10 龐軍;雙聚類算法及其在協(xié)同過濾中的應用研究[D];大連理工大學;2010年

  本文關鍵詞：面向電子商務海量數(shù)據(jù)的智能挖掘技術研究，由筆耕文化傳播整理發(fā)布。

本文編號：67354