本文關(guān)鍵詞：Hadoop在商業(yè)智能中的研究及應(yīng)用

  更多相關(guān)文章： 商業(yè)智能 灰色關(guān)聯(lián)分析 協(xié)同過濾推薦算法 分布式系統(tǒng) Hadoop

【摘要】：隨著互聯(lián)網(wǎng)信息技術(shù)的高速發(fā)展,全球進(jìn)入大數(shù)據(jù)時(shí)代。伴隨著這些急速膨脹的數(shù)據(jù)規(guī)模,決策者以及客戶在海量數(shù)據(jù)中如何獲取有效信息是當(dāng)前需要解決的首要問題。商業(yè)智能領(lǐng)域的發(fā)展使得企業(yè)將數(shù)據(jù)轉(zhuǎn)化為知識成為了可能,其中推薦算法的出現(xiàn)則構(gòu)建了一條產(chǎn)品、信息與用戶之間的有效通道。此外,Hadoop平臺(tái)研究的迅速發(fā)展使得利用分布式技術(shù)處理大數(shù)據(jù)分析更為有效和方便。本文通過對當(dāng)前個(gè)性化推薦算法的研究,利用灰色系統(tǒng)的理論知識,結(jié)合分布式平臺(tái)處理大數(shù)據(jù)的方法,提出一種基于灰色關(guān)聯(lián)分析的分布式協(xié)同過濾推薦算法。首先,本文對協(xié)同過濾推薦算法進(jìn)行研究,主要介紹了基于用戶的、基于項(xiàng)目的和基于模型的這三種協(xié)同過濾推薦算法,對這三種協(xié)同過濾推薦算法的實(shí)現(xiàn)進(jìn)行研究;其次,對灰色系統(tǒng)中的灰色關(guān)聯(lián)分析進(jìn)行研究,詳細(xì)介紹了不同的灰色關(guān)聯(lián)度模型的特征和計(jì)算方法;然后,通過對Hadoop生態(tài)系統(tǒng)的重點(diǎn)探討,研究分布式系統(tǒng)的存儲(chǔ)和讀寫原理,分布式數(shù)據(jù)庫的設(shè)計(jì)原理,并利用MapReduce研究分布式系統(tǒng)的并行化計(jì)算和調(diào)度機(jī)制。根據(jù)上述理論知識的研究,本課題將灰色關(guān)聯(lián)分析和分布式理論結(jié)合,給出一種基于灰色關(guān)聯(lián)分析的分布式協(xié)同過濾推薦算法,該算法解決了當(dāng)前協(xié)同過濾推薦算法面臨的評分矩陣信息因素不完全和不確定性,以及數(shù)據(jù)稀疏性和當(dāng)數(shù)據(jù)規(guī)模較大時(shí)出現(xiàn)的計(jì)算瓶頸及可擴(kuò)展性等問題。在文章最后,設(shè)計(jì)并實(shí)施Hadoop分布式系統(tǒng)和分布式數(shù)據(jù)庫服務(wù)器集群,利用該集群實(shí)現(xiàn)了本文所提出的算法。實(shí)驗(yàn)表明,基于灰色關(guān)聯(lián)分析的分布式協(xié)同過濾推薦算法可以有效地實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的推薦,與傳統(tǒng)的CFR算法相比平均絕對誤差有一定的下降,而且通過增加Hadoop集群的數(shù)據(jù)節(jié)點(diǎn)可以解決數(shù)據(jù)可擴(kuò)展性的問題,同時(shí),該推薦算法的可行性也是Hadoop在商業(yè)智能上有效應(yīng)用的體現(xiàn)。
【關(guān)鍵詞】：商業(yè)智能 灰色關(guān)聯(lián)分析 協(xié)同過濾推薦算法 分布式系統(tǒng) Hadoop
【學(xué)位授予單位】：江蘇科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.13;TP391.3
【目錄】：

• 摘要5-6
• Abstract6-12
• 第1章 緒論12-20
• 1.1 課題研究背景和意義12-14
• 1.2 國內(nèi)外研究及發(fā)展概況14-17
• 1.2.1 商業(yè)智能發(fā)展概況14
• 1.2.2 協(xié)同過濾推薦算法發(fā)展概況14-15
• 1.2.3 灰色關(guān)聯(lián)分析發(fā)展概況15-16
• 1.2.4 Hadoop分布式計(jì)算平臺(tái)發(fā)展概況16-17
• 1.3 本文主要工作17
• 1.4 論文結(jié)構(gòu)安排17-18
• 1.5 本章小結(jié)18-20
• 第2章 協(xié)同過濾推薦算法與灰色關(guān)聯(lián)分析20-30
• 2.1 推薦系統(tǒng)20
• 2.2 協(xié)同過濾推薦算法理論與方法20-26
• 2.2.1 基于用戶的協(xié)同過濾推薦算法22-23
• 2.2.2 基于項(xiàng)目的協(xié)同過濾推薦算法23-25
• 2.2.3 基于模型的協(xié)同過濾推薦算法25-26
• 2.3 灰色關(guān)聯(lián)理論與方法26-29
• 2.3.1 灰色關(guān)聯(lián)分析基本概念26-27
• 2.3.2 灰色關(guān)聯(lián)四公理27
• 2.3.3 常見灰色關(guān)聯(lián)度計(jì)算模型27-29
• 2.4 本章小結(jié)29-30
• 第3章 Hadoop分布式平臺(tái)研究30-40
• 3.1 引言30-31
• 3.2 HDFS分布式文件系統(tǒng)31-34
• 3.2.1 Name Node元數(shù)據(jù)節(jié)點(diǎn)31
• 3.2.2 DataNode數(shù)據(jù)節(jié)點(diǎn)31-32
• 3.2.3 HDFS客戶端32-33
• 3.2.4 文件I/O操作及備份管理33-34
• 3.3 MapReduce編程模型34-36
• 3.3.1 MapReduce執(zhí)行過程34-35
• 3.3.2 Hadoop中MapReduce執(zhí)行架構(gòu)35-36
• 3.4 HBase分布式數(shù)據(jù)庫36-39
• 3.4.1 HBase結(jié)構(gòu)體系37-39
• 3.4.2 HBase的數(shù)據(jù)模型39
• 3.5 本章小結(jié)39-40
• 第4章 基于灰色關(guān)聯(lián)分析的分布式協(xié)同過濾推薦算法40-48
• 4.1 灰色關(guān)聯(lián)協(xié)同過濾推薦算法的實(shí)現(xiàn)40-41
• 4.2 分布式灰色關(guān)聯(lián)協(xié)同過濾算法機(jī)制的實(shí)現(xiàn)41-46
• 4.2.1 數(shù)據(jù)源處理41-42
• 4.2.2 算法流程42-46
• 4.3 本章小結(jié)46-48
• 第5章 實(shí)驗(yàn)和結(jié)果分析48-62
• 5.1 實(shí)驗(yàn)環(huán)境搭建48-56
• 5.1.1 Hadoop環(huán)境搭建48-54
• 5.1.2 Zookeeper環(huán)境搭建54
• 5.1.3 HBase環(huán)境搭建54-56
• 5.2 算法實(shí)驗(yàn)56-59
• 5.2.1 實(shí)驗(yàn)數(shù)據(jù)集56
• 5.2.2 算法實(shí)現(xiàn)過程56-59
• 5.3 實(shí)驗(yàn)結(jié)果與討論59-61
• 5.3.1 灰色關(guān)聯(lián)度推薦算法實(shí)驗(yàn)對比59-60
• 5.3.2 數(shù)據(jù)可擴(kuò)展性實(shí)驗(yàn)60-61
• 5.3.3 實(shí)驗(yàn)總結(jié)61
• 5.4 本章小結(jié)61-62
• 總結(jié)與展望62-64
• 參考文獻(xiàn)64-68
• 攻讀碩士學(xué)位期間發(fā)表論文68-70
• 致謝70-71
• 中文詳細(xì)摘要71-72
• 英文詳細(xì)摘要72-73

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 徐義峰;徐云青;劉曉平;;一種基于時(shí)間序列性的推薦算法[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2006年10期

2 余小鵬;;一種基于多層關(guān)聯(lián)規(guī)則的推薦算法研究[J];計(jì)算機(jī)應(yīng)用;2007年06期

3 張海玉;劉志都;楊彩;賈松浩;;基于頁面聚類的推薦算法的改進(jìn)[J];計(jì)算機(jī)應(yīng)用與軟件;2008年09期

4 張立燕;;一種基于用戶事務(wù)模式的推薦算法[J];福建電腦;2009年03期

5 王晗;夏自謙;;基于蟻群算法和瀏覽路徑的推薦算法研究[J];中國科技信息;2009年07期

6 周珊丹;周興社;王海鵬;倪紅波;張桂英;苗強(qiáng);;智能博物館環(huán)境下的個(gè)性化推薦算法[J];計(jì)算機(jī)工程與應(yīng)用;2010年19期

7 王文;;個(gè)性化推薦算法研究[J];電腦知識與技術(shù);2010年16期

8 張愷;秦亮曦;寧朝波;李文閣;;改進(jìn)評價(jià)估計(jì)的混合推薦算法研究[J];微計(jì)算機(jī)信息;2010年36期

9 夏秀峰;代沁;叢麗暉;;用戶顯意識下的多重態(tài)度個(gè)性化推薦算法[J];計(jì)算機(jī)工程與應(yīng)用;2011年16期

10 楊博;趙鵬飛;;推薦算法綜述[J];山西大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年03期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 王韜丞;羅喜軍;杜小勇;;基于層次的推薦:一種新的個(gè)性化推薦算法[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2007年

2 唐燦;;基于模糊用戶心理模式的個(gè)性化推薦算法[A];2008年計(jì)算機(jī)應(yīng)用技術(shù)交流會(huì)論文集[C];2008年

3 秦國;杜小勇;;基于用戶層次信息的協(xié)同推薦算法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

4 周玉妮;鄭會(huì)頌;;基于瀏覽路徑選擇的蟻群推薦算法:用于移動(dòng)商務(wù)個(gè)性化推薦系統(tǒng)[A];社會(huì)經(jīng)濟(jì)發(fā)展轉(zhuǎn)型與系統(tǒng)工程——中國系統(tǒng)工程學(xué)會(huì)第17屆學(xué)術(shù)年會(huì)論文集[C];2012年

5 蘇日啟;胡皓;汪秉宏;;基于網(wǎng)絡(luò)的含時(shí)推薦算法[A];第五屆全國復(fù)雜網(wǎng)絡(luò)學(xué)術(shù)會(huì)議論文（摘要）匯集[C];2009年

6 梁莘q，

本文編號：1112779