【摘要】：當(dāng)今社會(huì),人們的生活水平逐漸升高,在消費(fèi)者消費(fèi)的同時(shí),會(huì)留下相應(yīng)的足跡,也會(huì)產(chǎn)生相應(yīng)的記錄。由于人們每天消費(fèi)量巨大,會(huì)產(chǎn)生大量消費(fèi)記錄。若想從海量數(shù)據(jù)中快速分析出用戶最關(guān)心的消費(fèi)品類和相關(guān)行為,用傳統(tǒng)的分析方式已是很難滿足需求。傳統(tǒng)方法耗費(fèi)時(shí)間長(zhǎng),難以實(shí)現(xiàn)預(yù)求效果。這些消費(fèi)記錄中包含了顧客消費(fèi)的許多消費(fèi)信息,如果通過(guò)特定的分析工具去分析這些數(shù)據(jù),則會(huì)從數(shù)據(jù)中分析出許多有效信息,包括消費(fèi)者的消費(fèi)習(xí)慣、商品的銷售情況等�，F(xiàn)今流行的計(jì)算框架有Hadoop計(jì)算框架和Spark計(jì)算框架。其主要針對(duì)海量數(shù)據(jù)進(jìn)行分析和處理,本文則是使用Hadoop中的HDFS和Spark計(jì)算框架對(duì)廣大消費(fèi)者的娛樂(lè)消費(fèi)記錄進(jìn)行分析,得出其娛樂(lè)消費(fèi)的實(shí)際情況。本文首先對(duì)大數(shù)據(jù)處理分析系統(tǒng)研究現(xiàn)狀做了綜述,介紹了相關(guān)的理論和技術(shù);其次對(duì)系統(tǒng)需求進(jìn)行了具體分析,從中得出系統(tǒng)的總體設(shè)計(jì)架構(gòu),系統(tǒng)主要功能包括聚合統(tǒng)計(jì)、隨機(jī)抽取、Topl0熱門品類和Topl0活躍session;然后,對(duì)獲取數(shù)據(jù)算法的設(shè)計(jì)思路和系統(tǒng)主要功能進(jìn)行了詳細(xì)設(shè)計(jì),并對(duì)數(shù)據(jù)庫(kù)進(jìn)行了詳細(xì)設(shè)計(jì);最后,搭建了系統(tǒng)環(huán)境并對(duì)獲取數(shù)據(jù)算法和系統(tǒng)的主要功能進(jìn)行了具體實(shí)現(xiàn),實(shí)現(xiàn)完成后對(duì)其進(jìn)行了功能性測(cè)試和非功能性測(cè)試。運(yùn)行結(jié)果表明,系統(tǒng)完全可以正常運(yùn)行,可以達(dá)到預(yù)期的目標(biāo)。
[Abstract]:In today's society, people's living standards gradually rise, at the same time, consumers will leave the corresponding footprints, but also produce the corresponding records. Because people consume a lot of money every day, they will produce a lot of consumption records. In order to quickly analyze the consumer categories and related behaviors that users are most concerned about from the massive data, it is difficult to meet the demand with the traditional analysis method. The traditional method takes a long time and is difficult to achieve the desired effect. These consumption records contain a lot of consumer information about customer consumption. If we analyze these data through specific analysis tools, we will analyze a lot of valid information from the data, including consumer consumption habits, commodity sales and so on. Nowadays, the popular computing frameworks are Hadoop computing framework and Spark computing framework. This paper mainly analyzes and processes the massive data, this paper uses the HDFS and Spark computing framework in Hadoop to analyze the entertainment consumption records of the majority of consumers, and obtains the actual situation of their entertainment consumption. In this paper, the research status of big data processing and analysis system is summarized, and the related theories and technologies are introduced. secondly, the system requirements are analyzed concretely, and the overall design architecture of the system is obtained. the main functions of the system include aggregation statistics, random extraction, Topl0 hot categories and Topl0 active session;. Then, the design idea of the data acquisition algorithm and the main functions of the system are designed in detail, and the database is designed in detail. Finally, the system environment is built and the main functions of the data acquisition algorithm and the system are implemented concretely. After the completion of the implementation, the functional test and non-functional testing are carried out. The running results show that the system can run normally and achieve the expected goal.
【學(xué)位授予單位】：內(nèi)蒙古大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.52

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王海;孫穆田;;娛樂(lè)消費(fèi)主張與民族中心主義的對(duì)抗——對(duì)“李敏鎬爭(zhēng)論”的解讀與反思[J];青年記者;2014年09期

2 高夢(mèng)媛;鄭欣;;文化自覺:從娛樂(lè)消費(fèi)看新生代農(nóng)民工的城市適應(yīng)——基于長(zhǎng)三角地區(qū)外來(lái)務(wù)工人員的考察[J];新疆社會(huì)科學(xué);2013年03期

3 楊萌;電視劇收視中的“得”與“失”[J];當(dāng)代電視;2003年12期

4 ;“硬”氣十足過(guò)大年,IPS歲末饋“清”情——新春硬屏娛樂(lè)消費(fèi)導(dǎo)購(gòu)[J];計(jì)算機(jī)與網(wǎng)絡(luò);2010年01期

5 楓林;銀色誘惑——德勁(DEGEN)DE805[J];大眾硬件;2004年08期

6 靈云;;暑假到,快去買電腦?![J];世界計(jì)算機(jī)周刊;1998年26期

7 張娜;;媒介娛樂(lè)幻象商業(yè)路徑分析[J];編輯之友;2013年09期

8 ;你的游戲,我的生意[J];數(shù)字生活;2001年06期

9 老王;上海人傲什么?[J];中國(guó)新聞周刊;2000年13期

10 尹鴻;;看,還是不看[J];計(jì)算機(jī)教與學(xué).IT搜索;2002年Z1期

相關(guān)重要報(bào)紙文章 前10條

1 記者 熊遠(yuǎn)帆;長(zhǎng)沙發(fā)放10萬(wàn)張娛樂(lè)消費(fèi)優(yōu)惠券[N];湖南日?qǐng)?bào);2009年

2 吳學(xué)安;《中國(guó)好聲音》引領(lǐng)娛樂(lè)消費(fèi)新模式[N];中國(guó)婦女報(bào);2013年

3 編譯 如今;2012年家庭娛樂(lè)消費(fèi)上漲[N];中國(guó)電影報(bào);2013年

4 本報(bào)記者 沈娟;北京數(shù)字娛樂(lè)消費(fèi)節(jié)啟動(dòng)[N];國(guó)際商報(bào);2013年

5 本報(bào)記者 張建華;“長(zhǎng)沙歌廳現(xiàn)象”開啟一代娛樂(lè)消費(fèi)潮[N];湖南經(jīng)濟(jì)報(bào);2008年

6 中國(guó)經(jīng)濟(jì)導(dǎo)報(bào)記者 蔡若愚;2017年中國(guó)娛樂(lè)消費(fèi)支出將超英、德[N];中國(guó)經(jīng)濟(jì)導(dǎo)報(bào);2013年

7 娜荷芽;我市文化娛樂(lè)消費(fèi)增長(zhǎng)[N];鄂爾多斯日?qǐng)?bào);2008年

8 記者 劉穎莉　通訊員 沈嬡;我市居民人均文化娛樂(lè)消費(fèi)同比增34.2%[N];張家口日?qǐng)?bào);2010年

9 記者 鄭朝華;張掖城鎮(zhèn)居民教育文化娛樂(lè)消費(fèi)近2000元[N];甘肅經(jīng)濟(jì)日?qǐng)?bào);2014年

10 環(huán)球;美國(guó)旅游業(yè)第三季度增長(zhǎng)1.1%[N];中國(guó)旅游報(bào);2004年

相關(guān)碩士學(xué)位論文 前1條

1 曲潔;民國(guó)時(shí)期青島的文化娛樂(lè)消費(fèi)初探（1912-1937）[D];青島大學(xué);2013年

，

本文編號(hào)：2502879