【摘要】：隨著“互聯(lián)網(wǎng)+”的走熱,各行各業(yè)都與互聯(lián)網(wǎng)緊密的結(jié)合了起來(lái),隨之產(chǎn)生了海量的數(shù)據(jù)信息,盡管面對(duì)如此多的數(shù)據(jù)信息,但人們想真正找到自己感興趣的內(nèi)容也是件難事。同時(shí)互聯(lián)網(wǎng)企業(yè)絞盡腦汁分析用戶興趣,為用戶提供更好的產(chǎn)品、更好的服務(wù),日志數(shù)據(jù)記錄了用戶的行為,基于此,如何分析挖掘互聯(lián)網(wǎng)產(chǎn)品產(chǎn)生的海量日志數(shù)據(jù)變得非常重要。在目前數(shù)據(jù)挖掘的研究中,關(guān)聯(lián)規(guī)則的挖掘是非常重要的研究方向,關(guān)聯(lián)規(guī)則涉及到信息、醫(yī)療、交通、金融等多個(gè)領(lǐng)域的研究。在關(guān)聯(lián)規(guī)則的挖掘算法中,由R.Agrawal和R.Srikant于1994年提出的Apriori算法最為經(jīng)典和重要,算法的核心思想是通過(guò)迭代由k-1輪的頻繁項(xiàng)集連接剪枝生成K輪的頻繁項(xiàng)集。本課題主要對(duì)用戶海量數(shù)據(jù)處理算法Apriori進(jìn)行研究,其中主要包括以下幾個(gè)研究?jī)?nèi)容:(1)關(guān)聯(lián)規(guī)則算法在日志數(shù)據(jù)挖掘中的應(yīng)用。該研究采集了視頻APP用戶的瀏覽、觀看、檢索日志數(shù)據(jù),提出數(shù)據(jù)挖掘的流程框圖,并基于Apriori算法得出視頻作品之間的關(guān)聯(lián)度,根據(jù)作品關(guān)聯(lián)程度為用戶推薦合適的視頻作品。(2)Apriori算法改進(jìn)的研究。Apriori算法在處理日志數(shù)據(jù)時(shí)由于頻繁的掃庫(kù)和生成大量的頻繁項(xiàng)集而使時(shí)間性能較低,本研究在大量?jī)?yōu)化研究的基礎(chǔ)上,提出對(duì)源數(shù)據(jù)、頻繁項(xiàng)集進(jìn)行二進(jìn)制編碼并用整數(shù)表示,通過(guò)位運(yùn)算和海明距離生成頻繁項(xiàng)集的優(yōu)化策略。我們將優(yōu)化策略編程實(shí)現(xiàn),并分析了優(yōu)化的效果。(3)優(yōu)化的Apriori算法在MapReduce并行化編程模型下的擴(kuò)展。面對(duì)海量日志數(shù)據(jù),單機(jī)計(jì)算能力遠(yuǎn)不能滿足大數(shù)據(jù)挖掘的需求了,本課題通過(guò)研究并行化編程模型MapReduce,將優(yōu)化的Apriori算法在MapReduce下進(jìn)行并行化擴(kuò)展。
[Abstract]:With the "Internet" hot, various industries have been closely combined with the Internet, resulting in a huge amount of data information, despite the face of so much data information, But it is also difficult for people to really find what they are interested in. At the same time, Internet enterprises have racked their brains to analyze the interests of users, to provide better products and better services for users. How to analyze and mine the massive log data generated by Internet products becomes very important. In the current data mining research, association rules mining is a very important research direction, association rules related to information, medical, transportation, finance and other fields of research. Among the algorithms for mining association rules, the Apriori algorithm proposed by R.Agrawal and R.Srikant in 1994 is the most classical and important. The core idea of the algorithm is to generate K-wheel frequent itemsets by iterating the frequent itemsets of k-1 rounds. This paper mainly studies the user mass data processing algorithm (Apriori), which mainly includes the following research contents: (1) the application of association rule algorithm in log data mining. This study collects the browsing, viewing and retrieving log data of video APP users, puts forward the flow chart of data mining, and obtains the correlation degree between video works based on Apriori algorithm. (2) Research on the improvement of Apriori algorithm. (2) the performance of Apriori algorithm in processing log data is low due to frequent scanning and generating a large number of frequent itemsets. Based on a large number of optimization studies, this paper proposes an optimization strategy for generating frequent itemsets from source data, frequent itemsets and integer representation, and generating frequent itemsets by bit operation and hamming distance. We implement the optimization strategy programming and analyze the effect of optimization. (3) the extension of the optimized Apriori algorithm in the parallel programming model of MapReduce. In the face of massive log data, the single computer can not meet the needs of big data mining. This paper extends the optimized Apriori algorithm under MapReduce by studying the parallelization programming model MapReduce,.
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 馬安光;;棋子問(wèn)題的算法分析——2003年第11期題解[J];程序員;2004年01期

2 馮舜璽;;新書(shū)推薦:《算法分析導(dǎo)論》[J];計(jì)算機(jī)教育;2006年05期

3 張力,慕曉冬;計(jì)算機(jī)算法分析淺談[J];武警工程學(xué)院學(xué)報(bào);2002年04期

4 馬安光;;飛彈問(wèn)題的算法分析——2003年第10期題解[J];程序員;2003年12期

5 蘇運(yùn)霖;;《算法分析導(dǎo)論》評(píng)介[J];計(jì)算機(jī)教育;2006年07期

6 朱力強(qiáng);;培養(yǎng)學(xué)生創(chuàng)新思維與能力的算法分析案例[J];計(jì)算機(jī)與信息技術(shù);2007年11期

7 汪菊琴;;幾種常見(jiàn)特殊方陣的算法分析與實(shí)現(xiàn)[J];無(wú)錫職業(yè)技術(shù)學(xué)院學(xué)報(bào);2009年05期

8 李涵;;“算法分析與設(shè)計(jì)”課程教學(xué)改革和實(shí)踐[J];中國(guó)電力教育;2010年16期

9 劉寧;管濤;;淺析案例教學(xué)法在算法分析與設(shè)計(jì)課程中的應(yīng)用[J];科技風(fēng);2011年07期

10 胡峰;王國(guó)胤;;“算法分析與設(shè)計(jì)”教學(xué)模式探索[J];當(dāng)代教育理論與實(shí)踐;2011年12期

相關(guān)會(huì)議論文 前10條

1 俞洋;田亞菲;;一種新的變步長(zhǎng)LMS算法及其仿真[A];通信理論與信號(hào)處理新進(jìn)展——2005年通信理論與信號(hào)處理年會(huì)論文集[C];2005年

2 姚建聰;何啟蓋;劉軍發(fā);;豬傳染性胸膜肺炎(APP)診斷方法的研究進(jìn)展[A];豬的重要傳染病防治研究新成果——中國(guó)畜牧獸醫(yī)學(xué)會(huì)家畜傳染病學(xué)分會(huì)第五屆理事會(huì)第二次全體會(huì)議暨防檢疫專業(yè)委員會(huì)第7次學(xué)術(shù)交流會(huì)論文集[C];2002年

3 田鳳蘭;;塑性體(APP)改性瀝青防水卷材及其應(yīng)用技術(shù)[A];第八屆防水技術(shù)專業(yè)委員會(huì)學(xué)術(shù)年會(huì)論文集[C];2004年

4 欒鸞;李云;盛艷;;多關(guān)系頻繁項(xiàng)集的并行獲取[A];2008年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2008年

5 楊曉明;王晨;汪衛(wèi);張守志;施伯樂(lè);;頻繁項(xiàng)集的精簡(jiǎn)表達(dá)與還原問(wèn)題研究[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

6 鄧傳國(guó);;頻繁項(xiàng)集挖掘與學(xué)生素質(zhì)測(cè)評(píng)應(yīng)用研究[A];2007系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2007年

7 周顥;劉振華;趙保華;;構(gòu)造型的D~2FA生成算法[A];中國(guó)通信學(xué)會(huì)通信軟件技術(shù)委員會(huì)2009年學(xué)術(shù)會(huì)議論文集[C];2009年

8 李日涵;徐廣寧;徐建閩;夏創(chuàng)文;;基于APP的公眾出行交通信息服務(wù)系統(tǒng)研究[A];第八屆中國(guó)智能交通年會(huì)論文集[C];2013年

9 賴桃桃;馮少榮;張東站;;一種基于劃分和密度的快速聚類算法[A];第二十五屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（一）[C];2008年

10 劉遠(yuǎn)新;鄧飛其;羅艷輝;舒添慧;;ERP柔性平臺(tái)下物流運(yùn)輸配送系統(tǒng)算法分析[A];第二十六屆中國(guó)控制會(huì)議論文集[C];2007年

相關(guān)重要報(bào)紙文章 前10條

1 王斌;手機(jī)瀏覽器或?qū)⑻娲喿x類App[N];北京商報(bào);2012年

2 本報(bào)記者 趙家新 通訊員 殷長(zhǎng)慶 韓瑜;揚(yáng)州警方手機(jī)APP讓市民一分鐘找到民警[N];人民公安報(bào);2012年

3 工信部電信研究院知識(shí)產(chǎn)權(quán)中心 李立委 宋文靜;應(yīng)用商店如何推廣App[N];人民郵電;2013年

4 本報(bào)記者 姜旭　實(shí)習(xí)生 羅傳瑩;傳統(tǒng)出版社如何制勝APP圖書(shū)市場(chǎng)？[N];中國(guó)知識(shí)產(chǎn)權(quán)報(bào);2013年

5 本報(bào)記者 劉浩;上海市消保委開(kāi)通“3·15”APP[N];中國(guó)消費(fèi)者報(bào);2013年

6 早報(bào)記者 韓曉蓉;幼兒園試點(diǎn)APP直播孩子表現(xiàn)[N];東方早報(bào);2013年

7 本報(bào)記者 陳洲;卸載預(yù)裝APP軟件受寵 折射國(guó)產(chǎn)手機(jī)生存困境[N];通信信息報(bào);2013年

8 北京商報(bào)記者 魏蔚;360手機(jī)助手6月首發(fā)App超300款[N];北京商報(bào);2014年

9 實(shí)習(xí)生 劉友婷 記者 葉小鐘;廣東省總推出手機(jī)APP“心靈e站”[N];工人日?qǐng)?bào);2014年

10 本報(bào)記者 鄭昊 實(shí)習(xí)生 陳棟;手機(jī)APP：被“消費(fèi)”的安全隱患[N];陜西日?qǐng)?bào);2014年

相關(guān)博士學(xué)位論文 前10條

1 魏哲學(xué);樣本斷點(diǎn)距離問(wèn)題的算法與復(fù)雜性研究[D];山東大學(xué);2015年

2 劉春明;基于增強(qiáng)學(xué)習(xí)和車輛動(dòng)力學(xué)的高速公路自主駕駛研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2014年

3 張敏霞;生物地理學(xué)優(yōu)化算法及其在應(yīng)急交通規(guī)劃中的應(yīng)用研究[D];浙江工業(yè)大學(xué);2015年

4 李紅;流程挖掘算法研究[D];云南大學(xué);2015年

5 卜晨陽(yáng);演化約束優(yōu)化及演化動(dòng)態(tài)優(yōu)化求解算法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2017年

6 陳拉明;基于非凸優(yōu)化的稀疏重建理論與算法[D];清華大學(xué);2016年

7 劉新旺;多核學(xué)習(xí)算法研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

8 于濱;城市公交系統(tǒng)模型與算法研究[D];大連理工大學(xué);2006年

9 曾國(guó)強(qiáng);改進(jìn)的極值優(yōu)化算法及其在組合優(yōu)化問(wèn)題中的應(yīng)用研究[D];浙江大學(xué);2011年

10 肖永豪;蜂群算法及在圖像處理中的應(yīng)用研究[D];華南理工大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 何建旺;移動(dòng)App用戶海量日志分析的優(yōu)化策略與算法研究[D];北京郵電大學(xué);2016年

2 黃廈;基于改進(jìn)蟻群算法的柔性作業(yè)車間調(diào)度問(wèn)題研究[D];昆明理工大學(xué);2015年

3 李平;基于Hadoop的信息爬取與輿情檢測(cè)算法研究[D];昆明理工大學(xué);2015年

4 趙官寶;基于位表的關(guān)聯(lián)規(guī)則挖掘算法研究[D];昆明理工大學(xué);2015年

5 殷文華;移動(dòng)容遲網(wǎng)絡(luò)中基于社會(huì)感知的多播分發(fā)算法研究[D];內(nèi)蒙古大學(xué);2015年

6 徐翔燕;人工魚(yú)群優(yōu)化算法及其應(yīng)用研究[D];西南交通大學(xué);2015年

7 李德福;基于小世界模型的啟發(fā)式尋路算法研究[D];華中師范大學(xué);2015年

8 鄭海彬;一種面向MAPREDUCE的DATASHUFFLE的優(yōu)化方法[D];蘇州大學(xué);2015年

9 趙曉寒;輪換步長(zhǎng)PSO算法及SMVSC參數(shù)優(yōu)化[D];沈陽(yáng)理工大學(xué);2015年

10 安豐洋;基于無(wú)線網(wǎng)絡(luò)的廣播算法研究[D];曲阜師范大學(xué);2015年

，

本文編號(hào)：2377988