近年來,隨著互聯(lián)網(wǎng)技術的快速發(fā)展,網(wǎng)絡用戶數(shù)量快速增長,產(chǎn)生了大量的網(wǎng)絡用戶數(shù)據(jù),這為互聯(lián)網(wǎng)企業(yè)帶來了機遇和挑戰(zhàn)。一方面,對這些數(shù)據(jù)進行分析可讓企業(yè)更了解用戶,幫助企業(yè)及時做出正確的決策,從而為企業(yè)創(chuàng)造巨大的價值。另一方面,大規(guī)模的用戶行為數(shù)據(jù)在存儲、計算、分析以及應用等方面對互聯(lián)網(wǎng)企業(yè)來說都是一個非常大的技術挑戰(zhàn),特別是面對短時間內(nèi)產(chǎn)生的海量實時行為數(shù)據(jù),一直以來都是大數(shù)據(jù)行業(yè)面臨的難點。開源社區(qū)推出了許多值得關注的大數(shù)據(jù)分析平臺,特別是大家所共知的由Apache所開發(fā)的分布式系統(tǒng)基礎架構(gòu)Hadoop。其兩大核心組件HDFS分布式文件系統(tǒng)與MapReduce編程模型提供了海量數(shù)據(jù)的存儲與計算功能,其在海量數(shù)據(jù)的存儲與計算處理方面具有高容錯、高可靠、低成本等優(yōu)點,因此在企業(yè)中被廣泛應用。但利用Hadoop處理海量數(shù)據(jù),用戶必須自己開發(fā)MapReduce程序,一方面,其編程難度大而備受詬病,另一方面,MapReduce也不能滿足實時應用的需求。由加州大學伯克利分校的AMP實驗室所開源的類Hadoop MapReduce的通用并行框架Spark,提供的核心組件既具有MapReduce的離線... 

【文章來源】：長江大學湖北省

【文章頁數(shù)】：66 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本文研究內(nèi)容及結(jié)構(gòu)
    1.4 本章小結(jié)
第2章 相關技術與基本理論
    2.1 用戶行為分析系統(tǒng)
    2.2 Haoop及相關技術
    2.3 Spark技術
    2.4 JavaWeb技術
    2.5 本章小結(jié)
第3章 用戶行為分析系統(tǒng)的需求分析
    3.1 系統(tǒng)需求分析概述
    3.2 業(yè)務需求分析
    3.3 非功能性需求分析
    3.4 本章小結(jié)
第4章 用戶行為分析系統(tǒng)的設計
    4.1 系統(tǒng)架構(gòu)設計
    4.2 系統(tǒng)的功能模塊設計
    4.3 基礎數(shù)據(jù)表設計
    4.4 本章小結(jié)
第5章 系統(tǒng)實現(xiàn)及其關鍵技術
    5.1 系統(tǒng)環(huán)境的搭建
    5.2 關鍵技術實現(xiàn)
    5.3 系統(tǒng)測試
    5.4 本章小結(jié)
第6章 總結(jié)與展望
致謝
參考文獻
個人簡介


【參考文獻】：
期刊論文
[1]Spark on Yarn模式的電信大數(shù)據(jù)處理平臺[J]. 楊玉,張遠夏.  福建電腦. 2019(03)
[2]基于Spark流計算框架的銀行實時存貸款規(guī)模系統(tǒng)設計與實現(xiàn)[J]. 周鵬,朱彬,孔在華.  中國金融電腦. 2019(03)
[3]基于Web的數(shù)據(jù)可視化教學系統(tǒng)設計與實現(xiàn)[J]. 劉霞,張威.  電子設計工程. 2019(05)
[4]基于Hadoop大數(shù)據(jù)平臺的金融產(chǎn)品購買行為分析[J]. 龐雙玉.  電子技術與軟件工程. 2019(04)
[5]基于Spark Streaming的電力流式大數(shù)據(jù)分析架構(gòu)及應用[J]. 田璐,齊林海,李青,王紅,田世明,卜凡鵬.  電力信息與通信技術. 2019(02)
[6]基于Hadoop的大數(shù)據(jù)計算之研究[J]. 張海濤.  電子測試. 2019(04)
[7]基于Kafka的在線教學平臺事件中心設計與實現(xiàn)[J]. 張海華,楊秀波,張非,鐘磊.  數(shù)字通信世界. 2019(02)
[8]云計算平臺中分布式Hadoop數(shù)據(jù)挖掘關鍵技術研究（英文）[J]. 何婕,賴敏.  機床與液壓. 2018(24)
[9]基于Hadoop的MapReduce運行流程研究[J]. 馮祥,張媛媛.  福建電腦. 2018(12)
[10]一個基于Web的輕量級大數(shù)據(jù)處理與可視化工具[J]. 李炎,馬俊明,安博,曹東剛.  計算機科學. 2018(09)

碩士論文
[1]基于Echarts的健身車監(jiān)測數(shù)據(jù)可視化系統(tǒng)設計與實現(xiàn)[D]. 文浩.武漢體育學院 2018
[2]基于Hadoop的電信大數(shù)據(jù)處理的研究及應用[D]. 張思航.華北電力大學(北京) 2017
[3]基于Spark的SQL連接優(yōu)化研究與應用[D]. 邵帥.北京交通大學 2017
[4]Spark Shuffle的內(nèi)存調(diào)度算法分析及優(yōu)化[D]. 陳英芝.浙江大學 2016
[5]基于hadoop的網(wǎng)站用戶行為分析系統(tǒng)設計與實現(xiàn)[D]. 王電輕.中國科學院大學(工程管理與信息技術學院) 2016
[6]基于代價模型的Spark SQL查詢優(yōu)化研究[D]. 劉春雷.電子科技大學 2016
[7]基于Spark的數(shù)據(jù)管理平臺的設計與實現(xiàn)[D]. 劉鵬.浙江大學 2016
[8]基于Spark的數(shù)據(jù)處理分析系統(tǒng)的設計與實現(xiàn)[D]. 李爽.北京交通大學 2015
[9]基于Spark的機器學習應用框架研究與實現(xiàn)[D]. 孫科.上海交通大學 2015
[10]基于Spark的網(wǎng)絡日志分析系統(tǒng)的設計與實現(xiàn)[D]. 劉季函(Liu,Chi Han).南京大學 2014



本文編號：3164003