隨著網(wǎng)絡(luò)的快速發(fā)展,各式各樣的數(shù)據(jù)呈現(xiàn)出爆炸式增長(zhǎng),海量數(shù)據(jù)的不斷累積對(duì)數(shù)據(jù)的存儲(chǔ)與計(jì)算提出了更多的要求,各類分布式計(jì)算框架和分布式存儲(chǔ)模式接連涌現(xiàn)。其中分布式文件存儲(chǔ)系統(tǒng)HDFS憑借其較好的實(shí)用特性得到了廣泛應(yīng)用;與此同時(shí),Spark計(jì)算框架也因?yàn)槠浠趦?nèi)存計(jì)算的高可用性受到了學(xué)術(shù)界與社會(huì)的廣泛關(guān)注。合理地利用這兩種計(jì)算框架處理日志數(shù)據(jù),并且將日志分析產(chǎn)生的結(jié)果利用可視化工具進(jìn)行展示,是現(xiàn)如今社會(huì)亟待解決的問(wèn)題,為了實(shí)現(xiàn)這一目標(biāo),就需要制定出對(duì)應(yīng)業(yè)務(wù)場(chǎng)景中的數(shù)據(jù)分析解決方案。本文設(shè)計(jì)和開(kāi)發(fā)基于Hadoop平臺(tái)的網(wǎng)站日志數(shù)據(jù)分析系統(tǒng),其中Hadoop生態(tài)系統(tǒng)中的各個(gè)組件提供了日志數(shù)據(jù)的離線分析計(jì)算的能力;應(yīng)用系統(tǒng)釆用Spark Streaming計(jì)算框架設(shè)計(jì)了日志實(shí)時(shí)計(jì)算的應(yīng)用,采用MapReduce計(jì)算框架設(shè)計(jì)了離線計(jì)算應(yīng)用,前端展示使用當(dāng)前主流javaEE平臺(tái)進(jìn)行設(shè)計(jì)開(kāi)發(fā),各種后端開(kāi)發(fā)框架,如SpringMVC等提供了更好的可維護(hù)性與可擴(kuò)展性;同時(shí)提供了基于HTML5頁(yè)面開(kāi)發(fā)的WEB應(yīng)用功能,使用戶可以得到對(duì)于分析結(jié)果的多維度統(tǒng)計(jì)信息;在數(shù)據(jù)展示方面,采用Echart、Highch...

【文章頁(yè)數(shù)】：92 頁(yè)

【學(xué)位級(jí)別】：碩士

本文編號(hào)：3881897