隨著信息智能化技術(shù)的普及,企業(yè)網(wǎng)站由傳統(tǒng)的企業(yè)宣傳逐漸集成了電子商務(wù)、企業(yè)管理等功能,已成為重要的生產(chǎn)工具。企業(yè)網(wǎng)站在內(nèi)容管理方面,采用大數(shù)據(jù)技術(shù)發(fā)現(xiàn)新的商業(yè)模式和用戶畫像,為企業(yè)帶來了豐厚的利潤;相對于網(wǎng)站內(nèi)容管理,日志管理相對滯后,當(dāng)前通常借助全文檢索工具或者人工檢索的方式進(jìn)行管理,存在以下缺點:一是解析不全面無法及時反饋動態(tài)信息;二是日志解析偏向于網(wǎng)站故障定位,網(wǎng)站優(yōu)化和信息安全數(shù)據(jù)解析薄弱;三是無法應(yīng)對海量日志及時解析和結(jié)果實時查詢;四是可視化模塊個性化和二次開發(fā)困難。針對當(dāng)前日志管理存在的問題,本文設(shè)計和開發(fā)基于Hadoop平臺的網(wǎng)站日志解析系統(tǒng),其中Hadoop平臺提供了 PB數(shù)量級日志數(shù)據(jù)的離線計算和實時查詢能力;應(yīng)用系統(tǒng)采用主流JavaEE平臺進(jìn)行設(shè)計開發(fā),擴(kuò)展和維護(hù)更加容易;同時提供了基于HTML5的Web應(yīng)用功能,方便解析日志和對結(jié)果進(jìn)行分析計算;在數(shù)據(jù)呈現(xiàn)方面,采用HTML5的Canvas繪圖技術(shù),為解析結(jié)果提供了靈活的個性化定制和二次開發(fā)解決方案。該系統(tǒng)能夠全面解析網(wǎng)站日志,提供更多維度的參考信息,為企業(yè)網(wǎng)站的優(yōu)化、信息安全以及網(wǎng)站維護(hù)提供完整的參考數(shù)據(jù)。本文主... 

【文章來源】：廈門大學(xué)福建省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：103 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－２?ＭａｐＲｅｄｕｃｅ與ＨＢａｓｅ集成架構(gòu)圖??

４）系統(tǒng)管理員??管理員登陸系統(tǒng)進(jìn)入系統(tǒng)后臺，可以查看用戶信息列表，對用戶是否允許登??陸系統(tǒng)上傳網(wǎng)站日志文件進(jìn)行授權(quán)。用例圖如圖３－６所示。??圖３－６系統(tǒng)管理員用例圖??３．２．２功能需求分析??網(wǎng)站日志解析系統(tǒng)應(yīng)用程序由后臺和前臺構(gòu)成。前臺向游客和注冊用戶提供??登陸、注冊、日志文件上傳、日志文件解析、生成可視化數(shù)據(jù)圖表等系統(tǒng)服務(wù)；??后臺向管理員提供用戶啟用、禁用、密碼重置等管理服務(wù)。系統(tǒng)功能模塊如圖??３－７所示。??……＂—？？？１??網(wǎng)站日志解析系統(tǒng)??ｒ?１??夢?后??°?！臺??功?丨功??能?丨能??１??Ｔ?Ｔ?Ｔ?＿ｉｒ?４＊?ｖ?ｉｒ?”??＇％

分布式計算和分布式存儲的規(guī)模較小，因此把Ｈａｄｏｏｐ和ＨＢａｓｅ的主節(jié)點也配置??在同一臺主機(jī)上。此外，Ｈａｄｏｏｐ集群一共需要最少三臺主機(jī)，因此還需要配置??兩臺主機(jī)作為Ｈａｄｏｏｐ集群的從節(jié)點。系統(tǒng)的架構(gòu)如圖３－８所示。??０?ｎ?Ｄ?＇??－４—?ｒ—Ｊ?請求?？?Ｍ?Ｈａｄｏｏｐ集群從節(jié)點＾??／＿?／?，?？?ＨＢａｓｅ集群從節(jié)點ｊ??Ａ?客戶端瀏覽器?￣ｙ?＼?＾￣｜?／??／?＼?應(yīng)用服務(wù)器?、＼?ｍ??／?＼?數(shù)據(jù)庫服務(wù)器?＇圍，??Ｈａｄｏｏｐ集群主節(jié)點??脫集群主節(jié)點批〇〇（＾從節(jié)點??ＨＢａｓｅ集群從節(jié)點??圖３－８網(wǎng)站日志解析系統(tǒng)架構(gòu)圖??由于應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器、Ｈａｄｏｏｐ集群主節(jié)點、ＨＢａｓｅ集群主節(jié)點??是在同一臺服務(wù)器上實現(xiàn)，因此在實際項目的集群配置中，采用高配置的服務(wù)器??作為主節(jié)點。??ＭＶＣ的全稱是Ｍｏｄｅｌ?Ｖｉｅｗ?Ｃｏｎｔｒｏｌｌｅｒ，是Ｗｅｂ應(yīng)用程序的典型設(shè)計模式，??ＭＶＣ的思想是將模型、視圖、控制器的代碼分開來組織，最大的優(yōu)點是在調(diào)整??２６??


本文編號：3002362