近些年來,隨著大數據、物聯(lián)網、云計算等技術的發(fā)展,高校網絡也迎來了一個新的階段,即大數據時代。大數據給我們的生活帶來了前所未有的改變,而高校作為大數據應用的新陣地,也將給學生和教職工帶來巨大的幫助。校園網數據來源豐富、數據量大,通過挖掘用戶上網數據可以深入了解校園網用戶的行為習慣,提高學校教學和管理水平。本文對多個校園網用戶上網數據源進行了深入研究,并對系統(tǒng)進行了總體設計和實現(xiàn)。一方面通過數據預處理搭建了數據倉庫,實現(xiàn)了基礎數據平臺;另一方面,在此基礎上深入挖掘用戶上網行為,提出了新的改進算法和公式,并實現(xiàn)用戶行為分析系統(tǒng)。本文的主要工作和成果如下:研究和分析采集到的多個上網數據源,對系統(tǒng)進行了總體設計。其中為了實現(xiàn)對校園網用戶上網數據的整合和統(tǒng)一管理,對數據平臺進行了設計,從而搭建數據倉庫,實現(xiàn)基礎數據平臺。為了有效挖掘校園網用戶上網數據,以得到更好的聚類結果,采用基于用戶過濾的數據挖掘方式對用戶行為進行分析,并對校園網用戶上網特征和移動軌跡相似度算法進行研究,提出了新的用戶上網活躍度公式和基于改進LCSS（Longest Common Subsequence）的軌跡相似度算法,并通... 

【文章來源】：浙江工業(yè)大學浙江省

【文章頁數】：113 頁

【學位級別】：碩士

【部分圖文】：

Hadoop生態(tài)系統(tǒng)

圖 2-1 Hadoop 生態(tài)系統(tǒng)Figure 2-1. The ecological system of HadoopCommon。這是 Hadoop 的一個基礎模塊，為生態(tài)系統(tǒng)中其他模塊提供。HDFS。這是一個分布式文件系統(tǒng)，是 Hadoop 的存儲模塊，采用流式數式來存儲超大文件。它包含一個管理節(jié)點 NameNode 和多個工作節(jié)點Node。NameNode 負責管理文件系統(tǒng)命名空間，維護整個文件系統(tǒng)樹及有的文件和目錄；DataNode 負責完成 NameNode 安排的工作任務，它存儲并檢索數據塊，并且定期向 NameNode 發(fā)送它們所存儲的塊列表。高容錯、高可靠、高擴展性等優(yōu)勢，而且用戶不需要使用高昂可靠的硬運行 Hadoop 平臺，因此適用性很高。其客戶端讀寫數據的結構如圖 2-2 HDFSSqoo讀請求

浙江工業(yè)大學碩士學位論文MapReduce。作為 Hadoop 核心模塊的 MapReduce，它的最大優(yōu)勢在于能夠屏蔽底層實現(xiàn)細節(jié)，有效降低并行編程難度，提高編程效率[47]。它將數據操作分為多個數據塊的并行處理，通過Map和Reduce兩個函數實現(xiàn)對海量數據的各種計算。采用 MapReduce 可以解決關系型數據庫管理系統(tǒng)在海量數據存儲中效率低下的問題，傳統(tǒng)關系型數據庫使用的數據結構，也就是 B 樹，由于需要使用“排序/合并”操作來重建數據庫時易受尋址速率的影響，使得效率明顯下降。而 MapReduce 比較適合解決需要以批處理方式分析整個數據集的問題。而且 MapReduce 對于非結構化或半結構化的數據非常有效，因為它是在處理數據時才對數據進行解釋的，這種模式不僅靈活而且避免了關系型數據庫管理系統(tǒng)在數據加載階段帶來的高開銷，因此可以說 MapReduce 是關系型數據庫管理系統(tǒng)的補充。MapReduce 的處理流程如圖 2-3 所示。[Combine]Shuffle

【參考文獻】：
期刊論文
[1]鐵路信號設備設施技術狀態(tài)大數據平臺的研究[J]. 李斌,陳姝.  鐵路通信信號工程技術. 2019(04)
[2]使用虛擬機搭建Hadoop3.0集群安裝環(huán)境[J]. 楊云海,章芬芬.  現(xiàn)代信息科技. 2018(10)
[3]Hadoop研究及挑戰(zhàn)綜述[J]. 何思佑,王亞強.  信息通信. 2018(10)
[4]開放互聯(lián)網中的學者畫像技術綜述[J]. 袁莎,唐杰,顧曉韜.  計算機研究與發(fā)展. 2018(09)
[5]基于Hadoop云計算平臺的數據處理研究[J]. 朱曉麗,鄧惠俊,陳小虎.  科技經濟市場. 2018(07)
[6]一種潛在投訴用戶畫像及智能優(yōu)化系統(tǒng)[J]. 王勝,劉滿.  信息通信. 2018(07)
[7]基于用戶軌跡數據的移動推薦系統(tǒng)研究[J]. 孟祥武,李瑞昌,張玉潔,紀威宇.  軟件學報. 2018(10)
[8]應用數據挖掘技術在高校數字化校園建設中的研究[J]. 葉頔.  數碼世界. 2018(05)
[9]數據挖掘技術及其在醫(yī)療質量管理中的應用[J]. 鄭娟,許建強.  醫(yī)學信息學雜志. 2018(03)
[10]數據挖掘常用算法及其在醫(yī)學大數據研究中的應用[J]. 孫雪松,王曉麗.  中國數字醫(yī)學. 2018(03)

碩士論文
[1]基于聚類技術的校園網絡用戶行為數據分析研究[D]. 李旭.山東師范大學 2016
[2]校園無線局域網用戶行為分析研究[D]. 堯婷娟.山東大學 2014



本文編號：3410114