隨著硬件成本的降低,數(shù)據(jù)的存儲量以及讀寫性能都得到很大的提升。同時,隨著互聯(lián)網(wǎng)以及各平臺應(yīng)用用戶的不斷增加,數(shù)據(jù)的產(chǎn)生量也在爆炸性的增長。目前大數(shù)據(jù)相關(guān)技術(shù)發(fā)展迅速,能夠處理數(shù)據(jù)種類逐漸增多,數(shù)據(jù)結(jié)構(gòu)也變得復(fù)雜,很多積累下來的大量數(shù)據(jù)都得以挖掘分析。本文主要敘述如何管理和計算半結(jié)構(gòu)化的文本數(shù)據(jù)以及存儲在數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)。本文將所有的數(shù)據(jù)以文本文件的方式存儲在分布式文件系統(tǒng)中,對數(shù)據(jù)進行冗余存儲,這樣可以提高數(shù)據(jù)的計算速度并可以防止數(shù)據(jù)丟失。本文選用Hadoop的HDFS,使用多臺機器建立大數(shù)據(jù)處理集群,使用Hadoop軟件統(tǒng)一進行管理。在使用時提供給操作者一個可視化的web界面。通過封裝,用戶可以通過界面操作完成整個數(shù)據(jù)處理的過程,包括數(shù)據(jù)上傳、數(shù)據(jù)運算,結(jié)果查看。數(shù)據(jù)計算部分主要通過Hadoop的yarn、封裝的MapReduce模型,并結(jié)合Hive SQL,實現(xiàn)簡單的統(tǒng)計分析。運算內(nèi)容主要為統(tǒng)計分析中常用的操作,如平均值,加權(quán)運算,缺失值處理等。運算結(jié)果展現(xiàn)部分主要引入百度開源前端組件Echarts,進行簡單的配置項封裝,可以使用戶更加靈活的設(shè)置圖表相關(guān)的配置項�？梢詫�(shù)據(jù)運算結(jié)果以商業(yè)報表(柱形圖,餅形圖,折線圖等)的形式進行展示。本文將從大數(shù)據(jù)的集群環(huán)境,web平臺的體系架構(gòu),需求分析、概要設(shè)計、詳細設(shè)計等方面進行完整敘述,并展示部分項目核心代碼和效果圖。最后,將對整個工作及項目進行歸納總結(jié),并指出可以優(yōu)化的部分以及擴展開發(fā)的部分。目前,該項目已和上海聯(lián)通等知名企業(yè)達成合作,運營良好。
【學位單位】：大連理工大學
【學位級別】：碩士
【學位年份】：2018
【中圖分類】：TP311.13;TP311.52
【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 研究目標及內(nèi)容
    1.4 論文組織架構(gòu)
2 相關(guān)技術(shù)與理論
    2.1 系統(tǒng)開發(fā)結(jié)構(gòu)
        2.1.1 C/S體系結(jié)構(gòu)
        2.1.2 B/S體系結(jié)構(gòu)
    2.2 MVC模式
        2.2.1 MVC模式的結(jié)構(gòu)
        2.2.2 MVC模式的特點
    2.3 開發(fā)語言：JAVA
        2.3.1 Java語言特性
        2.3.2 J2EE架構(gòu)
        2.3.3 J2EE開發(fā)框架
    2.4 MySQL5.5數(shù)據(jù)庫
    2.5 大數(shù)據(jù)處理框架
    2.6 管理及自動構(gòu)建工具：Maven
    2.7 運行環(huán)境：Linux
3 系統(tǒng)需求分析
    3.1 功能需求分析
    3.2 性能需求分析
    3.3 系統(tǒng)目標
4 系統(tǒng)設(shè)計
    4.1 系統(tǒng)概要設(shè)計
    4.2 系統(tǒng)詳細設(shè)計
    4.3 數(shù)據(jù)庫設(shè)計
5 系統(tǒng)實現(xiàn)
    5.1 系統(tǒng)運行環(huán)境
    5.2 普通用戶相關(guān)功能實現(xiàn)
        5.2.1 用戶注冊/登錄
        5.2.2 數(shù)據(jù)源操作
        5.2.3 數(shù)據(jù)流操作
        5.2.4 運行結(jié)果查看
    5.3 管理員用戶相關(guān)功能實現(xiàn)
        5.3.1 用戶管理
        5.3.2 數(shù)據(jù)源/數(shù)據(jù)流管理
        5.3.3 權(quán)限管理
    5.4 數(shù)據(jù)計算相關(guān)功能實現(xiàn)
        5.4.1 數(shù)據(jù)清洗功能
        5.4.2 統(tǒng)計運算功能
6 系統(tǒng)測試
    6.1 軟件測試概述
    6.2 兼容性測試
    6.3 測試方案
        6.3.1 單元測試
        6.3.2 集成測試
        6.3.3 壓力測試
    6.4 測試用例
        6.4.1 普通用戶相關(guān)功能
        6.4.2 管理員用戶相關(guān)功能
    6.5 測試結(jié)果
結(jié)論
參考文獻
致謝

【參考文獻】

相關(guān)期刊論文 前9條

1 陶雪嬌;胡曉峰;劉洋;;大數(shù)據(jù)研究綜述[J];系統(tǒng)仿真學報;2013年S1期

2 李國杰;程學旗;;大數(shù)據(jù)研究:未來科技及經(jīng)濟社會發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學思考[J];中國科學院院刊;2012年06期

3 郝樹魁;;Hadoop HDFS和MapReduce架構(gòu)淺析[J];郵電設(shè)計技術(shù);2012年07期

4 伍志聰;;MySQL數(shù)據(jù)庫在中小型業(yè)務(wù)系統(tǒng)的應(yīng)用[J];數(shù)字技術(shù)與應(yīng)用;2011年11期

5 熊瑾,陶俊才;瀏覽器/服務(wù)器結(jié)構(gòu)應(yīng)用系統(tǒng)的研究與開發(fā)[J];計算機與現(xiàn)代化;2005年08期

6 任中方,張華,閆明松,陳世福;MVC模式研究的綜述[J];計算機應(yīng)用研究;2004年10期

7 劉慧,李玉忱,蘇鵬;基于J2EE架構(gòu)的分布式Web應(yīng)用的研究[J];計算機應(yīng)用研究;2003年09期

8 程虎;Java語言的特點[J];現(xiàn)代科學儀器;1997年02期

9 員巧云;程剛;;近年來我國數(shù)據(jù)挖掘研究綜述[J];情報學報;2005年02期

本文編號：2826957