【摘要】：隨著互聯(lián)網(wǎng)科技的迅速發(fā)展,電子政務已經(jīng)在機關事業(yè)單位得到普遍應用,如何從政府所累積存儲的龐大數(shù)據(jù)集中分析提取出有用信息供給決策人員使用并做出明智科學的決策受到領導的廣泛重視。兩表及多表的連接查詢操作是大數(shù)據(jù)分析處理應用中必不可少的操作,但是連接操作又是數(shù)據(jù)分析處理中最耗費時間的操作,研究如何優(yōu)化多數(shù)據(jù)集連接查詢算法以提高數(shù)據(jù)分析處理效率很有意義。本文在了解并分析大數(shù)據(jù)相關方面已有理論成果和技術的基礎上,結合實際項目背景以及具體項目需求,完成了電子政務環(huán)境下數(shù)據(jù)可視化分析系統(tǒng)的設計與實現(xiàn),對系統(tǒng)中涉及的兩表及多表等值連接查詢效率問題進行了相應的優(yōu)化研究。本文首先對目前使用的大數(shù)據(jù)處理技術從原理及使用場合進行了深入的比對分析,結合實際項目需求選擇了hadoop處理技術作為設計實現(xiàn)數(shù)據(jù)可視化分析系統(tǒng)的核心技術。針對電子政務平臺各部門數(shù)據(jù)不規(guī)范、分散、數(shù)據(jù)大等特點經(jīng)過分析比對當前主流的數(shù)據(jù)集成工具最后選用Sqoop作為系統(tǒng)數(shù)據(jù)集成加載工具。Sqoop將數(shù)據(jù)加載到Hive中進行數(shù)據(jù)處理,處理之后的數(shù)據(jù)保存到HBase數(shù)據(jù)庫中。數(shù)據(jù)的展示部分選用的性能穩(wěn)定且對瀏覽器兼容性比較好的HighCharts,最后通過配置文件的設置將各部分集成并通過系統(tǒng)的定時任務對任務進行操作。針對可視化分析處理中遇到的兩表及多表等值連接性能低的問題,本文提出了大數(shù)據(jù)環(huán)境下兩表及多表等值連接算法優(yōu)化方案。首先研究如何利用改進型Bloom Filter在map階段高效過濾掉無關數(shù)據(jù)從而減少網(wǎng)絡傳輸量,隨后在已經(jīng)過濾無關數(shù)據(jù)的基礎上研究MapReduce中兩表及多表的等值連接算法,最后通過相關實驗數(shù)據(jù)驗證所提算法的高效性。
【學位授予單位】：昆明理工大學
【學位級別】：碩士
【學位授予年份】：2018
【分類號】：D63;TP311.13
【圖文】：

昆明理工大學碩士學位論文相關技術設計并實現(xiàn)大數(shù)據(jù)可視化決策分析系統(tǒng)，并對系統(tǒng)中所涉及的連接查詢算法進行過濾改進從而提高系統(tǒng)整體查詢效率。本文結合具體的實際項目，針對多數(shù)據(jù)庫環(huán)境下分散數(shù)據(jù)集成存儲管理、數(shù)據(jù)連接查詢處理算法優(yōu)化、電子政務環(huán)境下可視化展示進行了一系列的研究分析，課題研究內容方案如圖 1.1 所示。本文主要完成的工作包含以下幾個方面：

圖 2.1 HDFS 體系結構圖HDFS 采用 Master/slaver 結構，集群中一般含有一個 NameNode 主節(jié)點和多Slave 從節(jié)點[22]。NameNode 運行在主服務器上，管理著整個文件系統(tǒng)中的元信息及文件目錄樹，客戶端可以通過訪問 NameNode 提供的文件接口獲取所元數(shù)據(jù)信息[23]。集群中的 DataNode 運行在 Slave 從節(jié)點上，提供了真實文據(jù)的存儲服務。當客戶端發(fā)出讀寫請求時，實際都是在 DataNode 上對信息操作。首先從 NameNode 獲得數(shù)據(jù)塊在 DataNode 上的相關位置信息，再到的 DataNode 節(jié)點上讀取數(shù)據(jù)。）NameNode 工作機制如圖 2.2 所示為 NameNode 的工作機制原理圖。NameNode 是整個文件系統(tǒng)理節(jié)點，管理著整個文件系統(tǒng)中文件/目錄的元信息和每個文件對應的數(shù)據(jù)表，這些信息以文件的形式保存在本地，文件包括：metadata：內存中的元數(shù)據(jù)。

圖 2.2 Namenode 的工作原理圖（2）DataNode 工作機制DataNode 提供了真實文件數(shù)據(jù)的存儲服務，將 HDFS 中的文件數(shù)據(jù)存儲在本地文件系統(tǒng)中，這些數(shù)據(jù)在本地是以塊的形式存在單獨的文件里。由于本地系統(tǒng)中無法有效地支持在單個目錄下創(chuàng)建大量的文件，DataNode 進程會恰當?shù)囊宰陨淼男枨髣討B(tài)創(chuàng)建子目錄及決定不同目錄下適合的文件量，這樣可能會使所有文件不在同一個目錄下。當啟動 DataNode 進程時，Hadoop 會首先掃描本地文件系統(tǒng)，生成對應的 HDFS 塊列表，發(fā)送給 NameNode 主節(jié)點。DataNode 通過心跳檢測機制與 NameNode 保持通信，定期向將自己當前的狀態(tài)的信息匯報給NameNode，以便 NameNode 更好的對資源進行管理及調配[25]。2.2.2 MapReduce 框架MapReduce 是 Hadoop 中數(shù)據(jù)計算處理的核心部分，主要用于對體積龐大的數(shù)據(jù)集進行并行計算處理[26]。其基本原理是將需處理的大數(shù)據(jù)集按設置的大小切

【參考文獻】

相關期刊論文 前8條

1 林子雨;李雨倩;李粲;賴永炫;;PipelineJoin:一種新的基于MapReduce的多表連接算法[J];中國科學技術大學學報;2015年10期

2 許耀桐;;決策公開是高端的政務公開[J];中國行政管理;2015年07期

3 宋杰;李甜甜;朱志良;鮑玉斌;于戈;;MapReduce連接查詢的I/O代價研究[J];軟件學報;2015年06期

4 胡龍;羅軍;;基于MapReduce的混合連接算法[J];計算機與現(xiàn)代化;2015年06期

5 駱文亮;;繪圖插件Highcharts淺析[J];科技視界;2014年12期

6 Li ZHAO;Chuanfu CHEN;;Understanding trust-related factors affecting citizen adoption of e-government services[J];Chinese Journal of Library and Information Science;2013年03期

7 羅恩韜;胡志剛;林華;;一種大數(shù)據(jù)時代海量數(shù)據(jù)抽取的開發(fā)模型研究[J];計算機應用研究;2013年11期

8 朱黎明;;初探經(jīng)濟效益審計在民營企業(yè)的開展[J];財經(jīng)界(學術版);2009年10期

相關博士學位論文 前1條

1 張常淳;基于MapReduce的大數(shù)據(jù)連接算法的設計與優(yōu)化[D];中國科學技術大學;2014年

相關碩士學位論文 前9條

1 岳明亮;基于Hadoop的多表連接操作查詢優(yōu)化關鍵技術研究[D];哈爾濱工業(yè)大學;2016年

2 李松;基于Hadoop的分布式網(wǎng)絡爬蟲研究[D];電子科技大學;2016年

3 柳陸;分布式內存數(shù)據(jù)庫數(shù)據(jù)并行快速加載與索引技術[D];電子科技大學;2016年

4 陳慈;基于多核的Ramsey數(shù)算法研究[D];北京交通大學;2015年

5 張瑜;多源安全數(shù)據(jù)可視化關鍵技術研究與實現(xiàn)[D];重慶大學;2015年

6 馬翠云;基于HBase的大規(guī)模數(shù)據(jù)存儲解決方案的設計和實現(xiàn)[D];山東大學;2015年

7 孫菁霞;基于Bitmap的隱超點檢測算法研究[D];大連海事大學;2013年

8 劉沖;MapReduce作業(yè)調度算法研究[D];哈爾濱工程大學;2013年

9 劉明剛;MapReduce故障容錯研究與作業(yè)調度器優(yōu)化[D];杭州電子科技大學;2013年

本文編號：2772760