區(qū)塊鏈自誕生以來便受到了廣泛的關(guān)注。隨著區(qū)塊鏈技術(shù)的發(fā)展,許多問題也隨之而來,如用戶隱私泄露、非法金融活動(dòng)等。目前,區(qū)塊鏈中的數(shù)據(jù)不斷增加,但是只有通過數(shù)據(jù)分析后獲得的數(shù)據(jù),才是有價(jià)值的數(shù)據(jù)。而比特幣的公有鏈中,節(jié)點(diǎn)可以獲取該公有鏈中的所有數(shù)據(jù),為比特幣的數(shù)據(jù)分析提供了數(shù)據(jù)接口。數(shù)據(jù)分析人員可以通過獲取公有鏈的交易數(shù)據(jù),對(duì)該鏈中的數(shù)據(jù)進(jìn)行分析,進(jìn)而分析數(shù)據(jù)交易背后的行為,了解和解決相關(guān)問題。因此,一個(gè)能夠高效處理、計(jì)算海量數(shù)據(jù)并對(duì)數(shù)據(jù)結(jié)果進(jìn)行可視化的數(shù)據(jù)分析平臺(tái)是及其重要的。本文所描述的數(shù)據(jù)分析平臺(tái)是基于比特幣的,包含了數(shù)據(jù)獲取、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析以及數(shù)據(jù)可視化等技術(shù)。本數(shù)據(jù)分析平臺(tái)主要包含數(shù)據(jù)獲取、數(shù)據(jù)處理和數(shù)據(jù)展示三大部分。系統(tǒng)通過比特幣錢包中數(shù)據(jù)文件提供的索引,按順序獲取數(shù)據(jù),然后對(duì)數(shù)據(jù)按需求處理后進(jìn)行存儲(chǔ)。利用Spark SQL組件對(duì)數(shù)據(jù)活躍度進(jìn)行計(jì)算;并利用Spark GraphX框架對(duì)交易數(shù)據(jù)進(jìn)行圖計(jì)算與分析;通過Spark MLlib庫對(duì)異常交易進(jìn)行識(shí)別。計(jì)算后,系統(tǒng)將結(jié)果通過圖表、文件等方式展示。從功能層面上,系統(tǒng)功能又可分為五個(gè)模塊,分別為數(shù)據(jù)獲取模塊、數(shù)據(jù)展示模塊、... 

【文章來源】：山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：66 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖３－１系統(tǒng)總體結(jié)構(gòu)圖??如上圖３－１所示，系統(tǒng)主要分為三部分．？數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)計(jì)算和數(shù)據(jù)展示

系統(tǒng)使用?Ｓｐａｒｋ?ＳＱＬ?對(duì)最基礎(chǔ)??的活躍度進(jìn)行分析；利用Ｓｐａｒｋ的ＭＬｌｉｂ庫，對(duì)交易進(jìn)行聚類，找出異常交易，??進(jìn)而判斷一個(gè)交易是否為異常交易；而Ｓｐａｒｋ的ＧｒａｐｈＸ庫則可以對(duì)交易網(wǎng)絡(luò)進(jìn)??行圖計(jì)算［１２］。??ｓＳｋ?，ｔＳｐａｒｋ?ｄ??ＳＱＬ?Ｓｔｒｅｓｍｍｇ?Ｌｅａｒｎｌｎｇ）?（９?丨叩?Ｗ??Ａｐａｃｈｅ?Ｓｐａｒｋ??本?ＩＦ?獨(dú)＾?ＥＣ２?Ｍｅｓ〇５?ＹＡＲＮ??ＨＤＦＳ?Ａｍａｚｏｎ?ｓ３．?Ｈｙｐｅｒｔａｂｌｅ．?ＨＢａｓｅ，?ｅｔｃ??圖３－２?Ｓｐａｒｋ總體架構(gòu)??３．?Ｓｐｒｉｎｇｂｏｏｔ?框架??Ｓｐｒｉｎｇｂｏｏｔ是一個(gè)基于Ｓｐｒｉｎｇ框架的微服務(wù)框架。它延續(xù)了?Ｓｐｒｉｎｇ框架的??控制反轉(zhuǎn)（ＩＯＣ）和面向切面（ＡＯＰ）核心思想，并簡化了?Ｓｐｒｉｎｇ應(yīng)用的創(chuàng)建、運(yùn)??行、調(diào)試和部署。Ｓｐｒｉｎｇｂｏｏｔ基本上是Ｓｐｒｉｎｇ框架的擴(kuò)展，它消除了設(shè)置Ｓｐｒｉｎｇ??應(yīng)用程序所需的ＸＭＬ配置，可以更快、更高效的開發(fā)［１３。??系統(tǒng)整體框架是使用Ｓｐｎｎｇｂｏｏｔ整合開發(fā)包來搭建，在整個(gè)應(yīng)用服務(wù)請(qǐng)求??１６??

?山東大學(xué)碩士學(xué)位論文???處理中，根據(jù)在請(qǐng)求處理中所擔(dān)任的職責(zé)不同可以將應(yīng)用系統(tǒng)分為三層：??１．訪問控制ｃｏｎｔｒｏｌｌｅｒ?qū)樱河糜诮邮涨岸苏?qǐng)求，并將請(qǐng)求處理結(jié)果返回給??前端。??２？業(yè)務(wù)處理ｓｅｒｖｉｃｅ層：負(fù)責(zé)請(qǐng)求的具體處理，重要或者復(fù)雜的業(yè)務(wù)放在??業(yè)務(wù)處理層來實(shí)現(xiàn)。??３．?dāng)?shù)據(jù)持久化ｄａｏ層：實(shí)現(xiàn)并對(duì)外提供訪問數(shù)據(jù)庫的接口Ｍ４］。??

【參考文獻(xiàn)】：
期刊論文
[1]基于Spark的并行社區(qū)發(fā)現(xiàn)算法[J]. 劉東江,黎建輝.  計(jì)算機(jī)應(yīng)用研究. 2020(08)
[2]大數(shù)據(jù)應(yīng)用現(xiàn)狀與展望[J]. 周敏,田秋艷.  信息與電腦(理論版). 2019(03)
[3]區(qū)塊鏈數(shù)據(jù)分析:現(xiàn)狀、趨勢(shì)與挑戰(zhàn)[J]. 陳偉利,鄭子彬.  計(jì)算機(jī)研究與發(fā)展. 2018(09)
[4]區(qū)塊鏈技術(shù)研究綜述[J]. 黃俊飛,劉杰.  北京郵電大學(xué)學(xué)報(bào). 2018(02)
[5]基于Spark的工業(yè)大數(shù)據(jù)處理可視化平臺(tái)應(yīng)用研究[J]. 劉學(xué)軍,李長云,萬爛軍.  福建電腦. 2017(12)
[6]Hadoop與Spark應(yīng)用場景研究[J]. 馮興杰,王文超.  計(jì)算機(jī)應(yīng)用研究. 2018(09)
[7]一種大數(shù)據(jù)智能分析平臺(tái)的數(shù)據(jù)分析方法及實(shí)現(xiàn)技術(shù)[J]. 藍(lán)科,李婧.  數(shù)字技術(shù)與應(yīng)用. 2017(03)
[8]Spring Boot研究和應(yīng)用[J]. 王永和,張勁松,鄧安明,周智勛.  信息通信. 2016(10)
[9]基于Spark的大數(shù)據(jù)計(jì)算模型[J]. 王磊,時(shí)亞文.  電腦知識(shí)與技術(shù). 2016(20)
[10]基于Spring Boot的web設(shè)計(jì)與實(shí)現(xiàn)[J]. 楊家煒.  輕工科技. 2016(07)

碩士論文
[1]基于Spark的電信客戶細(xì)分?jǐn)?shù)據(jù)分析平臺(tái)實(shí)現(xiàn)和應(yīng)用[D]. 呂亮亮.北京郵電大學(xué) 2019
[2]大數(shù)據(jù)可視化統(tǒng)計(jì)分析通用平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 張陽.北京交通大學(xué) 2019
[3]基于異常檢測的改進(jìn)K-means算法研究[D]. 薛晨杰.浙江農(nóng)林大學(xué) 2019
[4]基于Spark的社交網(wǎng)絡(luò)數(shù)據(jù)分析平臺(tái)[D]. 王海林.山東大學(xué) 2018



本文編號(hào)：3140819