基于Spark醫(yī)療信息大數(shù)據(jù)交互統(tǒng)計分析研究
【學(xué)位單位】:江西財經(jīng)大學(xué)
【學(xué)位級別】:碩士
【學(xué)位年份】:2019
【中圖分類】:R-05;TP311.13
【部分圖文】:
.1 應(yīng)用需求分析醫(yī)療信息大數(shù)據(jù)交互統(tǒng)計分析系統(tǒng)處理的數(shù)據(jù)對象為醫(yī)療服務(wù)大數(shù)據(jù),從需分析的角度來看,設(shè)計原則需要滿足大數(shù)據(jù)交互統(tǒng)計分析系統(tǒng)和分布式計算的本原則,即具有可使用性、容錯性能高及未來的可擴(kuò)展性。并且,為了更好的握醫(yī)療信息的動態(tài)情況,系統(tǒng)同時也需要滿足實時性的要求,做到能夠?qū)崿F(xiàn)數(shù)交互。醫(yī)療大數(shù)據(jù)可以為以下幾個人群進(jìn)行服務(wù)。(1) 醫(yī)療工作者。提供臨床輔助決策、單病種統(tǒng)計、用藥治療、不良反應(yīng)等等。(2) 患者。病歷管理、健康檔案管理、健康預(yù)警與疾病預(yù)測等等。(3) 管理者。決策支持、財務(wù)管理、傳染病防治等等。(4) 研發(fā)人員。藥物研發(fā)、臨床用藥數(shù)據(jù)、科研服務(wù)。(5) 本研究將最終使用基于 spark 技術(shù)構(gòu)建醫(yī)療信息大數(shù)據(jù)交互統(tǒng)計分析系統(tǒng),來滿足醫(yī)療大數(shù)據(jù)的數(shù)據(jù)采集、數(shù)據(jù)清洗、分布式存儲、數(shù)據(jù)檢索、和交互式應(yīng)用展現(xiàn)的需要。具體構(gòu)想如圖 2-1 所示。
19圖 3-1 系統(tǒng)架構(gòu)設(shè)計由于醫(yī)院信息系統(tǒng)眾多,不同的業(yè)務(wù)系統(tǒng)的廠家、產(chǎn)品架構(gòu)皆不相同,數(shù)能來源于數(shù)據(jù)庫,數(shù)據(jù)爬取,各類文件等等,這時候先需要對這些數(shù)據(jù)統(tǒng)一標(biāo)準(zhǔn)化處理,使用 OFS 算法內(nèi)的“區(qū)域標(biāo)記”等算法,把數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)數(shù)據(jù)。最后,使用 Kafka 與 Spark Streaming 相結(jié)合,對流式計算處理系統(tǒng)進(jìn)行和搭建。Kafka 作為一個消息中間件負(fù)責(zé)消息分發(fā)及數(shù)據(jù)緩存機(jī)制。Kafka 把數(shù)據(jù)處流式數(shù)據(jù)并進(jìn)行分發(fā)。Kafka 在此起到了消息中間件作用。OFS 算法被加入Spark Streaming 中,在線篩選特征數(shù)據(jù)得以實現(xiàn),得到文本向量的 DStre為中間的結(jié)果,然后被存儲在內(nèi)存中。另一方面,根據(jù) SparkMLlib 的特點進(jìn)線學(xué)習(xí),將分類模型進(jìn)行訓(xùn)練,之后,所獲取的文本向量 DStream 輸入至該模型中,再進(jìn)行分類計算,得到分類結(jié)果 RDD,最后存儲在 HDFS,數(shù)據(jù)分過程完成。
Master 可以在有向圖中對所有的 WorkerNode 分配一個任務(wù),并再次對每一個 Worker 節(jié)點進(jìn)行發(fā)送。(3)加載完成數(shù)據(jù)任務(wù)以及接收到任務(wù)之后,WorkerNode 便會根據(jù)這些數(shù)據(jù)進(jìn)行計算任務(wù)的執(zhí)行,每一個子任務(wù)被執(zhí)行之后,都會通知 MasterNode 已經(jīng)完成,MasterNode 便能夠時時刻刻的把握任務(wù)處理的進(jìn)度。(4)當(dāng)每一個 WorkerNode 將自身的任務(wù)完成之后,會根據(jù)用戶提交任務(wù)時所選擇,通過 MasterNode 合并數(shù)據(jù)后統(tǒng)一存儲在 HBase 中或由每一個 Worker 分別直接將數(shù)據(jù)存儲至 HBase 中。3.2.2 交互式查詢請求與數(shù)據(jù)展示查詢本功能模塊負(fù)責(zé)對數(shù)據(jù)的各類統(tǒng)計結(jié)果進(jìn)行交互式的展示與實現(xiàn),負(fù)責(zé)將存儲在 HBase 中的數(shù)據(jù)展示分析結(jié)果。交互式查詢展示通過 Web 的方式,使用表格時間軸、地理圖、信息關(guān)聯(lián)圖等方式進(jìn)行展示。系統(tǒng)還提供數(shù)據(jù)交互接口,用來滿足各種對外數(shù)據(jù)展示的需求。交互式查詢業(yè)務(wù)處理的流程如圖 3-2 所示。
【參考文獻(xiàn)】
相關(guān)期刊論文 前10條
1 劉星;王曉敏;;醫(yī)療大數(shù)據(jù)建設(shè)中的倫理問題[J];倫理學(xué)研究;2015年06期
2 鄧仲華;宋秀芬;;基于知識圖譜的國內(nèi)外大數(shù)據(jù)研究對比分析[J];信息資源管理學(xué)報;2015年04期
3 車晉強(qiáng);謝紅薇;;基于Spark的分層協(xié)同過濾推薦算法[J];電子技術(shù)應(yīng)用;2015年09期
4 張振勇;張曉勤;李海琳;;區(qū)域化信息醫(yī)療平臺建設(shè)研究[J];齊魯工業(yè)大學(xué)學(xué)報(自然科學(xué)版);2015年02期
5 張丹陽;曹維焯;薛志云;何軍;;阿里云實現(xiàn)Spark的分布式計算[J];福建電腦;2015年02期
6 孟憲平;;大數(shù)據(jù)語境中人的自由全面發(fā)展及現(xiàn)實路徑分析[J];當(dāng)代世界與社會主義;2015年01期
7 熊軍;鐘竹青;姚山虎;羅愛靜;;國外醫(yī)生應(yīng)用電子病歷系統(tǒng)關(guān)鍵因素的分析[J];中國衛(wèi)生信息管理雜志;2015年01期
8 李學(xué)龍;龔海剛;;大數(shù)據(jù)系統(tǒng)綜述[J];中國科學(xué):信息科學(xué);2015年01期
9 馬斌;周平;張建業(yè);卿松;李猷;;大數(shù)據(jù)時代的數(shù)據(jù)挖掘[J];中國科技信息;2014年23期
10 吳韶鴻;;大數(shù)據(jù)開源技術(shù)發(fā)展研究[J];現(xiàn)代電信科技;2014年08期
相關(guān)碩士學(xué)位論文 前1條
1 李爽;基于Spark的數(shù)據(jù)處理分析系統(tǒng)的設(shè)計與實現(xiàn)[D];北京交通大學(xué);2015年
本文編號:2818240
本文鏈接:http://sikaile.net/yixuelunwen/yiyuanguanlilunwen/2818240.html