基于MapReduce的醫(yī)療臨床大數(shù)據(jù)篩選機(jī)制研究與應(yīng)用
發(fā)布時(shí)間:2021-05-06 18:03
臨床醫(yī)療數(shù)據(jù)的篩選查詢(xún)是醫(yī)學(xué)工作的重要內(nèi)容,是數(shù)據(jù)處理、數(shù)據(jù)查詢(xún)技術(shù)在醫(yī)療領(lǐng)域的重要應(yīng)用。有效的篩選方法和查詢(xún)機(jī)制有助于醫(yī)療數(shù)據(jù)的挖掘利用,支撐信息統(tǒng)計(jì)、個(gè)性化醫(yī)療、決策輔助、隨訪跟蹤、藥物研發(fā)、健康管理、精準(zhǔn)醫(yī)療等數(shù)據(jù)應(yīng)用需求。臨床醫(yī)療數(shù)據(jù)的篩選查詢(xún)主要面臨兩個(gè)挑戰(zhàn):一是數(shù)據(jù)量大,大規(guī)模數(shù)據(jù)的存儲(chǔ)和計(jì)算超過(guò)了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的性能極限;二是數(shù)據(jù)結(jié)構(gòu)類(lèi)型復(fù)雜,尤其是非結(jié)構(gòu)化的數(shù)據(jù)需要特定的處理方法。本文針對(duì)當(dāng)前醫(yī)療臨床數(shù)據(jù)的特點(diǎn),研究臨床數(shù)據(jù)分布式計(jì)算辦法,主要利用開(kāi)源大數(shù)據(jù)工具Hadoop技術(shù),結(jié)合MapReduce計(jì)算模型,提出多結(jié)構(gòu)醫(yī)療數(shù)據(jù)的并行篩選機(jī)制。該機(jī)制采取平臺(tái)統(tǒng)籌、分類(lèi)處理、易于擴(kuò)展的設(shè)計(jì)思想,把不同類(lèi)型結(jié)構(gòu)的數(shù)據(jù)納入統(tǒng)一的MapReduce計(jì)算平臺(tái)。本文主要分別實(shí)現(xiàn)在平臺(tái)中對(duì)結(jié)構(gòu)化的表單數(shù)據(jù)、時(shí)間序列數(shù)據(jù)以及病歷文本數(shù)據(jù)的查詢(xún)計(jì)算,并優(yōu)化篩選查詢(xún)算法,解決醫(yī)療臨床多種結(jié)構(gòu)數(shù)據(jù)的分布式計(jì)算和跨結(jié)構(gòu)篩選的問(wèn)題,提高查詢(xún)效率。本文主要研究?jī)?nèi)容如下:1.海量醫(yī)療結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)與查詢(xún)優(yōu)化;2.海量醫(yī)療時(shí)間序列數(shù)據(jù)的分布式索引創(chuàng)建與查詢(xún)優(yōu)化;3.海量醫(yī)療文本數(shù)據(jù)的分布式索...
【文章來(lái)源】:中國(guó)人民解放軍海軍軍醫(yī)大學(xué)上海市 211工程院校
【文章頁(yè)數(shù)】:79 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
abstract
中英文縮略詞對(duì)照表
一、前言
(一)課題研究背景與意義
(二)國(guó)內(nèi)外研究和發(fā)展趨勢(shì)
1、醫(yī)療大數(shù)據(jù)存儲(chǔ)與查詢(xún)技術(shù)現(xiàn)狀
2、時(shí)間序列數(shù)據(jù)索引與查詢(xún)現(xiàn)狀
3、醫(yī)療文本數(shù)據(jù)索引與查詢(xún)現(xiàn)狀
(三)主要研究?jī)?nèi)容與創(chuàng)新點(diǎn)
(四)本文內(nèi)容安排
二、理論與技術(shù)
(一)醫(yī)療大數(shù)據(jù)的特點(diǎn)分析
(二)大數(shù)據(jù)處理算法與技術(shù)
1、MapReduce架構(gòu)
2、Hadoop技術(shù)
(三)結(jié)構(gòu)化數(shù)據(jù)篩選
1、Hive技術(shù)
2、ORC列式存儲(chǔ)技術(shù)
(四)時(shí)間序列數(shù)據(jù)處理算法與技術(shù)
1、時(shí)間序列查詢(xún)
2、時(shí)間序列的降維表示
3、維度層次分解索引
4、DSTree索引
5、相關(guān)工作
(五)全文檢索算法與技術(shù)
1、倒排索引
2、相關(guān)工作
(六)數(shù)據(jù)篩選平臺(tái)架構(gòu)
(七)本章小結(jié)
三、結(jié)構(gòu)化數(shù)據(jù)分布式存儲(chǔ)與查詢(xún)
(一)基于MapReduce的醫(yī)療結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)與查詢(xún)
(二)臨床結(jié)構(gòu)化數(shù)據(jù)查詢(xún)優(yōu)化
(三)實(shí)驗(yàn)分析
1、實(shí)驗(yàn)一:Hive平臺(tái)與關(guān)系數(shù)據(jù)庫(kù)查詢(xún)醫(yī)療數(shù)據(jù)的比較
2、實(shí)驗(yàn)二:結(jié)構(gòu)化數(shù)據(jù)優(yōu)化前和優(yōu)化后查詢(xún)性能比較
(四)本章小結(jié)
四、時(shí)間序列數(shù)據(jù)分布式索引與查詢(xún)
(一)基于MapReduce的 DB-DSTree分布式索引
1、基于DHD索引的路由樹(shù)的創(chuàng)建
2、分布式DSTree索引的創(chuàng)建
(二)DB-DSTree批量查詢(xún)
(三)實(shí)驗(yàn)分析
1、實(shí)驗(yàn)一:索引創(chuàng)建時(shí)間比較
2、實(shí)驗(yàn)二:批量查詢(xún)性能比較
(四)本章小結(jié)
五、文本數(shù)據(jù)分布式存儲(chǔ)與查詢(xún)
(一)醫(yī)療文本數(shù)據(jù)分析
(二)醫(yī)療文本倒排索引構(gòu)建與查詢(xún)
(三)面向醫(yī)療文本篩選準(zhǔn)確率的優(yōu)化
(四)實(shí)驗(yàn)分析
1、實(shí)驗(yàn)一:建立倒排索引與無(wú)索引查詢(xún)比較
2、實(shí)驗(yàn)二:文本數(shù)據(jù)篩選
(五)本章小結(jié)
六、基于MapReduce的醫(yī)療臨床大數(shù)據(jù)篩選平臺(tái)原型的實(shí)現(xiàn)
(一)數(shù)據(jù)篩選平臺(tái)
(二)多類(lèi)型數(shù)據(jù)篩選
(三)實(shí)驗(yàn)搭建
1、基礎(chǔ)配置
2、主要工具配置
(四)實(shí)驗(yàn)測(cè)試
(五)本章小結(jié)
七、總結(jié)與展望
(一)全文工作總結(jié)
(二)后續(xù)工作展望
參考文獻(xiàn)
文獻(xiàn)綜述
參考文獻(xiàn)
致謝
本文編號(hào):3172379
【文章來(lái)源】:中國(guó)人民解放軍海軍軍醫(yī)大學(xué)上海市 211工程院校
【文章頁(yè)數(shù)】:79 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
abstract
中英文縮略詞對(duì)照表
一、前言
(一)課題研究背景與意義
(二)國(guó)內(nèi)外研究和發(fā)展趨勢(shì)
1、醫(yī)療大數(shù)據(jù)存儲(chǔ)與查詢(xún)技術(shù)現(xiàn)狀
2、時(shí)間序列數(shù)據(jù)索引與查詢(xún)現(xiàn)狀
3、醫(yī)療文本數(shù)據(jù)索引與查詢(xún)現(xiàn)狀
(三)主要研究?jī)?nèi)容與創(chuàng)新點(diǎn)
(四)本文內(nèi)容安排
二、理論與技術(shù)
(一)醫(yī)療大數(shù)據(jù)的特點(diǎn)分析
(二)大數(shù)據(jù)處理算法與技術(shù)
1、MapReduce架構(gòu)
2、Hadoop技術(shù)
(三)結(jié)構(gòu)化數(shù)據(jù)篩選
1、Hive技術(shù)
2、ORC列式存儲(chǔ)技術(shù)
(四)時(shí)間序列數(shù)據(jù)處理算法與技術(shù)
1、時(shí)間序列查詢(xún)
2、時(shí)間序列的降維表示
3、維度層次分解索引
4、DSTree索引
5、相關(guān)工作
(五)全文檢索算法與技術(shù)
1、倒排索引
2、相關(guān)工作
(六)數(shù)據(jù)篩選平臺(tái)架構(gòu)
(七)本章小結(jié)
三、結(jié)構(gòu)化數(shù)據(jù)分布式存儲(chǔ)與查詢(xún)
(一)基于MapReduce的醫(yī)療結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)與查詢(xún)
(二)臨床結(jié)構(gòu)化數(shù)據(jù)查詢(xún)優(yōu)化
(三)實(shí)驗(yàn)分析
1、實(shí)驗(yàn)一:Hive平臺(tái)與關(guān)系數(shù)據(jù)庫(kù)查詢(xún)醫(yī)療數(shù)據(jù)的比較
2、實(shí)驗(yàn)二:結(jié)構(gòu)化數(shù)據(jù)優(yōu)化前和優(yōu)化后查詢(xún)性能比較
(四)本章小結(jié)
四、時(shí)間序列數(shù)據(jù)分布式索引與查詢(xún)
(一)基于MapReduce的 DB-DSTree分布式索引
1、基于DHD索引的路由樹(shù)的創(chuàng)建
2、分布式DSTree索引的創(chuàng)建
(二)DB-DSTree批量查詢(xún)
(三)實(shí)驗(yàn)分析
1、實(shí)驗(yàn)一:索引創(chuàng)建時(shí)間比較
2、實(shí)驗(yàn)二:批量查詢(xún)性能比較
(四)本章小結(jié)
五、文本數(shù)據(jù)分布式存儲(chǔ)與查詢(xún)
(一)醫(yī)療文本數(shù)據(jù)分析
(二)醫(yī)療文本倒排索引構(gòu)建與查詢(xún)
(三)面向醫(yī)療文本篩選準(zhǔn)確率的優(yōu)化
(四)實(shí)驗(yàn)分析
1、實(shí)驗(yàn)一:建立倒排索引與無(wú)索引查詢(xún)比較
2、實(shí)驗(yàn)二:文本數(shù)據(jù)篩選
(五)本章小結(jié)
六、基于MapReduce的醫(yī)療臨床大數(shù)據(jù)篩選平臺(tái)原型的實(shí)現(xiàn)
(一)數(shù)據(jù)篩選平臺(tái)
(二)多類(lèi)型數(shù)據(jù)篩選
(三)實(shí)驗(yàn)搭建
1、基礎(chǔ)配置
2、主要工具配置
(四)實(shí)驗(yàn)測(cè)試
(五)本章小結(jié)
七、總結(jié)與展望
(一)全文工作總結(jié)
(二)后續(xù)工作展望
參考文獻(xiàn)
文獻(xiàn)綜述
參考文獻(xiàn)
致謝
本文編號(hào):3172379
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3172379.html
最近更新
教材專(zhuān)著