發(fā)布時(shí)間：2021-11-08 19:58

　　隨著醫(yī)療衛(wèi)生行業(yè)的信息化發(fā)展事業(yè)的飛速發(fā)展,醫(yī)療數(shù)據(jù)已不是傳統(tǒng)意義上大數(shù)據(jù)的數(shù)量上的“大”,其集成更加廣泛、存儲(chǔ)形式更加多樣等等。醫(yī)療大數(shù)據(jù)具有巨大的潛在價(jià)值,盡管我國(guó)擁有著海量的大數(shù)據(jù),但當(dāng)下對(duì)數(shù)據(jù)的挖掘分析力度還不夠,因此在各個(gè)醫(yī)院大量信息還在“沉默不醒”。如何對(duì)日益增長(zhǎng)的海量醫(yī)療數(shù)據(jù)進(jìn)行有效的挖掘,顯得尤為重要。本文采用Hadoop平臺(tái)對(duì)挖掘關(guān)聯(lián)規(guī)則算法進(jìn)行研究和改進(jìn)。自從韓家煒提出FP-Growth算法之后,許多國(guó)內(nèi)外學(xué)者對(duì)該算法展開(kāi)研究,并提出了很多改進(jìn)算法,比如HPFP算法、MR-VER算法等。但仍然存在一些不足之處,例如,數(shù)據(jù)規(guī)模過(guò)大時(shí)無(wú)法構(gòu)造基于內(nèi)存的FP-tree、需要重復(fù)迭代遍歷全局FP-tree造成資源浪費(fèi)。針對(duì)此類問(wèn)題,提出了基于數(shù)據(jù)劃分且不生成全局FP-tree的PL-FPgrowth算法。該算法采用并行地挖掘局部FP-tree,解決了內(nèi)存不足無(wú)法構(gòu)造全局FP-tree的問(wèn)題,在挖掘局部頻繁項(xiàng)時(shí),不需要挖掘其它節(jié)點(diǎn)數(shù)據(jù)信息,減少了節(jié)點(diǎn)間的通信開(kāi)銷。PL-FPgrowth算法運(yùn)用MapReduce并行計(jì)算模型,但該算法存在構(gòu)建和挖掘局部FP-tree時(shí)沒(méi)有考慮局... 

【文章來(lái)源】：華北水利水電大學(xué)河南省

【文章頁(yè)數(shù)】：74 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Hadoop結(jié)構(gòu)框架圖

2 相關(guān)技術(shù)研究的分片情況、DataNode 狀態(tài)信息以及數(shù)據(jù)塊的存儲(chǔ)位置等。DataNode 在本地系統(tǒng)存儲(chǔ)實(shí)際文件塊數(shù)據(jù)，為文件系統(tǒng)中的客戶端提供數(shù)據(jù)塊的讀取和寫(xiě)入請(qǐng)求。DataNode 節(jié)點(diǎn)為了保持其本地?cái)?shù)據(jù)塊信息的更新以及備份，會(huì)隔段時(shí)間向NameNode 節(jié)點(diǎn)發(fā)送心跳[37]。Sencondary NameNode 是輔助后臺(tái)程序，用來(lái)監(jiān)控HDFS 狀態(tài)，每隔一段時(shí)間通過(guò)獲取 HDFS 元數(shù)據(jù)快照的方式自動(dòng)同步日志信息和元數(shù)據(jù)[38]。HDFS 架構(gòu)如圖 2-2 所示：

圖 2-3 HDFS 讀取數(shù)據(jù)流程圖Fig 2-3 HDFS read data flow diagram3．HDFS 數(shù)據(jù)寫(xiě)入流程（1）客戶端向 NameNode 節(jié)點(diǎn)發(fā)送上傳文件請(qǐng)求，NameNode 檢查權(quán)限、檢查目標(biāo)文件是否已經(jīng)存在。（2）NameNode 節(jié)點(diǎn)按照上傳文件大小和配置信息，計(jì)算出文件需要切分成多少個(gè)數(shù)據(jù)塊，這些數(shù)據(jù)塊可以存放的 DataNode 節(jié)點(diǎn)列表以及 DataNode 位置信息和是否可上傳的信息返回給客戶端。（3）客戶端將上傳文件自動(dòng)分割成適當(dāng)?shù)膲K，以 packet 為單位按照順序依次將每一塊數(shù)據(jù)信息寫(xiě)入。HDFS 寫(xiě)入數(shù)據(jù)流程如圖 2-4 所示：


本文編號(hào)：3484104