發(fā)布時(shí)間：2017-11-15 11:22

  本文關(guān)鍵詞：云環(huán)境下大數(shù)據(jù)服務(wù)及其關(guān)鍵技術(shù)研究

  更多相關(guān)文章： 云計(jì)算 大數(shù)據(jù)服務(wù) 可信組合評(píng)估 醫(yī)療大數(shù)據(jù)

【摘要】：近年來,大數(shù)據(jù)以其蘊(yùn)含的豐富價(jià)值,得到了學(xué)術(shù)界和企業(yè)界的廣泛關(guān)注。對(duì)大數(shù)據(jù)進(jìn)行管理利用并構(gòu)建大數(shù)據(jù)服務(wù),是挖掘大數(shù)據(jù)價(jià)值的關(guān)鍵途徑。云計(jì)算作為一種彈性高效的計(jì)算模式,則為構(gòu)建大數(shù)據(jù)服務(wù)提供了強(qiáng)大的技術(shù)支撐。一方面,云計(jì)算的資源按需獲取、按使用量計(jì)費(fèi)及廣域網(wǎng)互聯(lián)的優(yōu)勢(shì),節(jié)約了大數(shù)據(jù)處理所需的昂貴基礎(chǔ)設(shè)施投入和維護(hù)成本；另一方面,基于云計(jì)算的大數(shù)據(jù)存儲(chǔ)、管理與分析等技術(shù),為快速構(gòu)建大數(shù)據(jù)服務(wù)提供了技術(shù)支撐。盡管云計(jì)算技術(shù)在大數(shù)據(jù)服務(wù)領(lǐng)域取得了豐富的研究成果,但云環(huán)境下數(shù)據(jù)資源的分散性、動(dòng)態(tài)網(wǎng)絡(luò)中云服務(wù)QOS屬性的不確定性和應(yīng)用需求多元化等因素,為高效實(shí)現(xiàn)可靠的大數(shù)據(jù)服務(wù)帶來了新的挑戰(zhàn)：如1)目前的研究中,缺乏一個(gè)云環(huán)境下的大數(shù)據(jù)服務(wù)應(yīng)用模式,為高效構(gòu)建大數(shù)據(jù)服務(wù)提供技術(shù)參考；2)當(dāng)構(gòu)建大數(shù)據(jù)服務(wù)所依賴的數(shù)據(jù)資源分布在云環(huán)境中大規(guī)模分布式的節(jié)點(diǎn)中時(shí),為可擴(kuò)展的數(shù)據(jù)資源節(jié)點(diǎn)管理方法和數(shù)據(jù)資源查找方法帶來了挑戰(zhàn)；3)當(dāng)大數(shù)據(jù)服務(wù)部署在多個(gè)互相協(xié)同的云服務(wù)之上時(shí),因滿足大數(shù)據(jù)服務(wù)功能性需求的云服務(wù)數(shù)目眾多,需要選擇QoS最優(yōu)的云服務(wù)組合方案。傳統(tǒng)的組合評(píng)估方法通常是使用云服務(wù)提供商發(fā)布的QoS值對(duì)組合方案進(jìn)行評(píng)估,動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境或服務(wù)提供商可能的商業(yè)炒作使得組合方案的可信度受到很大的影響。針對(duì)目前云環(huán)境下大數(shù)據(jù)服務(wù)在應(yīng)用模式、數(shù)據(jù)資源查找、可信組合評(píng)估等方面面臨的挑戰(zhàn),本文對(duì)云環(huán)境下的大數(shù)據(jù)服務(wù)及其關(guān)鍵技術(shù)開展了相關(guān)的研究工作；具體而言,本文的工作主要包括以下幾項(xiàng)：1)為高效構(gòu)建云環(huán)境下的大數(shù)據(jù)服務(wù),提出了一個(gè)云環(huán)境下通用的大數(shù)據(jù)服務(wù)應(yīng)用模式。該應(yīng)用模式分為五個(gè)層次,自下而上分別為數(shù)據(jù)資源層、數(shù)據(jù)資源搜集層、任務(wù)規(guī)劃層、可信組合評(píng)估層及大數(shù)據(jù)分析算法實(shí)現(xiàn)層。具體而言,數(shù)據(jù)資源層是以分布在云環(huán)境中的數(shù)據(jù)資源為基礎(chǔ),用服務(wù)對(duì)數(shù)據(jù)資源進(jìn)行封裝,供使用者通過匹配服務(wù)描述進(jìn)行調(diào)用；數(shù)據(jù)資源搜集層則是根據(jù)大數(shù)據(jù)服務(wù)對(duì)數(shù)據(jù)資源的需求,實(shí)現(xiàn)可擴(kuò)展的數(shù)據(jù)資源搜集：進(jìn)而,任務(wù)規(guī)劃層是指針對(duì)大數(shù)據(jù)的處理需求,將復(fù)雜的計(jì)算任務(wù)劃分至多個(gè)功能獨(dú)立的子任務(wù)；根據(jù)各個(gè)子任務(wù)對(duì)存儲(chǔ)資源或計(jì)算資源的需求,可信組合評(píng)估層的功能便是為大數(shù)據(jù)處理任務(wù)選擇QoS最優(yōu)的云服務(wù)組合方案,從而為各個(gè)子任務(wù)提供存儲(chǔ)資源或計(jì)算資源；最后,根據(jù)可信組合評(píng)估層的選擇結(jié)果,設(shè)計(jì)并實(shí)現(xiàn)大數(shù)據(jù)分析算法,完成大數(shù)據(jù)服務(wù)的實(shí)現(xiàn)與部署；2)為滿足云環(huán)境下可擴(kuò)展的數(shù)據(jù)資源節(jié)點(diǎn)管理和數(shù)據(jù)資源查找需求,針對(duì)性地研究了P2P技術(shù)在大數(shù)據(jù)服務(wù)中的拓展應(yīng)用。具體而言,采用非結(jié)構(gòu)化P2P網(wǎng)絡(luò)作為云環(huán)境下數(shù)據(jù)資源節(jié)點(diǎn)的拓?fù)浣M織結(jié)構(gòu),并以服務(wù)封裝數(shù)據(jù)資源,使用者通過查找匹配服務(wù)描述信息以獲得構(gòu)建大數(shù)據(jù)服務(wù)所需的數(shù)據(jù)資源；進(jìn)一步地,提出基于鄰居節(jié)點(diǎn)間的數(shù)據(jù)資源信息主動(dòng)復(fù)制協(xié)議,通過提高網(wǎng)絡(luò)中數(shù)據(jù)資源的覆蓋率以提高查找成功率。最后,基于鄰居間主動(dòng)復(fù)制的資源信息,提出了基于概率隨機(jī)游走的數(shù)據(jù)資源查找方法,實(shí)現(xiàn)云環(huán)境下可擴(kuò)展的數(shù)據(jù)資源查找；3) 為提高支撐大數(shù)據(jù)服務(wù)的云服務(wù)組合方案的可信度,結(jié)合云服務(wù)的QoS歷史記錄大數(shù)據(jù),提出了基于QoS歷史記錄的可信組合評(píng)估方法。為提高組合評(píng)估的計(jì)算效率,提出了HireSome-Ⅰ方法,HireSome-Ⅰ方法通過使用部分基于QoS歷史記錄的組合方案,對(duì)云服務(wù)組合方案進(jìn)行評(píng)估,縮小了組合評(píng)估的計(jì)算規(guī)模,從而降低了組合評(píng)估執(zhí)行的時(shí)間消耗。作為HireSome-Ⅰ方法的補(bǔ)充完善,簡(jiǎn)要介紹了Dou等人提出的HireSome-Ⅱ方法,即基于代表性QoS歷史記錄的可信組合評(píng)估方法。HireSome-Ⅱ方法通過使用代表性QoS歷史記錄執(zhí)行可信組合評(píng)估,降低了可信組合評(píng)估的計(jì)算復(fù)雜度,進(jìn)一步提高了可信組合評(píng)估的計(jì)算效率；4)為驗(yàn)證上述研究?jī)?nèi)容的可行性,從構(gòu)建醫(yī)療大數(shù)據(jù)服務(wù)(疾病自診斷服務(wù))的角度,討論云環(huán)境下大數(shù)據(jù)服務(wù)及其關(guān)鍵技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用。首先,結(jié)合本文提出的大數(shù)據(jù)服務(wù)應(yīng)用模式,分析并獲得疾病自診斷服務(wù)的應(yīng)用需求；針對(duì)該應(yīng)用需求,使用可信組合評(píng)估方法,選擇QoS最優(yōu)的云服務(wù)組合方案,以響應(yīng)疾病自診斷服務(wù)對(duì)計(jì)算資源和存儲(chǔ)資源的需求；然后,結(jié)合電子病歷大數(shù)據(jù)的處理分析需求,設(shè)計(jì)了一個(gè)疾病自診斷服務(wù)框架,以響應(yīng)用戶在線自診斷的請(qǐng)求;進(jìn)一步地,提出了一個(gè)基于概念格的電子病歷大數(shù)據(jù)分析方法,對(duì)電子病歷大數(shù)據(jù)執(zhí)行分析計(jì)算,獲得疾病自診斷模型,來幫助用戶進(jìn)行疾病自診斷與分析。
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP393.09;TP311.13

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前4條

1 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

2 肖芳雄;黃志球;曹子寧;屠立忠;祝義;;Web服務(wù)組合功能與QoS的形式化統(tǒng)一建模和分析[J];軟件學(xué)報(bào);2011年11期

3 馬文明;孟祥武;張玉潔;;面向非結(jié)構(gòu)化P2P網(wǎng)絡(luò)的雙向隨機(jī)漫步搜索機(jī)制[J];軟件學(xué)報(bào);2012年04期

4 程學(xué)旗;靳小龍;王元卓;郭嘉豐;張鐵贏;李國(guó)杰;;大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J];軟件學(xué)報(bào);2014年09期

，

本文編號(hào)：1189559