大數(shù)據(jù)已經(jīng)成為信息技術(shù)及其它相關(guān)交叉領(lǐng)域的研究熱點(diǎn)。它被認(rèn)為是極具價(jià)值的重要資產(chǎn),具有推動(dòng)人們生產(chǎn)生活與科學(xué)技術(shù)發(fā)展的巨大潛力。通過(guò)對(duì)大數(shù)據(jù)進(jìn)行相應(yīng)的分析處理與開發(fā)利用,我們可以獲得新的知識(shí)、新的規(guī)則、問(wèn)題的答案、甚至是預(yù)測(cè)模型等對(duì)科研、生產(chǎn)和生活產(chǎn)生重要積極影響的信息。然而,大數(shù)據(jù)所具有的特性(如:大規(guī)模性、實(shí)時(shí)性等)使得當(dāng)前廣泛使用的集中式計(jì)算架構(gòu)及經(jīng)典的數(shù)據(jù)分析模型與算法無(wú)法直接適用于大數(shù)據(jù)而實(shí)現(xiàn)高效的大數(shù)據(jù)分析處理。這主要是因?yàn)榇髷?shù)據(jù)自身的復(fù)雜性以及當(dāng)前的主流計(jì)算范式難以為大數(shù)據(jù)的高效處理提供彈性可擴(kuò)展的充足計(jì)算能力。近些年云計(jì)算的出現(xiàn)與發(fā)展為解決這一難題提供了可能。云計(jì)算目前已經(jīng)逐漸成為大數(shù)據(jù)研究與應(yīng)用的基礎(chǔ)底層平臺(tái)。本文將云計(jì)算下大數(shù)據(jù)高效處理問(wèn)題的研究分成以下三個(gè)方向:云計(jì)算平臺(tái)、大數(shù)據(jù)預(yù)處理和經(jīng)典數(shù)據(jù)處理算法與模型。第一,為了高效地處理大數(shù)據(jù),我們需要利用具有彈性可擴(kuò)展特性的云計(jì)算平臺(tái)所提供的虛擬化并行計(jì)算能力來(lái)處理大數(shù)據(jù)計(jì)算任務(wù)。第二,我們可以在分析挖掘大數(shù)據(jù)之前先對(duì)大數(shù)據(jù)本身進(jìn)行針對(duì)性的預(yù)處理以達(dá)到事半功倍的效果。因此,對(duì)云計(jì)算下大數(shù)據(jù)高效預(yù)處理方法進(jìn)行研究十分必要。第三,現(xiàn)有的經(jīng)典數(shù)據(jù)分析算法與模型應(yīng)結(jié)合云計(jì)算技術(shù)針對(duì)大數(shù)據(jù)問(wèn)題進(jìn)行新的設(shè)計(jì)研究,進(jìn)而實(shí)現(xiàn)云計(jì)算下大數(shù)據(jù)的高效處理,而不是將傳統(tǒng)算法與模型直接用于處理大數(shù)據(jù)。本文將以上三個(gè)方向涉及到的研究問(wèn)題稱為云計(jì)算下大數(shù)據(jù)高效處理的關(guān)鍵共性問(wèn)題。本文重點(diǎn)關(guān)注并研究了云計(jì)算下大數(shù)據(jù)高效處理的若干關(guān)鍵問(wèn)題。首先研究了針對(duì)大數(shù)據(jù)高效處理的云計(jì)算下多任務(wù)部署方法與虛擬機(jī)動(dòng)態(tài)遷移策略;然后研究了針對(duì)大數(shù)據(jù)高效處理的移動(dòng)云計(jì)算模型與部署方法;最后研究了針對(duì)大數(shù)據(jù)高效處理的云計(jì)算下大數(shù)據(jù)實(shí)例約簡(jiǎn)預(yù)處理方法與云計(jì)算下大數(shù)據(jù)推薦系統(tǒng)框架。本文的主要貢獻(xiàn)如下:(1)進(jìn)行了針對(duì)大數(shù)據(jù)高效處理的云計(jì)算下多任務(wù)部署方法與虛擬機(jī)動(dòng)態(tài)遷移策略的研究。為了利用云計(jì)算虛擬化資源池的彈性可擴(kuò)展特性所支撐的強(qiáng)大并行計(jì)算潛力來(lái)獲得大數(shù)據(jù)高效處理的底層基礎(chǔ)設(shè)施,首先需要實(shí)現(xiàn)云計(jì)算下高效的多任務(wù)調(diào)度和虛擬機(jī)動(dòng)態(tài)遷移策略。本文提出了一種新的針對(duì)長(zhǎng)期負(fù)載均衡優(yōu)化基于聚類分析與貝葉斯定理的啟發(fā)式多任務(wù)部署方法LB-BC(Load Balancing approach based on Bayes theorem and Clustering)以及一種節(jié)能感知基于改進(jìn)人工蜂群算法與貝葉斯概率模型的啟發(fā)式虛擬機(jī)動(dòng)態(tài)遷移位置選擇策略PS-ABC(Placement Selection policy based on improved Artificial Bee Colony and bayes)。LB-BC方法以較小的開銷實(shí)現(xiàn)了大數(shù)據(jù)云計(jì)算平臺(tái)的長(zhǎng)期負(fù)載均衡優(yōu)化,提升了云平臺(tái)的對(duì)外服務(wù)能力,進(jìn)而促進(jìn)云計(jì)算下的大數(shù)據(jù)高效并行處理。同時(shí),PS-ABC方法實(shí)現(xiàn)了大數(shù)據(jù)云平臺(tái)下高效節(jié)能優(yōu)化的虛擬機(jī)動(dòng)態(tài)遷移策略。PS-ABC方法在保證虛擬機(jī)動(dòng)態(tài)遷移成功率的情況下結(jié)合虛擬機(jī)的負(fù)載均衡遷移優(yōu)化,整體上實(shí)現(xiàn)了大數(shù)據(jù)云平臺(tái)的性能提升。在一定程度上為云計(jì)算下大數(shù)據(jù)的高效處理打下底層基礎(chǔ)。(2)進(jìn)行了針對(duì)大數(shù)據(jù)高效處理的移動(dòng)云計(jì)算模型與部署方法的研究。為了從探索大數(shù)據(jù)邊緣計(jì)算的角度研究云計(jì)算下大數(shù)據(jù)的高效處理,本文對(duì)移動(dòng)云計(jì)算模型及相應(yīng)的部署方法進(jìn)行了研究。首先,本文提出了一種基于移動(dòng)端并行計(jì)算結(jié)合遠(yuǎn)端云存儲(chǔ)與本地移動(dòng)虛擬集群的移動(dòng)云計(jì)算模型,并相應(yīng)地設(shè)計(jì)了該模型下移動(dòng)端多虛擬機(jī)的啟發(fā)式部署方法VD-ABC(Virtual device Deployment based on Artificial Bee Colony)。該移動(dòng)云模型旨在充分利用邊緣移動(dòng)端的多設(shè)備剩余資源,通過(guò)虛擬化多租戶實(shí)現(xiàn)最大化資源利用與高效并行計(jì)算。VD-ABC方法在保證性能的情況下獲得移動(dòng)設(shè)備節(jié)能感知與服務(wù)響應(yīng)延遲優(yōu)化的虛擬機(jī)部署解決方案,促進(jìn)實(shí)現(xiàn)基于邊緣移動(dòng)云計(jì)算的大數(shù)據(jù)高效處理。然后,本文提出了一種基于移動(dòng)自組織社區(qū)下多設(shè)備協(xié)同計(jì)算的移動(dòng)云計(jì)算模型。它利用大量移動(dòng)端空閑設(shè)備組成邏輯移動(dòng)社區(qū)作為邊緣云計(jì)算集群,通過(guò)部署多移動(dòng)應(yīng)用劃分實(shí)現(xiàn)對(duì)大數(shù)據(jù)處理請(qǐng)求的并行處理能力。相應(yīng)地本文提出了該模型下基于改進(jìn)粒子群優(yōu)化的啟發(fā)式移動(dòng)應(yīng)用劃分分派方法MCC-PSO(Mobile Cloud Computing based on Particle Swarm Optimization)。MCC-PSO方法縮短了多移動(dòng)應(yīng)用劃分的整體處理時(shí)間,在滿足多任務(wù)并行計(jì)算性能的前提下減少了移動(dòng)設(shè)備的剩余電量消耗。該模型在整體上具有促進(jìn)實(shí)現(xiàn)自組織邊緣移動(dòng)云計(jì)算下大數(shù)據(jù)高效處理的潛力。(3)對(duì)云計(jì)算下大數(shù)據(jù)實(shí)例約簡(jiǎn)預(yù)處理與大數(shù)據(jù)推薦系統(tǒng)框架進(jìn)行了研究。旨在從云計(jì)算下大數(shù)據(jù)預(yù)處理的角度研究云計(jì)算下大數(shù)據(jù)的高效處理,本文提出了一種基于聚類分析與最優(yōu)極小樣本集抽樣思想的啟發(fā)式大數(shù)據(jù)實(shí)例約簡(jiǎn)預(yù)處理方法CSA(Clustering Sampling Algorithm)。CSA方法在保證原大數(shù)據(jù)集實(shí)例分布特點(diǎn)與信息質(zhì)量的同時(shí),通過(guò)類簇的最優(yōu)極小樣本集抽樣實(shí)現(xiàn)了高效的大數(shù)據(jù)實(shí)例約簡(jiǎn)預(yù)處理。CSA有效地促進(jìn)了云計(jì)算下大數(shù)據(jù)高效處理目標(biāo)的實(shí)現(xiàn)。另外,本文提出了一種新的云計(jì)算下結(jié)合大數(shù)據(jù)與社會(huì)上下文理論的大數(shù)據(jù)推薦系統(tǒng)框架方法BDRSF(Big Data Recommendation System Framework)。BDRSF方法實(shí)現(xiàn)了相應(yīng)的推薦預(yù)測(cè)性能。從云計(jì)算下大數(shù)據(jù)的通用預(yù)測(cè)模型及算法的角度推動(dòng)大數(shù)據(jù)高效處理的實(shí)現(xiàn)。
【學(xué)位單位】：吉林大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位年份】：2018
【中圖分類】：TP311.13
【部分圖文】：

吉林大學(xué)博士學(xué)位論文載均衡感知的啟發(fā)式任務(wù)部署方法 LB-BC架構(gòu)設(shè)計(jì) 描述了云計(jì)算環(huán)境中 LB-BC 方法的系統(tǒng)架構(gòu)。它展示了 LB-BC 關(guān)系，也表明了 LB-BC 在整個(gè)架構(gòu)中扮演的重要角色。首先，源信息和云計(jì)算平臺(tái)中 m 個(gè)可用物理主機(jī)的剩余資源量（包括 C。通過(guò)使用從監(jiān)控器獲取的信息，LB-BC 生成部署策略并傳遞給部的功能是控制和實(shí)施請(qǐng)求任務(wù)的部署。最后，在一個(gè) Δt 時(shí)間內(nèi)到由 LB-BC 獲得的最終最優(yōu)物理主機(jī)集合中的相應(yīng)物理主機(jī)中。

的第一個(gè)屬性值，它是物理主機(jī) nphj的后驗(yàn)概率。Lcj是其第二個(gè)屬性 資源量。Lmemj是其第三個(gè)屬性值，剩余內(nèi)存資源量。步：在 nphj作為聚類中心的情況下計(jì)算 nphj與 NPH 中其它對(duì)象之間相似度值給出閾值SimilaritythresholdU。如果相似度值 SD 比SimilaritythresholdU大，那么這合 NPH'={}中的一員。聚類中心 nphj是第一個(gè)被放入 NPH'中的對(duì)象就是這個(gè)最終的聚類結(jié)果 NPH'，即，NPH'={nph1',nph2',...,nphq'} (q m步：用戶請(qǐng)求的任務(wù)將會(huì)被部署到 NPH'集合中的物理主機(jī)上。這里請(qǐng)求的先進(jìn)先出處理順序，同時(shí) LB-BC 部署 TR 中的每個(gè)任務(wù)到當(dāng)前理主機(jī)中，旨在進(jìn)一步優(yōu)化長(zhǎng)期全局負(fù)載均衡的性能和效率。圖 3.4 NPH'中的相應(yīng)物理主機(jī)執(zhí)行 TR 中的任務(wù)。LB-BC 算法從開始被調(diào)用決方案的時(shí)間間隔作為下一個(gè)時(shí)間窗口 Δt。即在那段時(shí)間間隔里收到下一輪任務(wù)請(qǐng)求集合 TR。在 Δt 時(shí)間內(nèi)由云計(jì)算平臺(tái)收到的任務(wù)請(qǐng)?jiān)谙聜�(gè)算法周期的工作負(fù)載。

MakeSpan 的比較該組實(shí)驗(yàn)中，將 LB-BC 與 RD 和 DLB 進(jìn)行關(guān)于 MakeSpan 的比較，即比合所需時(shí)間。圖 3.5 展示了三個(gè)方法的實(shí)驗(yàn)結(jié)果。請(qǐng)求任務(wù)數(shù)量的增加必更多的時(shí)間來(lái)處理執(zhí)行它們，因此其 MakeSpan 值會(huì)變大。RD 本質(zhì)上是求任務(wù)到云計(jì)算平臺(tái)的物理主機(jī)上。對(duì)于 RD 而言，任務(wù)請(qǐng)求數(shù)的增加會(huì)行性能下降得更快，任務(wù)執(zhí)行時(shí)間也會(huì)相對(duì)增長(zhǎng)得更快。對(duì)于 DLB 而言歷史紀(jì)錄和知識(shí)庫(kù)來(lái)推斷即將到來(lái)的任務(wù)需求，然后通過(guò)計(jì)算系統(tǒng)負(fù)載均決定任務(wù)部署方案。任務(wù)數(shù)量的上升會(huì)增加物理主機(jī)間的通信開銷，進(jìn)而性能的下降和時(shí)間開銷的增加。但是，與 RD 方法相比要更小。LB-BC 方中會(huì)選擇最優(yōu)物理主機(jī)集合來(lái)部署和處理任務(wù)，以此來(lái)減少不必要的大量大程度地發(fā)揮物理集群的計(jì)算性能。處理任務(wù)的時(shí)間會(huì)隨著請(qǐng)求任務(wù)數(shù)的在相同請(qǐng)求任務(wù)數(shù)的情況下，LB-BC 與 DLB 和 RD 相比具有更小的處理.5 所示，LB-BC 在相同的條件下，實(shí)現(xiàn)了相對(duì)更小的任務(wù)處理 MakeSpan表明 LB-BC 在對(duì)大數(shù)據(jù)云計(jì)算平臺(tái)進(jìn)行低代價(jià)且長(zhǎng)期的負(fù)載均衡優(yōu)化的務(wù)的執(zhí)行性能和效率。
【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 羅剛毅;錢柱中;陸桑璐;;一種基于網(wǎng)絡(luò)感知的虛擬機(jī)再調(diào)度算法[J];計(jì)算機(jī)學(xué)報(bào);2015年05期

本文編號(hào)：2869636