本文選題：大數(shù)據(jù) + 并行計(jì)算模型��； 參考：《上海大學(xué)》2017年博士論文

【摘要】：在信息網(wǎng)絡(luò)技術(shù)迅速發(fā)展的推動(dòng)下,眾多應(yīng)用領(lǐng)域的數(shù)據(jù)已經(jīng)從TB級(jí)迅速發(fā)展到PB級(jí)甚至更高的數(shù)量級(jí),信息數(shù)量及復(fù)雜程度快速擴(kuò)大。人們通過(guò)對(duì)數(shù)據(jù)的分析處理可以進(jìn)一步掌握未來(lái)的發(fā)展趨勢(shì),使數(shù)據(jù)創(chuàng)造出更大的價(jià)值。傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和分析處理技術(shù)已經(jīng)無(wú)法滿足當(dāng)前的需求,云計(jì)算作為第四范式數(shù)據(jù)密集型科學(xué)下的一種大規(guī)模分布式計(jì)算模式已經(jīng)得到了廣泛的應(yīng)用,其采用虛擬化技術(shù)整合了計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源,并提供一種按需申請(qǐng)的資源供應(yīng)方式。同時(shí),并行計(jì)算模型為大數(shù)據(jù)應(yīng)用提供了有效的并行分布式策略,屏蔽了容錯(cuò)、數(shù)據(jù)分布、負(fù)載均衡等復(fù)雜的細(xì)節(jié),使應(yīng)用可以更加合理的部署在云節(jié)點(diǎn)上。大數(shù)據(jù)、云計(jì)算和并行計(jì)算模型三者已經(jīng)形成了一種相輔相成的關(guān)系。云計(jì)算中心的性能指標(biāo)不僅可以指導(dǎo)用戶平衡大數(shù)據(jù)應(yīng)用的時(shí)間消耗和所需租用云資源的規(guī)模兩者之間的關(guān)系,而且可以指引云商調(diào)整云資源的配置方案,使其在使用最少資源的前提下保障Qo S。因此,如何分析面向大數(shù)據(jù)應(yīng)用的云計(jì)算中心性能已經(jīng)成為目前一個(gè)重要課題。針對(duì)該課題的研究,本文主要貢獻(xiàn)如下:(1)單一并行計(jì)算模型大多針對(duì)專(zhuān)屬類(lèi)型的大數(shù)據(jù)應(yīng)用,因此我們將應(yīng)用的多樣性問(wèn)題平滑的轉(zhuǎn)為并行計(jì)算模型的多樣性問(wèn)題。同時(shí),云計(jì)算中心為并行計(jì)算模型的實(shí)現(xiàn)提供了基礎(chǔ)資源,因此我們將云資源的復(fù)雜性問(wèn)題同樣轉(zhuǎn)化為并行計(jì)算模型實(shí)現(xiàn)資源的復(fù)雜性問(wèn)題。最后,本文基于并行計(jì)算模型提出了一個(gè)面向大數(shù)據(jù)應(yīng)用的云計(jì)算中心性能分析策略。(2)本文提出的性能分析策略主要是將并行計(jì)算模型模擬成一個(gè)排隊(duì)系統(tǒng),利用嵌入式馬爾可夫鏈屏蔽了大數(shù)據(jù)應(yīng)用的多樣性,在統(tǒng)一規(guī)范下定義了性能影響因素,同時(shí)利用概率分析和統(tǒng)計(jì)深入分析了云計(jì)算中心資源的復(fù)雜性。另外,本文同時(shí)提出了一個(gè)對(duì)比模型,其直接將云計(jì)算中心模擬成一個(gè)排隊(duì)系統(tǒng),與基于并行計(jì)算模型的云中心性能分析策略進(jìn)行了易用性和精準(zhǔn)性的比較,進(jìn)一步驗(yàn)證了本文方法的可行性。(3)在以往工作中,并行計(jì)算模型的性能模型大多用于預(yù)測(cè)應(yīng)用的處理時(shí)間,而云中心的性能模型主要用于性能指標(biāo)的預(yù)測(cè)。本文提出的并行計(jì)算模型排隊(duì)系統(tǒng)及其對(duì)比模型綜合考慮了上述兩種因素,它們可同時(shí)預(yù)測(cè)云中心的性能指標(biāo)和大數(shù)據(jù)應(yīng)用時(shí)間開(kāi)銷(xiāo)。(4)在將大數(shù)據(jù)應(yīng)用劃分成多個(gè)并行子任務(wù)時(shí),定義子任務(wù)的數(shù)量為一個(gè)離散隨機(jī)變量,其數(shù)值是由并行計(jì)算模型決定,不受物理服務(wù)器(Physical Machine,PM)和虛擬機(jī)(Virtual Machine,VM)的數(shù)量所限制。同時(shí),綜合考慮了以下性能影響因素:同一個(gè)PM上多個(gè)VMs之間對(duì)CPU和帶寬的競(jìng)爭(zhēng);當(dāng)VM數(shù)量增加時(shí)對(duì)PM造成的性能衰減;并行子任務(wù)之間的中間數(shù)據(jù)交互。(5)基于性能分析策略提出了一個(gè)性能可預(yù)測(cè)的混合并行計(jì)算模型,其以主流的Map Reduce為基準(zhǔn)模型,融合了BSP(Bulk Synchronous Parallel Computing)模型的迭代思想,對(duì)兩個(gè)模型的基礎(chǔ)組件進(jìn)行了重構(gòu),實(shí)現(xiàn)了功能上的混合。另外,我們以云節(jié)點(diǎn)服務(wù)率為基礎(chǔ),通過(guò)云節(jié)點(diǎn)之間的計(jì)算能力比值,優(yōu)化了數(shù)據(jù)副本的放置方案。同時(shí),參考CPU的消耗額度和分配額度,實(shí)現(xiàn)了負(fù)載感知CPU調(diào)度方法。
[Abstract]:At the same time , the performance analysis strategy of cloud computing center provides an effective parallel distributed strategy for computing , storage and network resources . ( 4 ) When a large data application is divided into a plurality of parallel sub - tasks , the number of defined sub - tasks is a discrete random variable , the numerical value of which is determined by the parallel computing model , is not limited by the number of physical servers ( PMMs ) and virtual machines ( VM ) .
【學(xué)位授予單位】：上海大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 劉鑫;高偉;胡占義;;Hybrid Parallel Bundle Adjustment for 3D Scene Reconstruction with Massive Points[J];Journal of Computer Science & Technology;2012年06期

2 潘巍;李戰(zhàn)懷;伍賽;陳群;;基于消息傳遞機(jī)制的MapReduce圖算法研究[J];計(jì)算機(jī)學(xué)報(bào);2011年10期

相關(guān)博士學(xué)位論文 前1條

1 駱濤;面向大數(shù)據(jù)處理的并行計(jì)算模型及性能優(yōu)化[D];中國(guó)科學(xué)技術(shù)大學(xué);2015年

，

本文編號(hào)：1941473