地理分布式的性能和費(fèi)用優(yōu)化圖處理方法研究
發(fā)布時(shí)間:2021-02-04 00:55
隨著虛擬化技術(shù)的快速發(fā)展,基于虛擬化技術(shù)的云計(jì)算平臺(tái)的構(gòu)建現(xiàn)在越來(lái)越完善。越來(lái)越多的人使用云平臺(tái)完成任務(wù)部署。由于用戶的全球化,區(qū)域化趨勢(shì)變得更加突出,近年來(lái)基礎(chǔ)設(shè)施提供商傾向于在多個(gè)國(guó)家和地區(qū)部署數(shù)據(jù)中心。圖處理是一種適用于各種應(yīng)用的新興計(jì)算模型,圖分割對(duì)于優(yōu)化圖處理作業(yè)的費(fèi)用成本和性能非常重要。隨著移動(dòng)互聯(lián)網(wǎng)和社交網(wǎng)站的興起,許多服務(wù)提供商改變了服務(wù)器自給自足的運(yùn)營(yíng)模式,通過(guò)租用分布在多個(gè)地區(qū)的基礎(chǔ)設(shè)施供應(yīng)商的數(shù)據(jù)中心虛擬機(jī),并將許多圖應(yīng)用程序(如社交網(wǎng)絡(luò))的數(shù)據(jù)存儲(chǔ)在地理分布式數(shù)據(jù)中心上,以便在全球范圍內(nèi)為用戶提供低延遲、高質(zhì)量的服務(wù)。由于圖的流量異構(gòu)性和地理分布式數(shù)據(jù)中心的多級(jí)網(wǎng)絡(luò)異構(gòu)性,對(duì)現(xiàn)有的圖分割方法提出了新的挑戰(zhàn)。本文中,我們首先在當(dāng)下使用廣泛的Microsoft Azure云平臺(tái)的四個(gè)不同的數(shù)據(jù)中心租用使用較廣泛的四種類型實(shí)例,對(duì)每類實(shí)例進(jìn)行連續(xù)一周的測(cè)試,研究云平臺(tái)的網(wǎng)絡(luò)帶寬特性以及網(wǎng)絡(luò)價(jià)格特點(diǎn),以及對(duì)Amazon EC2云平臺(tái)進(jìn)行相應(yīng)測(cè)試。其次,我們根據(jù)GAS圖處理模型建立了地理分布式平臺(tái)下圖應(yīng)用的數(shù)據(jù)輸出時(shí)間和費(fèi)用模型,在此基礎(chǔ)上,我們提出了一種具有地理感知的圖...
【文章來(lái)源】:深圳大學(xué)廣東省
【文章頁(yè)數(shù)】:66 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
云環(huán)境下的三種角色[1]
目前,大多數(shù)云服務(wù)商都提供地理分布式云服務(wù)來(lái)應(yīng)對(duì)大數(shù)據(jù)應(yīng)用的需求。例如,三大公有云服務(wù)商AmazonEC2、MicrosoftAzure和GoogleComputeEngine(GCE)目前分別擁有16個(gè),54個(gè)和11個(gè)分布在世界各地的數(shù)據(jù)中心。圖1.2是MicrosoftAzure在全球區(qū)域的數(shù)據(jù)中心位置1。MicrosoftAzure提供使應(yīng)用程序更貼近全球用戶所需的規(guī)模、保持?jǐn)?shù)據(jù)駐留、為客戶提供全面的符合性和恢復(fù)能力選項(xiàng),已經(jīng)在全球54個(gè)區(qū)域,140個(gè)國(guó)家或地區(qū)建立數(shù)據(jù)中心。因此,通過(guò)租用云平臺(tái)數(shù)據(jù)中心搭建集群進(jìn)行大數(shù)據(jù)處理應(yīng)用的并行計(jì)算成了很多用戶的選擇。圖1.2MicrosoftAzure云平臺(tái)1為了解決圖處理過(guò)程中并行計(jì)算的負(fù)載平衡問(wèn)題,圖分割成了研究熱點(diǎn)。國(guó)內(nèi)外學(xué)者已經(jīng)提出許多優(yōu)化的圖分割算法和模型。針對(duì)圖分割,已經(jīng)有多層算法、組合方法、幾何方法、普算法、以及各種局部?jī)?yōu)化算法等[3]。雖然目前的圖分割算法通過(guò)平衡多個(gè)處理的計(jì)算負(fù)載,縮短處理器的空閑等待時(shí)間以提高并行效率,但是在云環(huán)境下的大數(shù)據(jù)圖處理性能依然較低,主要忽視了以下兩個(gè)方面。首先,服從冪律分布的圖在現(xiàn)實(shí)世界中非常普遍。尤其是數(shù)據(jù)量增長(zhǎng)幅度較大的社交網(wǎng)絡(luò),其中頂點(diǎn)流量呈現(xiàn)異構(gòu)性,極少的點(diǎn)產(chǎn)生了較多的數(shù)據(jù)流量。并且由于云1https://azure.microsoft.com
Twitter圖分布[26]
本文編號(hào):3017443
【文章來(lái)源】:深圳大學(xué)廣東省
【文章頁(yè)數(shù)】:66 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
云環(huán)境下的三種角色[1]
目前,大多數(shù)云服務(wù)商都提供地理分布式云服務(wù)來(lái)應(yīng)對(duì)大數(shù)據(jù)應(yīng)用的需求。例如,三大公有云服務(wù)商AmazonEC2、MicrosoftAzure和GoogleComputeEngine(GCE)目前分別擁有16個(gè),54個(gè)和11個(gè)分布在世界各地的數(shù)據(jù)中心。圖1.2是MicrosoftAzure在全球區(qū)域的數(shù)據(jù)中心位置1。MicrosoftAzure提供使應(yīng)用程序更貼近全球用戶所需的規(guī)模、保持?jǐn)?shù)據(jù)駐留、為客戶提供全面的符合性和恢復(fù)能力選項(xiàng),已經(jīng)在全球54個(gè)區(qū)域,140個(gè)國(guó)家或地區(qū)建立數(shù)據(jù)中心。因此,通過(guò)租用云平臺(tái)數(shù)據(jù)中心搭建集群進(jìn)行大數(shù)據(jù)處理應(yīng)用的并行計(jì)算成了很多用戶的選擇。圖1.2MicrosoftAzure云平臺(tái)1為了解決圖處理過(guò)程中并行計(jì)算的負(fù)載平衡問(wèn)題,圖分割成了研究熱點(diǎn)。國(guó)內(nèi)外學(xué)者已經(jīng)提出許多優(yōu)化的圖分割算法和模型。針對(duì)圖分割,已經(jīng)有多層算法、組合方法、幾何方法、普算法、以及各種局部?jī)?yōu)化算法等[3]。雖然目前的圖分割算法通過(guò)平衡多個(gè)處理的計(jì)算負(fù)載,縮短處理器的空閑等待時(shí)間以提高并行效率,但是在云環(huán)境下的大數(shù)據(jù)圖處理性能依然較低,主要忽視了以下兩個(gè)方面。首先,服從冪律分布的圖在現(xiàn)實(shí)世界中非常普遍。尤其是數(shù)據(jù)量增長(zhǎng)幅度較大的社交網(wǎng)絡(luò),其中頂點(diǎn)流量呈現(xiàn)異構(gòu)性,極少的點(diǎn)產(chǎn)生了較多的數(shù)據(jù)流量。并且由于云1https://azure.microsoft.com
Twitter圖分布[26]
本文編號(hào):3017443
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3017443.html
最近更新
教材專著