地理分布式的性能和費用優(yōu)化圖處理方法研究
發(fā)布時間:2021-02-04 00:55
隨著虛擬化技術的快速發(fā)展,基于虛擬化技術的云計算平臺的構建現(xiàn)在越來越完善。越來越多的人使用云平臺完成任務部署。由于用戶的全球化,區(qū)域化趨勢變得更加突出,近年來基礎設施提供商傾向于在多個國家和地區(qū)部署數(shù)據(jù)中心。圖處理是一種適用于各種應用的新興計算模型,圖分割對于優(yōu)化圖處理作業(yè)的費用成本和性能非常重要。隨著移動互聯(lián)網(wǎng)和社交網(wǎng)站的興起,許多服務提供商改變了服務器自給自足的運營模式,通過租用分布在多個地區(qū)的基礎設施供應商的數(shù)據(jù)中心虛擬機,并將許多圖應用程序(如社交網(wǎng)絡)的數(shù)據(jù)存儲在地理分布式數(shù)據(jù)中心上,以便在全球范圍內為用戶提供低延遲、高質量的服務。由于圖的流量異構性和地理分布式數(shù)據(jù)中心的多級網(wǎng)絡異構性,對現(xiàn)有的圖分割方法提出了新的挑戰(zhàn)。本文中,我們首先在當下使用廣泛的Microsoft Azure云平臺的四個不同的數(shù)據(jù)中心租用使用較廣泛的四種類型實例,對每類實例進行連續(xù)一周的測試,研究云平臺的網(wǎng)絡帶寬特性以及網(wǎng)絡價格特點,以及對Amazon EC2云平臺進行相應測試。其次,我們根據(jù)GAS圖處理模型建立了地理分布式平臺下圖應用的數(shù)據(jù)輸出時間和費用模型,在此基礎上,我們提出了一種具有地理感知的圖...
【文章來源】:深圳大學廣東省
【文章頁數(shù)】:66 頁
【學位級別】:碩士
【部分圖文】:
云環(huán)境下的三種角色[1]
目前,大多數(shù)云服務商都提供地理分布式云服務來應對大數(shù)據(jù)應用的需求。例如,三大公有云服務商AmazonEC2、MicrosoftAzure和GoogleComputeEngine(GCE)目前分別擁有16個,54個和11個分布在世界各地的數(shù)據(jù)中心。圖1.2是MicrosoftAzure在全球區(qū)域的數(shù)據(jù)中心位置1。MicrosoftAzure提供使應用程序更貼近全球用戶所需的規(guī)模、保持數(shù)據(jù)駐留、為客戶提供全面的符合性和恢復能力選項,已經(jīng)在全球54個區(qū)域,140個國家或地區(qū)建立數(shù)據(jù)中心。因此,通過租用云平臺數(shù)據(jù)中心搭建集群進行大數(shù)據(jù)處理應用的并行計算成了很多用戶的選擇。圖1.2MicrosoftAzure云平臺1為了解決圖處理過程中并行計算的負載平衡問題,圖分割成了研究熱點。國內外學者已經(jīng)提出許多優(yōu)化的圖分割算法和模型。針對圖分割,已經(jīng)有多層算法、組合方法、幾何方法、普算法、以及各種局部優(yōu)化算法等[3]。雖然目前的圖分割算法通過平衡多個處理的計算負載,縮短處理器的空閑等待時間以提高并行效率,但是在云環(huán)境下的大數(shù)據(jù)圖處理性能依然較低,主要忽視了以下兩個方面。首先,服從冪律分布的圖在現(xiàn)實世界中非常普遍。尤其是數(shù)據(jù)量增長幅度較大的社交網(wǎng)絡,其中頂點流量呈現(xiàn)異構性,極少的點產生了較多的數(shù)據(jù)流量。并且由于云1https://azure.microsoft.com
Twitter圖分布[26]
本文編號:3017443
【文章來源】:深圳大學廣東省
【文章頁數(shù)】:66 頁
【學位級別】:碩士
【部分圖文】:
云環(huán)境下的三種角色[1]
目前,大多數(shù)云服務商都提供地理分布式云服務來應對大數(shù)據(jù)應用的需求。例如,三大公有云服務商AmazonEC2、MicrosoftAzure和GoogleComputeEngine(GCE)目前分別擁有16個,54個和11個分布在世界各地的數(shù)據(jù)中心。圖1.2是MicrosoftAzure在全球區(qū)域的數(shù)據(jù)中心位置1。MicrosoftAzure提供使應用程序更貼近全球用戶所需的規(guī)模、保持數(shù)據(jù)駐留、為客戶提供全面的符合性和恢復能力選項,已經(jīng)在全球54個區(qū)域,140個國家或地區(qū)建立數(shù)據(jù)中心。因此,通過租用云平臺數(shù)據(jù)中心搭建集群進行大數(shù)據(jù)處理應用的并行計算成了很多用戶的選擇。圖1.2MicrosoftAzure云平臺1為了解決圖處理過程中并行計算的負載平衡問題,圖分割成了研究熱點。國內外學者已經(jīng)提出許多優(yōu)化的圖分割算法和模型。針對圖分割,已經(jīng)有多層算法、組合方法、幾何方法、普算法、以及各種局部優(yōu)化算法等[3]。雖然目前的圖分割算法通過平衡多個處理的計算負載,縮短處理器的空閑等待時間以提高并行效率,但是在云環(huán)境下的大數(shù)據(jù)圖處理性能依然較低,主要忽視了以下兩個方面。首先,服從冪律分布的圖在現(xiàn)實世界中非常普遍。尤其是數(shù)據(jù)量增長幅度較大的社交網(wǎng)絡,其中頂點流量呈現(xiàn)異構性,極少的點產生了較多的數(shù)據(jù)流量。并且由于云1https://azure.microsoft.com
Twitter圖分布[26]
本文編號:3017443
本文鏈接:http://sikaile.net/kejilunwen/shengwushengchang/3017443.html
最近更新
教材專著