發(fā)布時間：2024-05-25 03:30

　　隨著云計算的快速發(fā)展,計算機硬件和軟件性能的提升以及技術(shù)的革新,近年來PaaS平臺迎來了蓬勃發(fā)展。各種主流的開發(fā)框架和計算框架開始向云上遷移,提高了開發(fā)人員的工作效率。目前,PaaS平臺提供的主要是基于單節(jié)點的框架或服務(wù),比如程序開發(fā)軟件、數(shù)據(jù)分析工具等。對于分布式框架,由于在云上集群化部署和管理存在一定的難度,目前在PaaS平臺上的應(yīng)用并不多。Spark分布式計算框架,作為目前最流行的大數(shù)據(jù)處理框架之一,開發(fā)人員對其需求也越來越大。由于人工部署一套Spark集群需要整合大量的計算資源,花費大量時間,集群資源的后續(xù)管理也存在諸多問題。因此,本文針對Spark集群服務(wù),基于ansible自動化部署和管理工具,構(gòu)建了一個具有集群自動化部署和管理功能的Spark PaaS平臺,方便用戶上傳數(shù)據(jù)、提交并運行Spark任務(wù)。本文首先對相關(guān)技術(shù)進行分析,確定了構(gòu)建Spark PaaS平臺的可行性。接著對一些主流的自動化部署工具進行了研究分析,為ansible工具的選擇提供理論依據(jù)。再結(jié)合實際的需求,提出了本平臺的系統(tǒng)架構(gòu),將其劃分為多個功能層。在此基礎(chǔ)上,設(shè)計了通信模塊、數(shù)據(jù)庫模塊、基礎(chǔ)功能模塊、...

【文章頁數(shù)】：92 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-1云計算服務(wù)模式

第二章相關(guān)理論和技術(shù)基礎(chǔ)5第二章相關(guān)理論和技術(shù)基礎(chǔ)2.1云計算概述2.1.1云計算服務(wù)“云計算”的概念在2006年的搜索引擎大會上由google公司首次提出。它的產(chǎn)生和并行計算、分布式計算等技術(shù)密切相關(guān)。正是在這些技術(shù)的驅(qū)動下，云計算經(jīng)過這些年的成長和發(fā)展，已經(jīng)由概念轉(zhuǎn)化成實際的....

圖2-2KVM架構(gòu)

電子科技大學(xué)碩士學(xué)位論文63.軟件即服務(wù)（SaaS）處于三層架構(gòu)的最上層，與PaaS平臺有很大不同，PaaS平臺主要面向有軟件開發(fā)或操作系統(tǒng)熟練使用基礎(chǔ)的人員，而SaaS主要面向大眾，提供應(yīng)用軟件層面的服務(wù)[12]。用戶可以根據(jù)自身需求，通過某種設(shè)備，利用某種遠程協(xié)議，定制并使用....

圖2-3Puppet架構(gòu)

第二章相關(guān)理論和技術(shù)基礎(chǔ)7上圖中，KVM模塊作為KVM架構(gòu)的核心部分，運行在內(nèi)核空間，僅用于硬件虛擬化。它的主要功能是初始化cpu硬件，打開虛擬化模式，將虛擬機運行在該模式下，最后創(chuàng)建特殊設(shè)備文件/dev/kvm等待用戶空間的命令。QEMU是一個開源的虛擬機純軟件，在用戶空間運行....

圖2-4Saltstack架構(gòu)

電子科技大學(xué)碩士學(xué)位論文8Puppet基于C/S的部署架構(gòu)，需要在服務(wù)端（Puppetserver）安裝puppet-server軟件，在客戶端（Puppetagent）安裝客戶端軟件，實現(xiàn)了數(shù)據(jù)中心自動化協(xié)調(diào)配置和管理�？蛻舳四J配置下每隔半小時和服務(wù)端通信一次，確認是否配置信....

本文編號：3981642