隨著云計(jì)算的快速發(fā)展,計(jì)算機(jī)硬件和軟件性能的提升以及技術(shù)的革新,近年來(lái)PaaS平臺(tái)迎來(lái)了蓬勃發(fā)展。各種主流的開(kāi)發(fā)框架和計(jì)算框架開(kāi)始向云上遷移,提高了開(kāi)發(fā)人員的工作效率。目前,PaaS平臺(tái)提供的主要是基于單節(jié)點(diǎn)的框架或服務(wù),比如程序開(kāi)發(fā)軟件、數(shù)據(jù)分析工具等。對(duì)于分布式框架,由于在云上集群化部署和管理存在一定的難度,目前在PaaS平臺(tái)上的應(yīng)用并不多。Spark分布式計(jì)算框架,作為目前最流行的大數(shù)據(jù)處理框架之一,開(kāi)發(fā)人員對(duì)其需求也越來(lái)越大。由于人工部署一套Spark集群需要整合大量的計(jì)算資源,花費(fèi)大量時(shí)間,集群資源的后續(xù)管理也存在諸多問(wèn)題。因此,本文針對(duì)Spark集群服務(wù),基于ansible自動(dòng)化部署和管理工具,構(gòu)建了一個(gè)具有集群自動(dòng)化部署和管理功能的Spark PaaS平臺(tái),方便用戶上傳數(shù)據(jù)、提交并運(yùn)行Spark任務(wù)。本文首先對(duì)相關(guān)技術(shù)進(jìn)行分析,確定了構(gòu)建Spark PaaS平臺(tái)的可行性。接著對(duì)一些主流的自動(dòng)化部署工具進(jìn)行了研究分析,為ansible工具的選擇提供理論依據(jù)。再結(jié)合實(shí)際的需求,提出了本平臺(tái)的系統(tǒng)架構(gòu),將其劃分為多個(gè)功能層。在此基礎(chǔ)上,設(shè)計(jì)了通信模塊、數(shù)據(jù)庫(kù)模塊、基礎(chǔ)功能模塊、...

【文章頁(yè)數(shù)】：92 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-1云計(jì)算服務(wù)模式

第二章相關(guān)理論和技術(shù)基礎(chǔ)5第二章相關(guān)理論和技術(shù)基礎(chǔ)2.1云計(jì)算概述2.1.1云計(jì)算服務(wù)“云計(jì)算”的概念在2006年的搜索引擎大會(huì)上由google公司首次提出。它的產(chǎn)生和并行計(jì)算、分布式計(jì)算等技術(shù)密切相關(guān)。正是在這些技術(shù)的驅(qū)動(dòng)下，云計(jì)算經(jīng)過(guò)這些年的成長(zhǎng)和發(fā)展，已經(jīng)由概念轉(zhuǎn)化成實(shí)際的....

圖2-2KVM架構(gòu)

電子科技大學(xué)碩士學(xué)位論文63.軟件即服務(wù)（SaaS）處于三層架構(gòu)的最上層，與PaaS平臺(tái)有很大不同，PaaS平臺(tái)主要面向有軟件開(kāi)發(fā)或操作系統(tǒng)熟練使用基礎(chǔ)的人員，而SaaS主要面向大眾，提供應(yīng)用軟件層面的服務(wù)[12]。用戶可以根據(jù)自身需求，通過(guò)某種設(shè)備，利用某種遠(yuǎn)程協(xié)議，定制并使用....

圖2-3Puppet架構(gòu)

第二章相關(guān)理論和技術(shù)基礎(chǔ)7上圖中，KVM模塊作為KVM架構(gòu)的核心部分，運(yùn)行在內(nèi)核空間，僅用于硬件虛擬化。它的主要功能是初始化cpu硬件，打開(kāi)虛擬化模式，將虛擬機(jī)運(yùn)行在該模式下，最后創(chuàng)建特殊設(shè)備文件/dev/kvm等待用戶空間的命令。QEMU是一個(gè)開(kāi)源的虛擬機(jī)純軟件，在用戶空間運(yùn)行....

圖2-4Saltstack架構(gòu)

電子科技大學(xué)碩士學(xué)位論文8Puppet基于C/S的部署架構(gòu)，需要在服務(wù)端（Puppetserver）安裝puppet-server軟件，在客戶端（Puppetagent）安裝客戶端軟件，實(shí)現(xiàn)了數(shù)據(jù)中心自動(dòng)化協(xié)調(diào)配置和管理。客戶端默認(rèn)配置下每隔半小時(shí)和服務(wù)端通信一次，確認(rèn)是否配置信....

本文編號(hào)：3981642