隨著互聯(lián)網(wǎng)應(yīng)用的快速增長(zhǎng),出現(xiàn)了大量的數(shù)據(jù)整合和聚集現(xiàn)象使得數(shù)據(jù)處理應(yīng)用的需求量呈爆發(fā)式膨脹,加快了“大數(shù)據(jù)時(shí)代”的到來。伴隨著數(shù)據(jù)種類的豐富多樣和數(shù)據(jù)規(guī)模的不斷擴(kuò)大,數(shù)據(jù)的分析和處理技術(shù)也在不斷進(jìn)行著改進(jìn),出現(xiàn)了很多的大數(shù)據(jù)處理軟件。但是搭建和部署一個(gè)大數(shù)據(jù)集群對(duì)于中小企業(yè)來說在經(jīng)濟(jì)上和技術(shù)上都是一大筆的開銷。將大數(shù)據(jù)處理軟件集群部署在云平臺(tái)上,從技術(shù)層面,云計(jì)算技術(shù)解決了上層應(yīng)用和底層的計(jì)算資源松耦合;從業(yè)務(wù)層面,使用大數(shù)據(jù)處理軟件進(jìn)行數(shù)據(jù)處理的人員可以只關(guān)注業(yè)務(wù)的處理,大數(shù)據(jù)集群則交給第三方云提供者進(jìn)行維護(hù)管理。本論文就是依據(jù)新華三云計(jì)算部門和大數(shù)據(jù)部門進(jìn)行云數(shù)融合的迫切需求,設(shè)計(jì)并實(shí)現(xiàn)了基于OpenStack的大數(shù)據(jù)PaaS（Platform as a Service）服務(wù)模塊,以PaaS服務(wù)的方式將大數(shù)據(jù)處理軟件集群提供給用戶。大數(shù)據(jù)平臺(tái)即服務(wù)（Big Data Platform as a Service,BDPaaS）通常用于指對(duì)大型或復(fù)雜數(shù)據(jù)集（通常通過Internet）進(jìn)行分析的服務(wù),即云托管服務(wù)。作者針對(duì)大數(shù)據(jù)處理軟件集群部署過程繁雜,管理困難的問題,基于OpenSt... 

【文章來源】：西南交通大學(xué)四川省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：99 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

OpenStack概念架構(gòu)圖

務(wù)提供統(tǒng)一界面的 Portal，為云基礎(chǔ)設(shè)施提供面向用戶的圖形操作接口，為用戶提供集云服務(wù)，云運(yùn)營(yíng)，云運(yùn)維為一體的門戶式站點(diǎn)。中間層為系統(tǒng)層，也是最為核心的部分，實(shí)現(xiàn)了對(duì)第三方軟件的調(diào)用，實(shí)現(xiàn)了滿足市場(chǎng)需求的功能，并提供開放、標(biāo)準(zhǔn)的協(xié)議接口，便于云管理平臺(tái)與第三方管理平臺(tái)對(duì)接，同時(shí)方便用戶基于云操作系統(tǒng)進(jìn)行二次開發(fā)。最底層為內(nèi)核層，是各種第三方應(yīng)用，為系統(tǒng)實(shí)現(xiàn)服務(wù)功能提供支撐，比如主機(jī)服務(wù)和網(wǎng)絡(luò)存儲(chǔ)服務(wù)需要使用 OpenStack、容器服務(wù)需要使用 Kubernetes 對(duì)容器中應(yīng)用進(jìn)行管理、應(yīng)用服務(wù)使用 Harbor 提供鏡像倉(cāng)庫(kù)[40]，使用 Cloudify[41]實(shí)現(xiàn)用的部署。整個(gè)項(xiàng)目為微服務(wù)的架構(gòu)，通過對(duì)服務(wù)的深刻理解，將系統(tǒng)分為了不同的微服務(wù)，為用戶提供了豐富多樣的云服務(wù)目錄，比如主機(jī)服務(wù)，容器服務(wù)，數(shù)據(jù)庫(kù)服務(wù)，但數(shù)據(jù)服務(wù)等。這些微服務(wù)部署在 Docker 容器中，并使用 Kubernetes 進(jìn)行對(duì)容器的部署和管理，實(shí)現(xiàn)了系統(tǒng)的高可用、平滑擴(kuò)展和平滑升級(jí)。每個(gè)服務(wù)都可以提供開放、標(biāo)準(zhǔn)的協(xié)議接口，便于云管理平臺(tái)與第三方管理平臺(tái)對(duì)接，同時(shí)方便用戶基于 CloudOS 進(jìn)行二次開發(fā)。

中進(jìn)行單獨(dú)的部署、運(yùn)行、維護(hù)、升級(jí)，但是在功能上在系統(tǒng)中看起來是完整的一個(gè)整體，實(shí)際上就是服務(wù)與服務(wù)之間的松耦合。所謂的整體，是在用戶使用時(shí)所體現(xiàn)出來的，比如有著統(tǒng)一的訪問入口，統(tǒng)一的權(quán)限管理，統(tǒng)一的界面風(fēng)格，統(tǒng)一的日志方法，統(tǒng)一的審批流程。微服務(wù)的目的是將系統(tǒng)的功能進(jìn)行有效的拆分，實(shí)現(xiàn)功能與功能之間的松耦合，實(shí)現(xiàn)敏捷開發(fā)[43]和部署。2.2.2.1 微服務(wù)優(yōu)勢(shì)現(xiàn)在互聯(lián)網(wǎng)行業(yè)的應(yīng)用都是龐然大物，需要不斷的進(jìn)行迭代開發(fā)。一體式的架構(gòu)模式雖然開發(fā)起來簡(jiǎn)單直接，但是項(xiàng)目的管理上是集中式的，基本不會(huì)重復(fù)開發(fā)；一體式架構(gòu)項(xiàng)目的功能都在本地，不會(huì)存在分布式的管理開銷，無法滿足高并發(fā)的業(yè)務(wù)需求；一體式架構(gòu)項(xiàng)目的開發(fā)效率也很低，所有的開發(fā)都是在一個(gè)項(xiàng)目上進(jìn)行修改，提交代碼就會(huì)出現(xiàn)很多的代碼沖突，互相等待；一體式架構(gòu)項(xiàng)目的代碼維護(hù)比較困難，穩(wěn)定性不高，一個(gè)微不足道的小問題都可以導(dǎo)致系統(tǒng)的崩潰，無法使用；一體式架構(gòu)項(xiàng)目的部署也不是很靈活，項(xiàng)目出了問題，不管問題的大小都要進(jìn)行重新構(gòu)建整個(gè)項(xiàng)目，對(duì)于大型項(xiàng)目來說構(gòu)建的過程一般會(huì)花費(fèi)很長(zhǎng)一段時(shí)間。

【參考文獻(xiàn)】：
期刊論文
[1]Docker技術(shù)在微服務(wù)中的應(yīng)用[J]. 章仕鋒,潘善亮.  電子技術(shù)與軟件工程. 2019(04)
[2]基于Openstack Swift的高可用存儲(chǔ)方案研究與實(shí)現(xiàn)[J]. 張曉莉,文成玉,原子楨.  成都信息工程大學(xué)學(xué)報(bào). 2019(01)
[3]以KVM-QEMU與Libvirt為依托的虛擬化資源池建設(shè)探究[J]. 賀偉,李鳳.  計(jì)算機(jī)產(chǎn)品與流通. 2018(12)
[4]SDN性能優(yōu)化技術(shù)研究綜述[J]. 孫濤,張俊星.  計(jì)算機(jī)科學(xué). 2018(S2)
[5]敏捷開發(fā)在應(yīng)用全生命周期管理上的最佳實(shí)踐[J]. 余明俊,高瀾.  中國(guó)新通信. 2018(16)
[6]SpringBoot框架在web應(yīng)用開發(fā)中的探討[J]. 呂宇琛.  科技創(chuàng)新導(dǎo)報(bào). 2018(08)
[7]基于CAS的單點(diǎn)登錄系統(tǒng)的研究與實(shí)現(xiàn)[J]. 趙晉,楊旭東.  軟件. 2016(11)
[8]《大數(shù)據(jù)時(shí)代》[J]. 維克托·邁爾-舍恩伯格,肯尼思·庫(kù)克耶,盛楊燕,周濤.  教育科學(xué)論壇. 2016(10)
[9]基于Puppet的自動(dòng)化部署工具的設(shè)計(jì)與實(shí)現(xiàn)[J]. 李小文,劉玉龍.  軟件. 2015(12)
[10]基于OpenStack和Cloudify的自伸縮云平臺(tái)體系[J]. 裴超,吳穎川,劉志勤,王耀彬,楊雷.  計(jì)算機(jī)應(yīng)用. 2014(06)

碩士論文
[1]分布式離線計(jì)算平臺(tái)的數(shù)據(jù)可視化系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 王倩倩.西南交通大學(xué) 2018
[2]基于OpenStack的Cloud OS云平臺(tái)對(duì)接Trove組件的研究與實(shí)現(xiàn)[D]. 向彬彬.杭州電子科技大學(xué) 2018
[3]基于IaaS的大數(shù)據(jù)容器集群關(guān)鍵技術(shù)研究[D]. 王淼鑫.北京郵電大學(xué) 2018
[4]基于Chef的自動(dòng)化云環(huán)境配置系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 任子博.中國(guó)科學(xué)院大學(xué)(中國(guó)科學(xué)院工程管理與信息技術(shù)學(xué)院) 2017
[5]面向中小軟件開發(fā)商的Web應(yīng)用構(gòu)件共享PaaS平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 趙楠.西南交通大學(xué) 2017
[6]基于Docker的PaaS平臺(tái)的研究與應(yīng)用[D]. 江萌.華北電力大學(xué)(北京) 2017
[7]基于Node.js的基礎(chǔ)框架設(shè)計(jì)與實(shí)現(xiàn)[D]. 楊曉婷.北京郵電大學(xué) 2017
[8]基于SaltSatck的云數(shù)據(jù)庫(kù)高可用方案的設(shè)計(jì)與實(shí)現(xiàn)[D]. 徐濤.南京郵電大學(xué) 2016
[9]基于OpenStack的中小企業(yè)私有云構(gòu)建及高可用性研究[D]. 徐鵬.華東理工大學(xué) 2017
[10]基于OpenStack的虛擬機(jī)部署過程的研究與優(yōu)化[D]. 李璘.華北電力大學(xué)(北京) 2014



本文編號(hào)：3578405