面向服務(wù)的云仿真平臺資源調(diào)度管理
發(fā)布時(shí)間:2021-10-12 17:23
傳統(tǒng)單機(jī)仿真平臺缺乏統(tǒng)一的資源管理,對單機(jī)系統(tǒng)要求較高,復(fù)雜仿真過程中生成的海量數(shù)據(jù),如仿真中間數(shù)據(jù),不能進(jìn)行集中有效管理,而這些仿真數(shù)據(jù)對于產(chǎn)品研發(fā)是非常寶貴的參考資料。本文把云計(jì)算技術(shù)和仿真設(shè)計(jì)、仿真計(jì)算以及數(shù)據(jù)管理相結(jié)合,打通計(jì)算層、存儲層以及調(diào)度層的數(shù)據(jù)接口,整合現(xiàn)有軟硬件資源,提供統(tǒng)一的資源的調(diào)度和管理機(jī)制,實(shí)現(xiàn)設(shè)計(jì)經(jīng)驗(yàn)的規(guī)范化保存和資源的統(tǒng)一管理。本文主要研究內(nèi)容如下:1.云仿真平臺架構(gòu)設(shè)計(jì)。實(shí)現(xiàn)了基于云的、開放、共享的網(wǎng)絡(luò)協(xié)同仿真服務(wù)平臺架構(gòu)構(gòu)設(shè)計(jì),支持多用戶同時(shí)使用云仿真平臺進(jìn)行不同任務(wù)的仿真建模與演示,實(shí)現(xiàn)了開源仿真系統(tǒng)Scilab/Xcos的云化管理。2.云仿真平臺數(shù)據(jù)資源管理。針對云仿真平臺在高并發(fā)情況下讀寫鎖競爭嚴(yán)重,導(dǎo)致云仿真平臺服務(wù)質(zhì)量下降的問題,基于改進(jìn)后的CAS算法將云仿真平臺數(shù)據(jù)層鎖機(jī)制由悲觀鎖優(yōu)化為樂觀鎖,降低了高并發(fā)場景下云仿真平臺數(shù)據(jù)層鎖競爭,同時(shí)改進(jìn)了云平臺讀流程,實(shí)現(xiàn)了網(wǎng)絡(luò)讀,短路讀和文件零拷貝讀的層次讀取,有效提高了數(shù)據(jù)讀取效率。3.云仿真平臺計(jì)算資源管理調(diào)度;谶h(yuǎn)程直接數(shù)據(jù)存取技術(shù)改進(jìn)了云仿真平臺跨界點(diǎn)計(jì)算的資源調(diào)度機(jī)制,有效緩解了云仿...
【文章來源】:中北大學(xué)山西省
【文章頁數(shù)】:66 頁
【學(xué)位級別】:碩士
【部分圖文】:
云平臺總體設(shè)計(jì)圖
中北大學(xué)學(xué)位論文92.3.2客戶端客戶端仿真工具采用開源的仿真工具Scilab,Scilab的核心架構(gòu)是模塊化仿真,每一類功能或者任務(wù)都可以分為一個個單獨(dú)功能包(module)。每個功能包都執(zhí)行各自對應(yīng)的功能和任務(wù),相互盡量不影響,以使得功能包之間相互的耦合性降到最低。如圖2-4所示是SiROS基礎(chǔ)系統(tǒng)的界面。圖2-4SiROS基礎(chǔ)系統(tǒng)界面Fig2-4Simulationdeductionsysteminterface2.3.3接口層設(shè)計(jì)云仿真平臺采用了以資源為中心,以面向服務(wù)為架構(gòu)。接口層提供標(biāo)準(zhǔn)化RESTful的數(shù)據(jù)服務(wù)接口。RESTfulAPI是目前比較成熟的一套互聯(lián)網(wǎng)應(yīng)用程序的API設(shè)計(jì)理論。標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù)接口遵循RESTfulAPI開發(fā)規(guī)范將具備如下優(yōu)點(diǎn):(1)接口URL具有很強(qiáng)可讀性的,具有自描述性,方便查看及調(diào)用。(2)便于文檔化和描述RESTfulAPI,減輕閱讀接口文檔的工作量,提高互操作性;(3)提供無狀態(tài)服務(wù)接口,提高了應(yīng)用程序水平擴(kuò)展性。
中北大學(xué)學(xué)位論文10如圖2-5所示,云仿真平臺接口層接收客戶端仿真工具服務(wù)請求,通過負(fù)載均衡模塊將服務(wù)請求均衡的分發(fā)給服務(wù)網(wǎng)關(guān),服務(wù)網(wǎng)關(guān)選取相應(yīng)的數(shù)據(jù)服務(wù)。同時(shí),網(wǎng)絡(luò)接口層對云平臺進(jìn)行進(jìn)行鏈路跟蹤,集群監(jiān)控以及服務(wù)容錯保護(hù)。圖2-5接口層架構(gòu)圖Fig2-5Interfacelayerarchitecturediagram2.3.4計(jì)算層設(shè)計(jì)云仿真平臺計(jì)算層由平臺的基礎(chǔ)計(jì)算集群組成,采用Spark并行計(jì)算框架,以PaaS架構(gòu)形式向客戶端提供基礎(chǔ)計(jì)算服務(wù)。Spark是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎。Spark使用了內(nèi)存分布數(shù)據(jù)集,除了能夠提供交互式查詢外,它還可以優(yōu)化迭代工作負(fù)載。其部署模式主要有三種[20](1)本地模式Local[N]模式。用單機(jī)的多個線程來模擬Spark分布式計(jì)算,直接運(yùn)行在本地,便于調(diào)試。(2)Standalone模式。獨(dú)立模式,自帶完整的服務(wù),可單獨(dú)部署到一個集群中,無需依賴任何其他資源管理系統(tǒng)。。(3)SparkOnYarn模式。SparkonYarn支持兩種模式:客戶端和集群模式。1)客戶端模式
【參考文獻(xiàn)】:
期刊論文
[1]一種跨HDFS集群的文件資源分布式高效存儲方法[J]. 戴威. 電子設(shè)計(jì)工程. 2019(21)
[2]蟻群優(yōu)化算法的Docker集群調(diào)度策略[J]. 李東光,劉智平,姜雨菲. 西安工業(yè)大學(xué)學(xué)報(bào). 2019(03)
[3]基于云平臺的大壩安全監(jiān)測數(shù)據(jù)管理及分析系統(tǒng)研發(fā)與應(yīng)用[J]. 牛廣利,李端有,李天旸,何亮. 長江科學(xué)院院報(bào). 2019(06)
[4]一種HDFS元數(shù)據(jù)分級存儲策略[J]. 馬東,邵維專. 現(xiàn)代計(jì)算機(jī)(專業(yè)版). 2018(08)
[5]NV-Shuffle:基于非易失內(nèi)存的Shuffle機(jī)制[J]. 潘鋒烽,熊勁. 計(jì)算機(jī)研究與發(fā)展. 2018(02)
[6]Spark內(nèi)存管理及緩存策略研究[J]. 孟紅濤,余松平,劉芳,肖儂. 計(jì)算機(jī)科學(xué). 2017(06)
[7]云計(jì)算環(huán)境下的資源調(diào)度和優(yōu)化方法[J]. 陳文慶,程雪穎. 激光雜志. 2016(06)
[8]基于云仿真平臺的高可用技術(shù)研究[J]. 周利敏,傅妍芳,高武奇,高祥,程兵. 系統(tǒng)仿真學(xué)報(bào). 2015(04)
[9]基于hadoop云平臺的智能電網(wǎng)HDFS資源存儲技術(shù)研究[J]. 孟祥萍,周來. 電測與儀表. 2014(19)
[10]基于云計(jì)算的電子政務(wù)大數(shù)據(jù)管理研究[J]. 迪莉婭. 圖書館理論與實(shí)踐. 2013(12)
碩士論文
[1]基于HBase的高效數(shù)據(jù)存取平臺的設(shè)計(jì)與實(shí)現(xiàn)[D]. 張祎.北京郵電大學(xué) 2018
[2]Spark數(shù)據(jù)處理平臺中內(nèi)存數(shù)據(jù)空間管理技術(shù)研究[D]. 王海華.北京工業(yè)大學(xué) 2016
本文編號:3432999
【文章來源】:中北大學(xué)山西省
【文章頁數(shù)】:66 頁
【學(xué)位級別】:碩士
【部分圖文】:
云平臺總體設(shè)計(jì)圖
中北大學(xué)學(xué)位論文92.3.2客戶端客戶端仿真工具采用開源的仿真工具Scilab,Scilab的核心架構(gòu)是模塊化仿真,每一類功能或者任務(wù)都可以分為一個個單獨(dú)功能包(module)。每個功能包都執(zhí)行各自對應(yīng)的功能和任務(wù),相互盡量不影響,以使得功能包之間相互的耦合性降到最低。如圖2-4所示是SiROS基礎(chǔ)系統(tǒng)的界面。圖2-4SiROS基礎(chǔ)系統(tǒng)界面Fig2-4Simulationdeductionsysteminterface2.3.3接口層設(shè)計(jì)云仿真平臺采用了以資源為中心,以面向服務(wù)為架構(gòu)。接口層提供標(biāo)準(zhǔn)化RESTful的數(shù)據(jù)服務(wù)接口。RESTfulAPI是目前比較成熟的一套互聯(lián)網(wǎng)應(yīng)用程序的API設(shè)計(jì)理論。標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù)接口遵循RESTfulAPI開發(fā)規(guī)范將具備如下優(yōu)點(diǎn):(1)接口URL具有很強(qiáng)可讀性的,具有自描述性,方便查看及調(diào)用。(2)便于文檔化和描述RESTfulAPI,減輕閱讀接口文檔的工作量,提高互操作性;(3)提供無狀態(tài)服務(wù)接口,提高了應(yīng)用程序水平擴(kuò)展性。
中北大學(xué)學(xué)位論文10如圖2-5所示,云仿真平臺接口層接收客戶端仿真工具服務(wù)請求,通過負(fù)載均衡模塊將服務(wù)請求均衡的分發(fā)給服務(wù)網(wǎng)關(guān),服務(wù)網(wǎng)關(guān)選取相應(yīng)的數(shù)據(jù)服務(wù)。同時(shí),網(wǎng)絡(luò)接口層對云平臺進(jìn)行進(jìn)行鏈路跟蹤,集群監(jiān)控以及服務(wù)容錯保護(hù)。圖2-5接口層架構(gòu)圖Fig2-5Interfacelayerarchitecturediagram2.3.4計(jì)算層設(shè)計(jì)云仿真平臺計(jì)算層由平臺的基礎(chǔ)計(jì)算集群組成,采用Spark并行計(jì)算框架,以PaaS架構(gòu)形式向客戶端提供基礎(chǔ)計(jì)算服務(wù)。Spark是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎。Spark使用了內(nèi)存分布數(shù)據(jù)集,除了能夠提供交互式查詢外,它還可以優(yōu)化迭代工作負(fù)載。其部署模式主要有三種[20](1)本地模式Local[N]模式。用單機(jī)的多個線程來模擬Spark分布式計(jì)算,直接運(yùn)行在本地,便于調(diào)試。(2)Standalone模式。獨(dú)立模式,自帶完整的服務(wù),可單獨(dú)部署到一個集群中,無需依賴任何其他資源管理系統(tǒng)。。(3)SparkOnYarn模式。SparkonYarn支持兩種模式:客戶端和集群模式。1)客戶端模式
【參考文獻(xiàn)】:
期刊論文
[1]一種跨HDFS集群的文件資源分布式高效存儲方法[J]. 戴威. 電子設(shè)計(jì)工程. 2019(21)
[2]蟻群優(yōu)化算法的Docker集群調(diào)度策略[J]. 李東光,劉智平,姜雨菲. 西安工業(yè)大學(xué)學(xué)報(bào). 2019(03)
[3]基于云平臺的大壩安全監(jiān)測數(shù)據(jù)管理及分析系統(tǒng)研發(fā)與應(yīng)用[J]. 牛廣利,李端有,李天旸,何亮. 長江科學(xué)院院報(bào). 2019(06)
[4]一種HDFS元數(shù)據(jù)分級存儲策略[J]. 馬東,邵維專. 現(xiàn)代計(jì)算機(jī)(專業(yè)版). 2018(08)
[5]NV-Shuffle:基于非易失內(nèi)存的Shuffle機(jī)制[J]. 潘鋒烽,熊勁. 計(jì)算機(jī)研究與發(fā)展. 2018(02)
[6]Spark內(nèi)存管理及緩存策略研究[J]. 孟紅濤,余松平,劉芳,肖儂. 計(jì)算機(jī)科學(xué). 2017(06)
[7]云計(jì)算環(huán)境下的資源調(diào)度和優(yōu)化方法[J]. 陳文慶,程雪穎. 激光雜志. 2016(06)
[8]基于云仿真平臺的高可用技術(shù)研究[J]. 周利敏,傅妍芳,高武奇,高祥,程兵. 系統(tǒng)仿真學(xué)報(bào). 2015(04)
[9]基于hadoop云平臺的智能電網(wǎng)HDFS資源存儲技術(shù)研究[J]. 孟祥萍,周來. 電測與儀表. 2014(19)
[10]基于云計(jì)算的電子政務(wù)大數(shù)據(jù)管理研究[J]. 迪莉婭. 圖書館理論與實(shí)踐. 2013(12)
碩士論文
[1]基于HBase的高效數(shù)據(jù)存取平臺的設(shè)計(jì)與實(shí)現(xiàn)[D]. 張祎.北京郵電大學(xué) 2018
[2]Spark數(shù)據(jù)處理平臺中內(nèi)存數(shù)據(jù)空間管理技術(shù)研究[D]. 王海華.北京工業(yè)大學(xué) 2016
本文編號:3432999
本文鏈接:http://sikaile.net/shoufeilunwen/xixikjs/3432999.html
最近更新
教材專著