本文關(guān)鍵詞：一種基于Spark在線Web服務(wù)的高效低延遲調(diào)度資源算法

  更多相關(guān)文章： Spark Web服務(wù) 資源監(jiān)視 資源調(diào)度

【摘要】：Spark作為流行的分布式數(shù)據(jù)處理框架,其資源的調(diào)度方式和資源的利用率直接關(guān)系到集群計(jì)算處理的效率和速度。針對Spark資源調(diào)度問題,在Spark自身考慮的資源因素內(nèi)存和空余核數(shù)下,提出新的調(diào)度算法。算法通過實(shí)時監(jiān)視工作節(jié)點(diǎn)資源利用情況,增加對節(jié)點(diǎn)CPU處理速度和CPU剩余利用率的考慮,重新調(diào)度與分配資源,為Spark作為Web服務(wù)高并發(fā)請求、低延遲響應(yīng)提供優(yōu)化,還可以減少傳統(tǒng)方式?jīng)]有考慮的資源因素導(dǎo)致出現(xiàn)的資源利用傾斜現(xiàn)象,提高資源的利用率。實(shí)驗(yàn)表明,改進(jìn)的資源調(diào)度算法有較好的效果。
【作者單位】： 南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院;
【基金】：國家自然科學(xué)基金(61272420)
【分類號】：TP393.09
【正文快照】： 1引言隨著互聯(lián)網(wǎng)的快速發(fā)展,如何高效便捷地分析和處理爆炸性增長的數(shù)據(jù)已經(jīng)成為了當(dāng)前的研究熱點(diǎn)。通過對大量的用戶數(shù)據(jù)分析,企業(yè)可以得到改進(jìn)和提高自身服務(wù)的信息。人工智能、機(jī)器學(xué)習(xí)隨著大數(shù)據(jù)高效的計(jì)算得到了快速發(fā)展。推薦系統(tǒng)、文本識別、情感分析等應(yīng)用都是基于對

【參考文獻(xiàn)】

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 梁慶中;混合云平臺上多目標(biāo)任務(wù)調(diào)度算法研究[D];中國地質(zhì)大學(xué);2015年

2 史恒亮;云計(jì)算任務(wù)調(diào)度研究[D];南京理工大學(xué);2012年

3 馬丹;任務(wù)間相互依賴的并行作業(yè)調(diào)度算法研究[D];華中科技大學(xué);2007年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 馮琳;集群計(jì)算引擎Spark中的內(nèi)存優(yōu)化研究與實(shí)現(xiàn)[D];清華大學(xué);2013年

【共引文獻(xiàn)】

中國博士學(xué)位論文全文數(shù)據(jù)庫 前4條

1 顧濤;集群MapReduce環(huán)境中任務(wù)和作業(yè)調(diào)度若干關(guān)鍵問題的研究[D];南開大學(xué);2014年

2 韓海雯;MapReduce計(jì)算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學(xué);2013年

3 郭羽成;MPI高性能云計(jì)算平臺關(guān)鍵技術(shù)研究[D];武漢理工大學(xué);2013年

4 王少軍;時間序列預(yù)測的可重構(gòu)計(jì)算研究[D];哈爾濱工業(yè)大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前7條

1 包涵;基于Spark平臺的局部離群值挖掘算法研究[D];吉林大學(xué);2016年

2 秦雪;基于Spark的乘潮水位任務(wù)控制模式研究[D];中國海洋大學(xué);2015年

3 楊志偉;基于Spark平臺推薦系統(tǒng)研究[D];中國科學(xué)技術(shù)大學(xué);2015年

4 靳鳳營;基于云計(jì)算的土地利用矢量數(shù)據(jù)高效處理技術(shù)研究[D];浙江大學(xué);2015年

5 謝歡;大數(shù)據(jù)挖掘中的并行算法研究及應(yīng)用[D];電子科技大學(xué);2015年

6 馬越;Hadoop平臺下的海量小文件處理研究[D];南京郵電大學(xué);2015年

7 楊國棟;基于分布式并行聚類的SAR圖像變化檢測算法研究[D];西安電子科技大學(xué);2014年

【二級參考文獻(xiàn)】

中國博士學(xué)位論文全文數(shù)據(jù)庫 前7條

1 李健;云計(jì)算環(huán)境下最小化運(yùn)營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

2 宋滸;面向用戶服務(wù)需求的云計(jì)算管理機(jī)制研究[D];中國科學(xué)技術(shù)大學(xué);2013年

3 敬思遠(yuǎn);面向綠色虛擬數(shù)據(jù)中心資源管理的若干關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2013年

4 黃道超;智慧云網(wǎng)絡(luò)動態(tài)資源適配關(guān)鍵技術(shù)研究[D];北京交通大學(xué);2013年

5 劉曉茜;云計(jì)算數(shù)據(jù)中心結(jié)構(gòu)及其調(diào)度機(jī)制研究[D];中國科學(xué)技術(shù)大學(xué);2011年

6 羅會蘭;聚類集成關(guān)鍵技術(shù)研究[D];浙江大學(xué);2007年

7 孫小華;協(xié)同過濾系統(tǒng)的稀疏性與冷啟動問題研究[D];浙江大學(xué);2005年

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 周建濤;陸海燕;葉新銘;;面向資源調(diào)度的矩陣規(guī)范化方法研究[J];中山大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年01期

2 夏文明;李國富;;資源調(diào)度問題研究綜述[J];機(jī)電工程;2009年07期

3 林偉偉;齊德昱;;云計(jì)算資源調(diào)度研究綜述[J];計(jì)算機(jī)科學(xué);2012年10期

4 楊繼君;許維勝;黃武軍;吳啟迪;;基于多災(zāi)點(diǎn)非合作博弈的資源調(diào)度建模與仿真[J];計(jì)算機(jī)應(yīng)用;2008年06期

5 梁金華;;基于仿真網(wǎng)格平臺的資源調(diào)度算法模擬[J];科技信息;2010年18期

6 薛玉;;云計(jì)算環(huán)境下的資源調(diào)度優(yōu)化模型研究[J];計(jì)算機(jī)仿真;2013年05期

7 羅丹;;云計(jì)算資源調(diào)度算法仿真[J];計(jì)算機(jī)仿真;2013年07期

8 謝斌;林華;;聯(lián)合戰(zhàn)場資源調(diào)度問題綜述[J];艦船電子工程;2013年10期

9 林永毅,張智江,廖黛麗,倪凌;電信傳輸資源及調(diào)度一體化管理的研究與實(shí)現(xiàn)[J];電信科學(xué);2002年10期

10 吉軍;蔚承建;陳勝峰;陳旭;;分散式多工廠資源調(diào)度中的一種理性策略[J];計(jì)算機(jī)應(yīng)用;2010年11期

中國重要會議論文全文數(shù)據(jù)庫 前3條

1 曹東旭;劉明陽;;基于馬爾科夫決策鏈的作戰(zhàn)資源調(diào)度[A];2014第二屆中國指揮控制大會論文集（上）[C];2014年

2 王兵;賈利民;龍慧;郭杜杜;馬玉春;;新疆公路網(wǎng)交通事故應(yīng)急救援資源調(diào)度系統(tǒng)設(shè)計(jì)及應(yīng)用[A];第七屆中國智能交通年會優(yōu)秀論文集——智能交通應(yīng)用[C];2012年

3 叢慧芳;王文生;謝能付;;農(nóng)業(yè)信息網(wǎng)格環(huán)境中數(shù)據(jù)傳輸資源調(diào)度方法研究[A];中國農(nóng)業(yè)信息科技創(chuàng)新與學(xué)科發(fā)展大會論文匯編[C];2007年

中國重要報(bào)紙全文數(shù)據(jù)庫 前1條

1 本報(bào)記者 吳挺;云計(jì)算的管理需求顯現(xiàn)[N];計(jì)算機(jī)世界;2009年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 王小樂;信息物理融合系統(tǒng)資源調(diào)度關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2014年

2 吳曉民;能量捕獲驅(qū)動的異構(gòu)網(wǎng)絡(luò)資源調(diào)度與優(yōu)化研究[D];中國科學(xué)技術(shù)大學(xué);2016年

3 朱銳意;LTE系統(tǒng)資源動態(tài)分配算法研究[D];中國科學(xué)技術(shù)大學(xué);2016年

4 王力;鐵路集裝箱中心站關(guān)鍵資源調(diào)度優(yōu)化理論與方法[D];北京交通大學(xué);2014年

5 馬滿福;基于計(jì)算經(jīng)濟(jì)的網(wǎng)格資源管理研究[D];西北工業(yè)大學(xué);2007年

6 冉泳屹;云環(huán)境下基于隨機(jī)優(yōu)化的動態(tài)資源調(diào)度研究[D];中國科學(xué)技術(shù)大學(xué);2015年

7 徐昕;基于博弈論的云計(jì)算資源調(diào)度方法研究[D];華東理工大學(xué);2015年

8 徐勁松;SLA約束下的云資源調(diào)度關(guān)鍵技術(shù)研究[D];南京郵電大學(xué);2013年

9 張靜樂;網(wǎng)絡(luò)環(huán)境下協(xié)同服務(wù)關(guān)鍵技術(shù)研究[D];北京科技大學(xué);2011年

10 田國忠;多DAG共享資源調(diào)度的若干問題研究[D];北京工業(yè)大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 王艷平;基于蟻群算法的云計(jì)算資源調(diào)度研究[D];曲阜師范大學(xué);2015年

2 何蘭蘭;云環(huán)境下基于SLA的優(yōu)化資源管理機(jī)制研究[D];江西理工大學(xué);2015年

3 張揚(yáng);基于QPSO-SFLA改進(jìn)算法的云環(huán)境資源調(diào)度研究[D];江西理工大學(xué);2014年

4 楊南;藏文輿情云分析平臺資源調(diào)度優(yōu)化研究[D];西北民族大學(xué);2015年

5 李超;基于改進(jìn)粒子群算法的云計(jì)算資源調(diào)度研究[D];中國礦業(yè)大學(xué);2015年

6 郭慶光;基于協(xié)同演化算法的云計(jì)算資源調(diào)度的研究[D];電子科技大學(xué);2014年

7 陳強(qiáng);載波聚合下的資源調(diào)度研究[D];電子科技大學(xué);2014年

8 梁俊杰;基于應(yīng)用容器的云資源調(diào)度研究與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

9 趙穎;Hadoop環(huán)境下的動態(tài)資源管理研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

10 徐政;基于QoS的LTE資源調(diào)度策略研究[D];南京郵電大學(xué);2015年

，

本文編號：1241249