隨著集群規(guī)模的逐漸擴大和性能的日益提高,集群調度技術作為集群的關鍵技術也成為研究的難點和熱點。粒子群優(yōu)化算法(Particle Swarm Optimization, PSO)具有并行性、有效的全局/局部搜索平衡能力、計算簡單、魯棒性好等優(yōu)點,將粒子群優(yōu)化算法的引入集群調度中,具有很高的學術價值和實際意義。 本文搭建了一個基于Linux + MPI的松耦合PC集群,在集群網絡存儲節(jié)點間建立RAID5數據冗余關系,來提高數據傳輸速率和系統(tǒng)吞吐量,實現了邏輯盤卷管理(LVM),提高集群系統(tǒng)磁盤分區(qū)管理的靈活性,降低節(jié)點/磁盤的平均失效時間的同時提高了系統(tǒng)的重構速率,增強了整個集群系統(tǒng)的安全性和可靠性。 設計并實現了基于PSO算法的調度策略,包括編碼方式的設計、選擇速度-位置模型、確定集群調度問題的適應度函數和約束條件、確定算法的終止準則、設計粒子解碼方式并生成調度方案。并根據調度策略中負載均衡的要求以及粒子群算法中慣性權重的研究,提出均衡因子Ti為每個節(jié)點的負載完成率的倒數,通過把各資源的負載完成率的差值控制在一個較小的閾值之內,以動態(tài)調整慣性權重來保證負載均衡。 通過實驗得出了最佳的ω、v_(max)、ε、m取值,由于PSO算法比較出色的性能,使得集群調度策略在生成速度和精度上都有明顯的提高,添加均衡因子的調度策略由于充分考慮到集群系統(tǒng)在執(zhí)行過程中的動態(tài)負載情況,使得集群的總體執(zhí)行時間(最優(yōu)值)更小。 對最終調度結果、集群各節(jié)點的平均響應時間和CPU平均利用率進行測試和評價,通過與FCFS、Backfill的對比,基于PSO算法調度結果的效果是非常明顯的,大大縮短了集群系統(tǒng)的處理周期,為實際的生產過程節(jié)約了大量的時間和成本。加入均衡因子后,更加平衡了系統(tǒng)高利用率和短作業(yè)等待時間之間的矛盾。
【學位授予單位】:中國石油大學
【學位級別】:碩士
【學位授予年份】:2011
【分類號】:TP338
文章目錄
摘要
Abstract
第一章 緒論
1.1 課題的背景和意義
1.2 國內外研究現狀
1.2.1 現有的調度策略分析
1.2.2 負載均衡調度策略分析
1.3 課題的主要研究內容
1.4 章節(jié)安排
第二章 集群及資源管理系統(tǒng)
2.1 集群體系結構和特點
2.2 集群的分類
2.3 集群的關鍵技術
2.4 集群資源管理系統(tǒng)介紹
2.4.1 Condor
2.4.2 Load Leveler
2.4.3 LSF
2.4.4 PBS
2.4.5 曙光3000 的JOSS 集群作業(yè)管理系統(tǒng)
2.5 PBS 作業(yè)調度機制
2.6 本章小結
第三章 集群調度策略
3.1 集群作業(yè)調度的模型及原理
3.2 現有調度策略分析
3.3 調度策略中的負載均衡
3.4 負載均衡調度策略分析
3.5 存在的問題
3.6 本章小結
第四章 基于粒子群優(yōu)化算法的集群調度策略的設計與實現
4.1 粒子群優(yōu)化算法原理
4.1.1 基本的粒子群優(yōu)化算法
4.1.2 粒子群優(yōu)化算法模型的改進
4.2 粒子群優(yōu)化算法的優(yōu)點和應用
4.3 粒子群優(yōu)化算法的設計步驟和算法流程
4.4 基于PSO 算法的調度策略的設計與實現
4.4.1 粒子的編碼方式
4.4.2 適應度函數的確定
4.4.3 選擇粒子群速度-位置模型
4.4.4 確定算法的終止準則
4.4.5 生成粒子解碼和調度方案
4.4.6 算法描述
4.4.7 生成調度方案
4.5 均衡因子的添加
4.6 本章小結
第五章 實驗驗證與結果分析
5.1 PC 集群的構建與測試
5.1.1 集群硬件環(huán)境
5.1.2 安裝MPICH
5.1.3 配置MPICH
5.2 集群存儲系統(tǒng)RAID
5.2.1 集群存儲系統(tǒng)
5.2.2 RAID 技術的工作原理及特點
5.3 RAID5 原理及配置
5.3.1 RAID5 技術原理
5.3.2 設置RAID 5
5.3.3 配置熱備(Hot spare)
5.4 邏輯盤卷管理(LVM)
5.4.1 LVM 基本術語
5.4.2 LVM 工具的安裝
5.5 集群RAID5 存儲系統(tǒng)可靠性分析
5.6 實驗環(huán)境的搭建
5.6.1 PBS 的配置
5.6.2 PBS 的測試
5.7 實驗結果分析
5.7.1 最優(yōu)慣性權值和飛行速度的測試
5.7.2 優(yōu)化結果與均衡因子閾值的關系
5.7.3 調度策略生成測試與評價
5.7.4 調度結果的測試與分析
5.8 本章小結
總結和展望
參考文獻
攻讀碩士學位期間取得的學術成果
致謝
【相似文獻】
相關期刊論文 前10條
1 楊曉慶;左為恒;李昌春;;基于K-Means變異算子的混合PSO算法聚類研究[J];微電子學與計算機;2011年07期
2 屈敏;高岳林;江巧永;;基于Pareto鄰域交叉算子的多目標粒子群優(yōu)化算法[J];計算機應用;2011年07期
3 段其昌;黃大偉;雷蕾;段盼;;帶擴展記憶的粒子群優(yōu)化算法仿真分析[J];控制與決策;2011年07期
4 孫鋒利;何明一;高全華;;一種引入密度因子的改進粒子群優(yōu)化算法[J];計算機應用研究;2011年08期
5 李龍星;余炳輝;;用整體分布優(yōu)化算法求解水火電力系統(tǒng)短期優(yōu)化調度[J];計算機應用與軟件;2011年07期
6 徐星;吳昱;李元香;;基于布朗運動的改進粒子群優(yōu)化算法[J];計算機應用研究;2011年07期
7 李蕊;雷群泌;;一種面向汽車系統(tǒng)可靠性優(yōu)化的任務分配方法[J];計算機應用研究;2011年07期
8 楊華;周銳;;基于熵值法的PSOBP神經網絡私家車保有量的預測[J];電腦知識與技術;2011年19期
9 王喜賓;張小平;王翰虎;孫興;;基于支持向量機的農業(yè)科技項目分類研究[J];貴州大學學報(自然科學版);2011年03期
10 余永紅;馮斌;孫俊;;生化途徑參數估計的QPSO-MGbest算法[J];計算機工程與應用;2011年20期
相關博士學位論文 前10條
1 戴運桃;粒子群優(yōu)化算法研究及其在船舶運動參數辨識中的應用[D];哈爾濱工程大學;2010年
2 劉波;粒子群優(yōu)化算法及其在機電設備中的應用研究[D];中北大學;2011年
3 傅陽光;粒子群優(yōu)化算法的改進及其在航跡規(guī)劃中的應用研究[D];華中科技大學;2011年
4 劉華鎣;粒子群優(yōu)化算法的改進研究及在石油工程中的應用[D];東北石油大學;2012年
5 徐星;融合熱運動機制的粒子群優(yōu)化算法研究及其應用[D];武漢大學;2010年
6 王大志;面向實際工程問題的粒子群優(yōu)化算法應用技術的研究[D];東北大學;2009年
7 徐文星;混沌粒子群優(yōu)化算法及應用研究[D];北京化工大學;2012年
8 李丹;粒子群優(yōu)化算法及其應用研究[D];東北大學;2007年
9 張瑋;粒子群優(yōu)化算法研究及在陣列天線中的應用[D];太原理工大學;2010年
10 王維博;粒子群優(yōu)化算法研究及其應用[D];西南交通大學;2012年
相關碩士學位論文 前10條
1 王婧;基于粒子群優(yōu)化算法的集群調度策略研究[D];中國石油大學;2011年
2 孫晶晶;粒子群優(yōu)化算法的改進及其應用研究[D];陜西師范大學;2010年
3 張新娟;改進粒子群優(yōu)化算法及其在圖像分割中的應用[D];陜西師范大學;2011年
4 劉煌;基于GA的改進粒子群算法研究及其在TSP上的應用[D];武漢理工大學;2010年
5 苗愛敏;基于動態(tài)特征的粒子群優(yōu)化算法研究[D];云南大學;2010年
6 楊洋;基于粒子群優(yōu)化算法的準循環(huán)LDPC碼構造[D];北京交通大學;2011年
7 沈錫;基于粒子群優(yōu)化算法的船舶航向PID控制[D];大連海事大學;2011年
8 劉現;蛋白質結構預測的粒子群優(yōu)化算法研究[D];福建農林大學;2011年
9 王瑩;基于粒子群優(yōu)化算法的無功優(yōu)化及規(guī)劃[D];天津大學;2005年
10 馬艷偉;基于粒子群優(yōu)化的異構多處理器任務調度算法研究應用[D];杭州電子科技大學;2010年
本文編號:
2723237
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2723237.html