本文選題：集群管理　切入點：時間片　出處：《太原理工大學》2012年碩士論文

【摘要】：集群就是一組計算機或者工作站以特定的方式連結(jié)起來,它們作為一個整體向用戶提供一組網(wǎng)絡資源和計算資源。通過集群系統(tǒng),可以獲得接近于超級并行計算機的計算能力和處理能力。隨著分布式技術(shù)和并行計算的快速發(fā)展,用戶對集群系統(tǒng)的需求日益增長。集群系統(tǒng)提供強大計算能力的同時,面對結(jié)構(gòu)復雜、節(jié)點繁多的實際狀況,其系統(tǒng)管理是一個值得深入研究的領域。 本文研究的主要內(nèi)容為日本富士通公司的超級集群系統(tǒng)設計實現(xiàn)的一個作業(yè)文件傳輸調(diào)度器。調(diào)度器主要完成作業(yè)運行所需文件傳輸調(diào)度優(yōu)化任務,以保證系統(tǒng)穩(wěn)定、資源負載平衡、作業(yè)按時執(zhí)行的情況下,且使得作業(yè)依賴文件傳輸?shù)臅r間最短,為作業(yè)高效執(zhí)行提供強大的支撐。 論文通過對當前集群環(huán)境下文件傳輸方案的研究和分析,并結(jié)合實際的集群架構(gòu),提出了文件分時間段傳輸優(yōu)化算法,并設計實現(xiàn)了集群系統(tǒng)模擬實驗。模擬系統(tǒng)包含三大模塊,即主控制模塊、通信接口模塊和文件傳輸調(diào)度器模塊。在主控制模塊中,實現(xiàn)了客戶端管理、節(jié)點的管理、用戶提交作業(yè)的管理以及對集群系統(tǒng)中作業(yè)的監(jiān)控和調(diào)度功能；在接口模塊中,主要實現(xiàn)了系統(tǒng)控制、共享內(nèi)存管理以及實現(xiàn)兩個模塊之間的數(shù)據(jù)通信功能；在文件分段傳輸調(diào)度模塊中,實現(xiàn)了作業(yè)依賴文件分段傳輸?shù)墓芾砗驼{(diào)度。調(diào)度算法在采用經(jīng)典調(diào)度算法的同時,實時地根據(jù)作業(yè)請求信息,引入時間片機制,通過各個節(jié)點之間占用時間片的時間值的比較,得出可以最早時間內(nèi)完成傳輸任務的調(diào)度方案。另外,通過編程還實現(xiàn)了進程間的數(shù)據(jù)通信,利用互斥鎖機制保障了進程間數(shù)據(jù)同步與安全性。最后通過一些典型的用例測試,表明計算方法正確,調(diào)度結(jié)果符合預期目標,實現(xiàn)了對傳輸時間最短的優(yōu)化目標,為作業(yè)高效執(zhí)行提供了良好的決策支持。
[Abstract]:A cluster is a group of computers or workstations that are connected in a specific way, providing users with a set of network and computing resources as a whole. With the rapid development of distributed technology and parallel computing, users' demand for cluster system is increasing day by day. Cluster system provides powerful computing power at the same time. In the face of complicated structure and numerous nodes, its system management is a field worthy of further study. The main content of this paper is a job file transfer scheduler designed and implemented by Fujitsu Corporation of Japan. The scheduler mainly completes the optimization task of file transfer scheduling needed for job operation, in order to ensure the stability of the system. Resource load balance, job execution on time, and the shortest time for the job to rely on file transfer, provide a strong support for the efficient execution of the job. Through the research and analysis of the file transfer scheme in the current cluster environment, and combining with the actual cluster architecture, the paper puts forward the optimization algorithm of file transmission in different time periods. The simulation system consists of three modules: the main control module, the communication interface module and the file transfer scheduler module. In the main control module, the client management and node management are realized. In the interface module, the functions of system control, shared memory management and data communication between the two modules are realized. In the file segment transfer scheduling module, the management and scheduling of the job dependent file segment transmission are realized. The scheduling algorithm adopts the classical scheduling algorithm and introduces the time slice mechanism according to the job request information in real time. Through the comparison of the time values of each node occupying the time slice, the scheduling scheme which can complete the transmission task in the earliest time is obtained. In addition, the inter-process data communication is realized by programming. The mutual exclusion mechanism is used to guarantee the synchronization and security of inter-process data. Finally, some typical use case tests show that the calculation method is correct, the scheduling result is in line with the expected goal, and the optimal target of the shortest transmission time is achieved. It provides good decision support for job efficient execution.
【學位授予單位】：太原理工大學
【學位級別】：碩士
【學位授予年份】：2012
【分類號】：TP338

【參考文獻】

相關期刊論文 前10條

1 王瑩,屈一新;PC集群的建立與MPI并行環(huán)境的實現(xiàn)及其應用[J];北京化工大學學報(自然科學版);2001年04期

2 胡章平;;集群系統(tǒng)與分布式計算[J];電腦知識與技術(shù);2006年05期

3 李柳,吳麗娟,王占軍;分布式FTP系統(tǒng)的設計與實現(xiàn)[J];遼寧工程技術(shù)大學學報;2005年02期

4 魏文國,謝贊福;Linux集群系統(tǒng)技術(shù)研究[J];廣東技術(shù)師范學院學報;2003年06期

5 宋安軍,彭勤科,胡保生;并行計算模型在集群環(huán)境下的適應性[J];計算機工程;2003年18期

6 任彥琦,彭勤科,胡保生;一種基于內(nèi)容的Web集群服務器負載均衡算法[J];計算機工程;2005年02期

7 羅紅,慕德俊,鄧智群,王曉東;網(wǎng)格計算中任務調(diào)度研究綜述[J];計算機應用研究;2005年05期

8 李敏;張宜生;李德群;;用于并行計算的PC集群系統(tǒng)構(gòu)建[J];計算機應用研究;2009年03期

9 謝茗濤;拓林思在國內(nèi)推出linux集群服務器[J];計算機與網(wǎng)絡;2000年01期

10 許宏,蔡瑞英;PC集群技術(shù)與并行計算[J];南京化工大學學報(自然科學版);2001年05期

相關碩士學位論文 前1條

1 王春娟;基于Linux集群負載均衡算法的分析與研究[D];西安建筑科技大學;2009年

，

本文編號：1690020