【摘要】：計算機集群作為分布式系統(tǒng)的一個重要分類,被廣泛應(yīng)用于高性能和高吞吐量計算系統(tǒng),自上世紀(jì)九十年代以來,集群計算一直是計算機科學(xué)的研究熱點。在集群環(huán)境下,負(fù)載均衡技術(shù)在提高系統(tǒng)并行計算能力和資源利用率方面起著關(guān)鍵性的作用,優(yōu)秀的負(fù)載均衡算法可以有效的管理并調(diào)度系統(tǒng)資源,避免資源利用不均衡而導(dǎo)致系統(tǒng)整體性能下降的情況。印刷作業(yè)包含大量計算密集型操作,采用經(jīng)典的三層體系結(jié)構(gòu)~([1])的分布式包裝布局自動化系統(tǒng)PLA1.0(Packaging Layout Automation)存在作業(yè)丟失、內(nèi)存溢出、響應(yīng)時間長和系統(tǒng)吞吐量差等性能缺陷。針對這些問題,本論文提出采用基于動態(tài)負(fù)載均衡~([2])的計算機集群架構(gòu)重構(gòu)PLA1.0,從作業(yè)級并行的角度,提高系統(tǒng)的吞吐量,并使系統(tǒng)具有更好的可用性、伸縮性和擴展性。同時采用線程池~([3])、并行計算~([4])、緩存、異步、虛擬化等系統(tǒng)優(yōu)化策略,解決系統(tǒng)存在的性能問題。論文首先介紹選題背景以及計算機集群~([5])和負(fù)載均衡與作業(yè)調(diào)度系統(tǒng)的基本概念,并重點論述負(fù)載均衡與作業(yè)調(diào)度系統(tǒng)的相關(guān)技術(shù),在此基礎(chǔ)上,設(shè)計并實現(xiàn)PLA2.0。具體而言,有以下幾個方面:1.詳細(xì)論述PLA1.0的系統(tǒng)結(jié)構(gòu)和作業(yè)處理流程,并分析其性能缺陷,提出PLA2.0的功能和性能需求以及設(shè)計方案。2.詳細(xì)論述負(fù)載均衡與作業(yè)調(diào)度系統(tǒng)的基本需求、設(shè)計思路、通信模型、計算服務(wù)器管理、作業(yè)調(diào)度、作業(yè)狀態(tài)管理等內(nèi)容,設(shè)計并實現(xiàn)具有交互功能的作業(yè)調(diào)度子系統(tǒng)PLA Dispatcher;并采用故障轉(zhuǎn)移、心跳檢測、超時處理、冗余備份與恢復(fù)、守護進程、版本校驗等技術(shù)加強系統(tǒng)可靠性;同時針對集群架構(gòu)所帶來的系統(tǒng)部署復(fù)雜度增加的問題,實現(xiàn)自動更新功能,使得系統(tǒng)更易于快速部署和維護。3.深入研究負(fù)載均衡和作業(yè)調(diào)度算法~([1,5,6,7,8]),根據(jù)項目數(shù)據(jù)和作業(yè)的特征,實現(xiàn)一種適合于當(dāng)前系統(tǒng)的動態(tài)負(fù)載均衡與作業(yè)調(diào)度算法。本論文詳細(xì)論述算法思想、流程圖以及偽代碼。4.深入分析作業(yè)丟失的原因,采用更合理的系統(tǒng)分層和功能分割,重新設(shè)計并實現(xiàn)檢驗?zāi)K、通信模塊和數(shù)據(jù)庫管理模塊,解決作業(yè)丟失問題。5.集群架構(gòu)有效的解決了作業(yè)的并行,提高了系統(tǒng)吞吐量,但是不能有效的解決單作業(yè)處理時間長和內(nèi)存溢出的問題。為此,本文采用線程池、并行計算、緩存、異步、虛擬化等系統(tǒng)優(yōu)化策略及優(yōu)雅的內(nèi)存管理技術(shù),解決PLA1.0存在的內(nèi)存溢出和單作業(yè)處理時間長的問題。6.簡要介紹計算服務(wù)器集群的設(shè)計思路和作業(yè)處理流程,概括性的介紹客戶端、通信服務(wù)器和工作流模塊。最后,本文描述了負(fù)載均衡與作業(yè)調(diào)度系統(tǒng)的功能測試并詳細(xì)論述了系統(tǒng)性能測試,從內(nèi)存使用量、響應(yīng)時間~([6])和系統(tǒng)吞吐量三個方面對PLA1.0和PLA2.0的測試結(jié)果進行分析和比較。性能測試結(jié)果表明,PLA2.0的平均吞吐量是PLA1.0的2.45倍并且沒有任何作業(yè)丟失,系統(tǒng)最大加速比達到6.03;在內(nèi)存管理方面,PLA2.0沒有內(nèi)存溢出和泄漏問題,對于PLA1.0不能處理的作業(yè),相比較而言,PLA2.0只用了15%的內(nèi)存量,且保持穩(wěn)定和可靠運行�？傮w而言,本文所論述的基于動態(tài)負(fù)載均衡的計算機集群系統(tǒng)PLA2.0作業(yè)分配穩(wěn)定,資源利用率、內(nèi)存管理、作業(yè)處理速度等各方面都達到甚至超出了設(shè)計要求,實現(xiàn)了系統(tǒng)高性能、高可用、易擴展、可伸縮的目的。目前系統(tǒng)已經(jīng)投入使用并且穩(wěn)定運行,該解決方案也已經(jīng)推廣到其它產(chǎn)品線。
【圖文】：

圖 2-1 分布式系統(tǒng)中軟件和硬件服務(wù)層[1]Fig. 2-1 Software and Hardware service layers in distributed system[1]次化體系結(jié)構(gòu)體系結(jié)構(gòu)是分層體系結(jié)構(gòu)的補充[1] 分層將服務(wù)垂直組織成根據(jù)功能把服務(wù)分為不同的層次，如下圖 2-2 所示，每一層負(fù)具體化和細(xì)致化 通常意義上的三層架構(gòu)(3-tier architecture物理上的三層或三臺機器，將整個業(yè)務(wù)應(yīng)用劃分為：表示邏據(jù)邏輯

圖 2-1 分布式系統(tǒng)中軟件和硬件服務(wù)層[1]Fig. 2-1 Software and Hardware service layers in distributed system[1]層次化體系結(jié)構(gòu)化體系結(jié)構(gòu)是分層體系結(jié)構(gòu)的補充[1] 分層將服務(wù)垂直組織成化根據(jù)功能把服務(wù)分為不同的層次，如下圖 2-2 所示，每一層負(fù)于具體化和細(xì)致化 通常意義上的三層架構(gòu)(3-tier architecture) 指物理上的三層或三臺機器，將整個業(yè)務(wù)應(yīng)用劃分為：表示邏數(shù)據(jù)邏輯
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP302

【參考文獻】

相關(guān)期刊論文 前3條

1 張嗜軍;高曙;;一種改進的增量式JVM垃圾收集算法[J];計算機工程;2012年01期

2 呂愛民,何欽銘;Java虛擬機垃圾收集器的性能分析與調(diào)節(jié)[J];計算機應(yīng)用與軟件;2004年10期

3 蔣江,張民選,廖湘科;基于多種資源的負(fù)載平衡算法的研究[J];電子學(xué)報;2002年08期

相關(guān)碩士學(xué)位論文 前2條

1 朱晨晨;基于優(yōu)化負(fù)載均衡算法的任務(wù)調(diào)度系統(tǒng)的研究與實現(xiàn)[D];電子科技大學(xué);2014年

2 碩s，

本文編號：2689006