本文選題：集群 + 監(jiān)控��； 參考：《電子科技大學(xué)》2012年碩士論文

【摘要】：目前，集群技術(shù)是當(dāng)今高性能計(jì)算系統(tǒng)的一個重要研究方向，集群系統(tǒng)以其高性價(jià)比、高擴(kuò)展性、高可用性的特點(diǎn)，迅速發(fā)展成為高性能計(jì)算的一個重要解決方案，在石油物探行業(yè)得到廣泛應(yīng)用。 本文所研究的是面向地震數(shù)據(jù)處理的應(yīng)用集群系統(tǒng)，，隨著該集群中節(jié)點(diǎn)的數(shù)目和提交運(yùn)行的作業(yè)數(shù)目越來越多，集群系統(tǒng)的監(jiān)控和管理成了一個重大問題。伴隨集群系統(tǒng)規(guī)模的不斷擴(kuò)大，系統(tǒng)發(fā)生故障的概率也隨之增長，加上地震數(shù)據(jù)處理作業(yè)往往數(shù)據(jù)量都很大，作業(yè)執(zhí)行時(shí)間也很長，如果發(fā)生故障造成作業(yè)運(yùn)行失敗，將會浪費(fèi)大量的系統(tǒng)計(jì)算資源和時(shí)間資源。因此研究該應(yīng)用集群系統(tǒng)的容錯技術(shù)具有十分重要的意義。 本文研究設(shè)計(jì)的集群監(jiān)控容錯系統(tǒng)是該地震數(shù)據(jù)處理應(yīng)用集群系統(tǒng)的重要支持系統(tǒng)，是專門針對地震數(shù)據(jù)處理特點(diǎn)開發(fā)的特殊輔助系統(tǒng)。針對上文提出的相關(guān)問題，本論文的主要工作包括： 第一，研究了現(xiàn)有的集群監(jiān)控系統(tǒng)，設(shè)計(jì)并實(shí)現(xiàn)了面向地震數(shù)據(jù)處理平臺集群系統(tǒng)的監(jiān)控模塊，完成了對整個應(yīng)用集群系統(tǒng)的監(jiān)控信息的采集、匯聚和顯示等應(yīng)用的具體實(shí)現(xiàn)。監(jiān)控模塊主要包括對集群節(jié)點(diǎn)信息和作業(yè)信息的監(jiān)控，為系統(tǒng)管理員和用戶進(jìn)行集群管理和監(jiān)控提供了方便。 第二，設(shè)計(jì)并實(shí)現(xiàn)了利用心跳包技術(shù)進(jìn)行節(jié)點(diǎn)故障檢測的集群系統(tǒng)容錯功能，并且針對該地震數(shù)據(jù)處理的具體應(yīng)用完成了節(jié)點(diǎn)故障后續(xù)處理的相關(guān)工作。該集群節(jié)點(diǎn)故障檢測和處理的功能為本文設(shè)計(jì)的利用應(yīng)用級作業(yè)檢查點(diǎn)實(shí)現(xiàn)作業(yè)故障容錯功能提供了基礎(chǔ)。 第三，在研究現(xiàn)有檢查點(diǎn)技術(shù)的基礎(chǔ)上，并且針對地震數(shù)據(jù)處理作業(yè)的特點(diǎn)和地震數(shù)據(jù)處理流程的特殊性，設(shè)計(jì)并實(shí)現(xiàn)了基于地震數(shù)據(jù)單元的應(yīng)用級作業(yè)檢查點(diǎn)設(shè)置與回卷恢復(fù)功能，該功能結(jié)合節(jié)點(diǎn)容錯功能，能夠?qū)崿F(xiàn)集群作業(yè)出現(xiàn)故障后的自動容錯。通過實(shí)驗(yàn)測試驗(yàn)證了該應(yīng)用級作業(yè)檢查點(diǎn)的可行性，提高了集群系統(tǒng)的可用性，能夠使作業(yè)在遇到故障時(shí)從檢查點(diǎn)開始繼續(xù)執(zhí)行作業(yè)，減少了作業(yè)重復(fù)執(zhí)行時(shí)間，避免了系統(tǒng)大量的計(jì)算資源和時(shí)間的浪費(fèi)。
[Abstract]:At present, cluster technology is an important research direction of high performance computing system. With its high performance and price ratio, high scalability and high availability, cluster system has rapidly developed into an important solution for high performance computing. It is widely used in petroleum geophysical exploration industry. In this paper, an application cluster system for seismic data processing is studied. With the increasing number of nodes and jobs submitted to run in the cluster, the monitoring and management of cluster system becomes an important problem. With the continuous expansion of cluster system scale, the probability of system failure also increases, plus seismic data processing jobs are often very large data, job execution time is also very long, if failure caused by job failure, Will waste a lot of system computing resources and time resources. Therefore, it is of great significance to study the fault-tolerant technology of this application cluster system. The cluster monitoring and fault tolerant system studied in this paper is an important support system for the seismic data processing application cluster system. It is a special auxiliary system specially developed for the characteristics of seismic data processing. The main work of this paper is as follows: firstly, the existing cluster monitoring system is studied, and the monitoring module for the cluster system of seismic data processing platform is designed and implemented. The collection, aggregation and display of the monitoring information of the whole application cluster system are realized. Monitoring module mainly includes monitoring of cluster node information and job information, which provides convenience for system administrator and user to manage and monitor cluster. Secondly, the fault-tolerant function of cluster system using heartbeat packet technology to detect node fault is designed and implemented, and the related work of node fault follow-up processing is completed for the specific application of the seismic data processing. The function of the cluster node fault detection and processing provides the foundation for the application level job checkpoint to realize the job fault tolerance function designed in this paper. Thirdly, on the basis of studying the existing checkpoint technology, and aiming at the characteristics of seismic data processing and the particularity of seismic data processing process, An application level job checkpoint setting and rollback recovery function based on seismic data unit is designed and implemented. Combined with node fault-tolerant function, the automatic fault tolerance of cluster jobs is realized. The feasibility of the application level job checkpoint is verified by the experimental test, and the availability of the cluster system is improved, and the job can continue to execute from the checkpoint in the event of failure, thus reducing the time of repeated execution of the job. The waste of computing resources and time in the system is avoided.
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2012
【分類號】：TP338;TP302.8

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 尹國明,張強(qiáng),朱耀明;CIMS物流系統(tǒng)及其作業(yè)管理[J];物流技術(shù);2005年03期

2 郭改文;趙冰;;校園網(wǎng)格及其作業(yè)服務(wù)的研究[J];河南教育學(xué)院學(xué)報(bào)(自然科學(xué)版);2006年02期

3 ;日立JP1亮相2009金融展 展示安全高效的作業(yè)管理產(chǎn)品[J];計(jì)算機(jī)與網(wǎng)絡(luò);2009年17期

4 夏鑫;ABC/ABM與ERP的集成研究[J];中國管理信息化;2005年01期

5 胡瑜,陳濤;專家系統(tǒng)在生產(chǎn)制造系統(tǒng)(MES)中的應(yīng)用[J];冶金設(shè)備;2005年05期

6 郭廣軍;朱昭君;王劍波;;基于SSH架構(gòu)的課程作業(yè)與成績管理系統(tǒng)[J];微電子學(xué)與計(jì)算機(jī);2010年08期

7 王中生;錢衛(wèi)平;;基于QoS的網(wǎng)格作業(yè)調(diào)度研究與設(shè)計(jì)[J];國外電子測量技術(shù);2008年11期

8 謝蕾;謝華;;計(jì)算機(jī)化制造網(wǎng)格的工作流管理研究[J];制造業(yè)自動化;2010年07期

9 莫曉莉;王汝傳;張琳;;基于移動代理和信任機(jī)制的網(wǎng)格作業(yè)管理[J];微電子學(xué)與計(jì)算機(jī);2008年10期

10 曹榮強(qiáng);遲學(xué)斌;武虹;肖海力;;基于Portlet的高性能計(jì)算Portal[J];計(jì)算機(jī)工程;2009年15期

相關(guān)會議論文 前10條

1 吳圯;;中小學(xué)教師如何加強(qiáng)學(xué)生作業(yè)管理[A];中國當(dāng)代教育理論文獻(xiàn)——第四屆中國教育家大會成果匯編（上）[C];2007年

2 王永濱;石民勇;洪志國;;網(wǎng)絡(luò)環(huán)境下集群渲染技術(shù)綜述[A];2008年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會議論文集(上冊)[C];2008年

3 葛自敏;;應(yīng)用作業(yè)成本管理 加強(qiáng)煤炭成本控制[A];煤炭經(jīng)濟(jì)管理新論（第10輯）——第十一屆中國煤炭經(jīng)濟(jì)管理論壇暨2010年中國煤炭學(xué)會經(jīng)濟(jì)管理專業(yè)委員會年會論文集[C];2010年

4 楊敏;;論物流活動的作業(yè)分析與管理[A];首屆中國物流學(xué)會年會論文集[C];2002年

5 許保光;邢建民;王星原;梅強(qiáng);;關(guān)于航空地面作業(yè)中同工種服務(wù)人員的安排問題[A];2003年中國管理科學(xué)學(xué)術(shù)會議論文集[C];2003年

6 郭廣軍;朱昭君;王劍波;;基于SSH架構(gòu)的課程作業(yè)與成績管理系統(tǒng)[A];2010年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會議論文集[C];2010年

7 王道堂;;計(jì)算機(jī)輔助設(shè)計(jì)中的繪圖作業(yè)管理[A];中國土木工程學(xué)會計(jì)算機(jī)應(yīng)用學(xué)會學(xué)術(shù)報(bào)告會論文集（4）[C];1989年

8 陳娟;王汝傳;;基于移動代理的網(wǎng)格作業(yè)管理模型的研究[A];2005通信理論與技術(shù)新進(jìn)展——第十屆全國青年通信學(xué)術(shù)會議論文集[C];2005年

9 莫曉莉;王汝傳;張琳;;基于移動代理和信任機(jī)制的網(wǎng)格作業(yè)管理[A];2008年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會議論文集(下冊)[C];2008年

10 楊繼張;;高性能計(jì)算軟硬件技術(shù)發(fā)展概述[A];首屆工程設(shè)計(jì)高性能計(jì)算（HPC）技術(shù)應(yīng)用論壇論文集[C];2007年

相關(guān)重要報(bào)紙文章 前10條

1 呂慧;鑫達(dá)冶煉室全封閉改造完成[N];中國黃金報(bào);2010年

2 記者 崔茉 通訊員 盧毅;魯邁拉油田作業(yè)管理權(quán)正式移交至ROO[N];中國石油報(bào);2010年

3 王uG;黃金水道尚須精心打磨 參事聚會各陳意見建議[N];聯(lián)合時(shí)報(bào);2007年

4 艾文;日立JP1從兩模塊切入[N];中國計(jì)算機(jī)報(bào);2003年

5 許萍萍;無形文化 有形操作[N];盤錦日報(bào);2009年

6 鵬飛;收銀員的作業(yè)管理[N];中國商報(bào);2002年

7 記者 李颯;加強(qiáng)“三清”作業(yè) 提升保潔水平[N];鐵嶺日報(bào);2010年

8 牡丹江市環(huán)衛(wèi)處 焦慶華;強(qiáng)化科學(xué)管理 提升環(huán)境質(zhì)量[N];牡丹江日報(bào);2009年

9 本報(bào)記者 那忠郁;現(xiàn)場作業(yè)管理守住安全第1天[N];國家電網(wǎng)報(bào);2010年

10 通訊員　 劉振威 高軍;做強(qiáng)自身 聯(lián)手攻關(guān)[N];中國石油報(bào);2006年

相關(guān)博士學(xué)位論文 前8條

1 陳軼西;戰(zhàn)略導(dǎo)向的商業(yè)銀行作業(yè)管理研究[D];暨南大學(xué);2005年

2 方躍;作業(yè)管理新體系的研究[D];哈爾濱工程大學(xué);2001年

3 楊冬菊;異構(gòu)集群管理系統(tǒng)的關(guān)鍵技術(shù)研究[D];西北工業(yè)大學(xué);2002年

4 張小芳;大規(guī)模分布式環(huán)境下集群管理系統(tǒng)的研究與實(shí)現(xiàn)[D];西北工業(yè)大學(xué);2007年

5 趙晨陽;個性化旅游信息服務(wù)系統(tǒng)的基礎(chǔ)理論與關(guān)鍵技術(shù)研究[D];蘭州大學(xué);2012年

6 劉士軍;制造網(wǎng)格架構(gòu)與制造資源協(xié)同管理技術(shù)研究[D];山東大學(xué);2006年

7 李瑾坤;知識作業(yè)過程及難度描述[D];電子科技大學(xué);2009年

8 顧力剛;VDT作業(yè)及其管理研究[D];華中科技大學(xué);2004年

相關(guān)碩士學(xué)位論文 前10條

1 張昕瑞;作業(yè)管理及基于作業(yè)的信息系統(tǒng)研究[D];南京航空航天大學(xué);2002年

2 陳英;新課程背景下的優(yōu)化中學(xué)作業(yè)管理研究[D];華東師范大學(xué);2005年

3 吳雨淋;網(wǎng)格資源與作業(yè)管理技術(shù)的研究[D];西北工業(yè)大學(xué);2005年

4 張旭;企業(yè)作業(yè)成本法研究[D];暨南大學(xué);2005年

5 茍艷潔;網(wǎng)絡(luò)作業(yè)管理系統(tǒng)的研究與實(shí)現(xiàn)——在Windows 2000平臺上的設(shè)計(jì)與實(shí)現(xiàn)作業(yè)管理與高性能集群計(jì)算的結(jié)合研究[D];西北工業(yè)大學(xué);2002年

6 張馨;作業(yè)成本法相關(guān)問題的研究[D];天津大學(xué);2007年

7 陳健忠;作業(yè)成本法在國際速遞公司的應(yīng)用研究[D];暨南大學(xué);2009年

8 許琳紅;作業(yè)成本法在我國商業(yè)銀行的應(yīng)用分析[D];天津大學(xué);2004年

9 廖艷琳;作業(yè)成本法在電信企業(yè)中的應(yīng)用研究[D];南京航空航天大學(xué);2006年

10 朱濤;基于ABM-BSC理念的企業(yè)預(yù)算管理改進(jìn)的應(yīng)用研究[D];電子科技大學(xué);2007年

本文編號：2058298