發(fā)布時(shí)間：2018-06-23 20:27

  本文選題：集群 + 監(jiān)控　； 參考：《電子科技大學(xué)》2012年碩士論文

【摘要】：目前，集群技術(shù)是當(dāng)今高性能計(jì)算系統(tǒng)的一個(gè)重要研究方向，集群系統(tǒng)以其高性?xún)r(jià)比、高擴(kuò)展性、高可用性的特點(diǎn)，迅速發(fā)展成為高性能計(jì)算的一個(gè)重要解決方案，在石油物探行業(yè)得到廣泛應(yīng)用。 本文所研究的是面向地震數(shù)據(jù)處理的應(yīng)用集群系統(tǒng)，，隨著該集群中節(jié)點(diǎn)的數(shù)目和提交運(yùn)行的作業(yè)數(shù)目越來(lái)越多，集群系統(tǒng)的監(jiān)控和管理成了一個(gè)重大問(wèn)題。伴隨集群系統(tǒng)規(guī)模的不斷擴(kuò)大，系統(tǒng)發(fā)生故障的概率也隨之增長(zhǎng)，加上地震數(shù)據(jù)處理作業(yè)往往數(shù)據(jù)量都很大，作業(yè)執(zhí)行時(shí)間也很長(zhǎng)，如果發(fā)生故障造成作業(yè)運(yùn)行失敗，將會(huì)浪費(fèi)大量的系統(tǒng)計(jì)算資源和時(shí)間資源。因此研究該應(yīng)用集群系統(tǒng)的容錯(cuò)技術(shù)具有十分重要的意義。 本文研究設(shè)計(jì)的集群監(jiān)控容錯(cuò)系統(tǒng)是該地震數(shù)據(jù)處理應(yīng)用集群系統(tǒng)的重要支持系統(tǒng)，是專(zhuān)門(mén)針對(duì)地震數(shù)據(jù)處理特點(diǎn)開(kāi)發(fā)的特殊輔助系統(tǒng)。針對(duì)上文提出的相關(guān)問(wèn)題，本論文的主要工作包括： 第一，研究了現(xiàn)有的集群監(jiān)控系統(tǒng)，設(shè)計(jì)并實(shí)現(xiàn)了面向地震數(shù)據(jù)處理平臺(tái)集群系統(tǒng)的監(jiān)控模塊，完成了對(duì)整個(gè)應(yīng)用集群系統(tǒng)的監(jiān)控信息的采集、匯聚和顯示等應(yīng)用的具體實(shí)現(xiàn)。監(jiān)控模塊主要包括對(duì)集群節(jié)點(diǎn)信息和作業(yè)信息的監(jiān)控，為系統(tǒng)管理員和用戶(hù)進(jìn)行集群管理和監(jiān)控提供了方便。 第二，設(shè)計(jì)并實(shí)現(xiàn)了利用心跳包技術(shù)進(jìn)行節(jié)點(diǎn)故障檢測(cè)的集群系統(tǒng)容錯(cuò)功能，并且針對(duì)該地震數(shù)據(jù)處理的具體應(yīng)用完成了節(jié)點(diǎn)故障后續(xù)處理的相關(guān)工作。該集群節(jié)點(diǎn)故障檢測(cè)和處理的功能為本文設(shè)計(jì)的利用應(yīng)用級(jí)作業(yè)檢查點(diǎn)實(shí)現(xiàn)作業(yè)故障容錯(cuò)功能提供了基礎(chǔ)。 第三，在研究現(xiàn)有檢查點(diǎn)技術(shù)的基礎(chǔ)上，并且針對(duì)地震數(shù)據(jù)處理作業(yè)的特點(diǎn)和地震數(shù)據(jù)處理流程的特殊性，設(shè)計(jì)并實(shí)現(xiàn)了基于地震數(shù)據(jù)單元的應(yīng)用級(jí)作業(yè)檢查點(diǎn)設(shè)置與回卷恢復(fù)功能，該功能結(jié)合節(jié)點(diǎn)容錯(cuò)功能，能夠?qū)崿F(xiàn)集群作業(yè)出現(xiàn)故障后的自動(dòng)容錯(cuò)。通過(guò)實(shí)驗(yàn)測(cè)試驗(yàn)證了該應(yīng)用級(jí)作業(yè)檢查點(diǎn)的可行性，提高了集群系統(tǒng)的可用性，能夠使作業(yè)在遇到故障時(shí)從檢查點(diǎn)開(kāi)始繼續(xù)執(zhí)行作業(yè)，減少了作業(yè)重復(fù)執(zhí)行時(shí)間，避免了系統(tǒng)大量的計(jì)算資源和時(shí)間的浪費(fèi)。
[Abstract]:At present, cluster technology is an important research direction of high performance computing system. With its high performance and price ratio, high scalability and high availability, cluster system has rapidly developed into an important solution for high performance computing. It is widely used in petroleum geophysical exploration industry. In this paper, an application cluster system for seismic data processing is studied. With the increasing number of nodes and jobs submitted to run in the cluster, the monitoring and management of cluster system becomes an important problem. With the continuous expansion of cluster system scale, the probability of system failure also increases, plus seismic data processing jobs are often very large data, job execution time is also very long, if failure caused by job failure, Will waste a lot of system computing resources and time resources. Therefore, it is of great significance to study the fault-tolerant technology of this application cluster system. The cluster monitoring and fault tolerant system studied in this paper is an important support system for the seismic data processing application cluster system. It is a special auxiliary system specially developed for the characteristics of seismic data processing. The main work of this paper is as follows: firstly, the existing cluster monitoring system is studied, and the monitoring module for the cluster system of seismic data processing platform is designed and implemented. The collection, aggregation and display of the monitoring information of the whole application cluster system are realized. Monitoring module mainly includes monitoring of cluster node information and job information, which provides convenience for system administrator and user to manage and monitor cluster. Secondly, the fault-tolerant function of cluster system using heartbeat packet technology to detect node fault is designed and implemented, and the related work of node fault follow-up processing is completed for the specific application of the seismic data processing. The function of the cluster node fault detection and processing provides the foundation for the application level job checkpoint to realize the job fault tolerance function designed in this paper. Thirdly, on the basis of studying the existing checkpoint technology, and aiming at the characteristics of seismic data processing and the particularity of seismic data processing process, An application level job checkpoint setting and rollback recovery function based on seismic data unit is designed and implemented. Combined with node fault-tolerant function, the automatic fault tolerance of cluster jobs is realized. The feasibility of the application level job checkpoint is verified by the experimental test, and the availability of the cluster system is improved, and the job can continue to execute from the checkpoint in the event of failure, thus reducing the time of repeated execution of the job. The waste of computing resources and time in the system is avoided.
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類(lèi)號(hào)】：TP338;TP302.8

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 尹國(guó)明,張強(qiáng),朱耀明;CIMS物流系統(tǒng)及其作業(yè)管理[J];物流技術(shù);2005年03期

2 郭改文;趙冰;;校園網(wǎng)格及其作業(yè)服務(wù)的研究[J];河南教育學(xué)院學(xué)報(bào)(自然科學(xué)版);2006年02期

3 ;日立JP1亮相2009金融展 展示安全高效的作業(yè)管理產(chǎn)品[J];計(jì)算機(jī)與網(wǎng)絡(luò);2009年17期

4 夏鑫;ABC/ABM與ERP的集成研究[J];中國(guó)管理信息化;2005年01期

5 胡瑜,陳濤;專(zhuān)家系統(tǒng)在生產(chǎn)制造系統(tǒng)(MES)中的應(yīng)用[J];冶金設(shè)備;2005年05期

6 郭廣軍;朱昭君;王劍波;;基于SSH架構(gòu)的課程作業(yè)與成績(jī)管理系統(tǒng)[J];微電子學(xué)與計(jì)算機(jī);2010年08期

7 王中生;錢(qián)衛(wèi)平;;基于QoS的網(wǎng)格作業(yè)調(diào)度研究與設(shè)計(jì)[J];國(guó)外電子測(cè)量技術(shù);2008年11期

8 謝蕾;謝華;;計(jì)算機(jī)化制造網(wǎng)格的工作流管理研究[J];制造業(yè)自動(dòng)化;2010年07期

9 莫曉莉;王汝傳;張琳;;基于移動(dòng)代理和信任機(jī)制的網(wǎng)格作業(yè)管理[J];微電子學(xué)與計(jì)算機(jī);2008年10期

10 曹榮強(qiáng);遲學(xué)斌;武虹;肖海力;;基于Portlet的高性能計(jì)算Portal[J];計(jì)算機(jī)工程;2009年15期

相關(guān)會(huì)議論文 前10條

1 吳圯;;中小學(xué)教師如何加強(qiáng)學(xué)生作業(yè)管理[A];中國(guó)當(dāng)代教育理論文獻(xiàn)——第四屆中國(guó)教育家大會(huì)成果匯編（上）[C];2007年

2 王永濱;石民勇;洪志國(guó);;網(wǎng)絡(luò)環(huán)境下集群渲染技術(shù)綜述[A];2008年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(上冊(cè))[C];2008年

3 葛自敏;;應(yīng)用作業(yè)成本管理 加強(qiáng)煤炭成本控制[A];煤炭經(jīng)濟(jì)管理新論（第10輯）——第十一屆中國(guó)煤炭經(jīng)濟(jì)管理論壇暨2010年中國(guó)煤炭學(xué)會(huì)經(jīng)濟(jì)管理專(zhuān)業(yè)委員會(huì)年會(huì)論文集[C];2010年

4 楊敏;;論物流活動(dòng)的作業(yè)分析與管理[A];首屆中國(guó)物流學(xué)會(huì)年會(huì)論文集[C];2002年

5 許保光;邢建民;王星原;梅強(qiáng);;關(guān)于航空地面作業(yè)中同工種服務(wù)人員的安排問(wèn)題[A];2003年中國(guó)管理科學(xué)學(xué)術(shù)會(huì)議論文集[C];2003年

6 郭廣軍;朱昭君;王劍波;;基于SSH架構(gòu)的課程作業(yè)與成績(jī)管理系統(tǒng)[A];2010年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集[C];2010年

7 王道堂;;計(jì)算機(jī)輔助設(shè)計(jì)中的繪圖作業(yè)管理[A];中國(guó)土木工程學(xué)會(huì)計(jì)算機(jī)應(yīng)用學(xué)會(huì)學(xué)術(shù)報(bào)告會(huì)論文集（4）[C];1989年

8 陳娟;王汝傳;;基于移動(dòng)代理的網(wǎng)格作業(yè)管理模型的研究[A];2005通信理論與技術(shù)新進(jìn)展——第十屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集[C];2005年

9 莫曉莉;王汝傳;張琳;;基于移動(dòng)代理和信任機(jī)制的網(wǎng)格作業(yè)管理[A];2008年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集(下冊(cè))[C];2008年

10 楊繼張;;高性能計(jì)算軟硬件技術(shù)發(fā)展概述[A];首屆工程設(shè)計(jì)高性能計(jì)算（HPC）技術(shù)應(yīng)用論壇論文集[C];2007年

相關(guān)重要報(bào)紙文章 前10條

1 呂慧;鑫達(dá)冶煉室全封閉改造完成[N];中國(guó)黃金報(bào);2010年

2 記者 崔茉 通訊員 盧毅;魯邁拉油田作業(yè)管理權(quán)正式移交至ROO[N];中國(guó)石油報(bào);2010年

3 王uG;黃金水道尚須精心打磨 參事聚會(huì)各陳意見(jiàn)建議[N];聯(lián)合時(shí)報(bào);2007年

4 艾文;日立JP1從兩模塊切入[N];中國(guó)計(jì)算機(jī)報(bào);2003年

5 許萍萍;無(wú)形文化 有形操作[N];盤(pán)錦日?qǐng)?bào);2009年

6 鵬飛;收銀員的作業(yè)管理[N];中國(guó)商報(bào);2002年

7 記者 李颯;加強(qiáng)“三清”作業(yè) 提升保潔水平[N];鐵嶺日?qǐng)?bào);2010年

8 牡丹江市環(huán)衛(wèi)處 焦慶華;強(qiáng)化科學(xué)管理 提升環(huán)境質(zhì)量[N];牡丹江日?qǐng)?bào);2009年

9 本報(bào)記者 那忠郁;現(xiàn)場(chǎng)作業(yè)管理守住安全第1天[N];國(guó)家電網(wǎng)報(bào);2010年

10 通訊員　 劉振威 高軍;做強(qiáng)自身 聯(lián)手攻關(guān)[N];中國(guó)石油報(bào);2006年

相關(guān)博士學(xué)位論文 前8條

1 陳軼西;戰(zhàn)略導(dǎo)向的商業(yè)銀行作業(yè)管理研究[D];暨南大學(xué);2005年

2 方躍;作業(yè)管理新體系的研究[D];哈爾濱工程大學(xué);2001年

3 楊冬菊;異構(gòu)集群管理系統(tǒng)的關(guān)鍵技術(shù)研究[D];西北工業(yè)大學(xué);2002年

4 張小芳;大規(guī)模分布式環(huán)境下集群管理系統(tǒng)的研究與實(shí)現(xiàn)[D];西北工業(yè)大學(xué);2007年

5 趙晨陽(yáng);個(gè)性化旅游信息服務(wù)系統(tǒng)的基礎(chǔ)理論與關(guān)鍵技術(shù)研究[D];蘭州大學(xué);2012年

6 劉士軍;制造網(wǎng)格架構(gòu)與制造資源協(xié)同管理技術(shù)研究[D];山東大學(xué);2006年

7 李瑾坤;知識(shí)作業(yè)過(guò)程及難度描述[D];電子科技大學(xué);2009年

8 顧力剛;VDT作業(yè)及其管理研究[D];華中科技大學(xué);2004年

相關(guān)碩士學(xué)位論文 前10條

1 張昕瑞;作業(yè)管理及基于作業(yè)的信息系統(tǒng)研究[D];南京航空航天大學(xué);2002年

2 陳英;新課程背景下的優(yōu)化中學(xué)作業(yè)管理研究[D];華東師范大學(xué);2005年

3 吳雨淋;網(wǎng)格資源與作業(yè)管理技術(shù)的研究[D];西北工業(yè)大學(xué);2005年

4 張旭;企業(yè)作業(yè)成本法研究[D];暨南大學(xué);2005年

5 茍艷潔;網(wǎng)絡(luò)作業(yè)管理系統(tǒng)的研究與實(shí)現(xiàn)——在Windows 2000平臺(tái)上的設(shè)計(jì)與實(shí)現(xiàn)作業(yè)管理與高性能集群計(jì)算的結(jié)合研究[D];西北工業(yè)大學(xué);2002年

6 張馨;作業(yè)成本法相關(guān)問(wèn)題的研究[D];天津大學(xué);2007年

7 陳健忠;作業(yè)成本法在國(guó)際速遞公司的應(yīng)用研究[D];暨南大學(xué);2009年

8 許琳紅;作業(yè)成本法在我國(guó)商業(yè)銀行的應(yīng)用分析[D];天津大學(xué);2004年

9 廖艷琳;作業(yè)成本法在電信企業(yè)中的應(yīng)用研究[D];南京航空航天大學(xué);2006年

10 朱濤;基于ABM-BSC理念的企業(yè)預(yù)算管理改進(jìn)的應(yīng)用研究[D];電子科技大學(xué);2007年

本文編號(hào)：2058298