發(fā)布時(shí)間：2021-10-22 10:52

　　近年來(lái),我國(guó)高速鐵路快速發(fā)展,高速鐵路運(yùn)營(yíng)里程不斷增長(zhǎng)。從2007年第一組和諧號(hào)動(dòng)車(chē)組下線至今,全路動(dòng)車(chē)組保有量從2007年的105標(biāo)準(zhǔn)列增加到2017年的2742標(biāo)準(zhǔn)列,年均復(fù)合增長(zhǎng)超過(guò)40%。截至2018年12月31日,全路動(dòng)車(chē)保有量為3303.25標(biāo)準(zhǔn)列^[1]。伴隨保有量的快速增長(zhǎng)以及行車(chē)?yán)锍痰睦鄯e,對(duì)如何保證動(dòng)車(chē)組安全運(yùn)行、加強(qiáng)動(dòng)車(chē)組運(yùn)用檢修管理提出了更高的要求。目前,國(guó)鐵集團(tuán)根據(jù)鐵路建設(shè)網(wǎng)的需要,結(jié)合全路動(dòng)車(chē)組運(yùn)用實(shí)際,分別在北京、上海等地設(shè)置了7個(gè)具有先進(jìn)工藝流程和工裝設(shè)備、現(xiàn)代化的管理信息系統(tǒng)的動(dòng)車(chē)檢修基地,并在全國(guó)范圍內(nèi)建立了幾十個(gè)動(dòng)車(chē)運(yùn)用所,來(lái)完成動(dòng)車(chē)組的檢修運(yùn)用工作。在國(guó)內(nèi),動(dòng)車(chē)組運(yùn)行10年來(lái),隨著運(yùn)維及檢修經(jīng)驗(yàn)的不斷豐富,我國(guó)已積累了海量的動(dòng)車(chē)組數(shù)據(jù),這些數(shù)據(jù)就像一座尚待開(kāi)發(fā)的儲(chǔ)量豐富的金山,一旦被有效的開(kāi)發(fā)利用,將會(huì)對(duì)我國(guó)動(dòng)車(chē)組運(yùn)維、客戶分析等方面產(chǎn)生極大效益。當(dāng)前,在國(guó)鐵集團(tuán)的統(tǒng)籌安排下,針對(duì)動(dòng)車(chē)組運(yùn)行管理的信息化工作及所產(chǎn)生的的海量數(shù)據(jù)的分析工作己經(jīng)逐步展開(kāi),2017年,當(dāng)時(shí)的中國(guó)鐵路總公司先后印發(fā)《中國(guó)鐵路總公司關(guān)于印發(fā)鐵路大數(shù)據(jù)應(yīng)用... 

【文章來(lái)源】：中國(guó)鐵道科學(xué)研究院北京市

【文章頁(yè)數(shù)】：59 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

法國(guó)沙地翁動(dòng)車(chē)段總平面布置示意圖

基于Hadoop的動(dòng)車(chē)段綜合管理信息系統(tǒng)建設(shè)的研究中國(guó)鐵道科學(xué)研究院13圖2-2基于Hadoop的大數(shù)據(jù)平臺(tái)??Figure2-2bigdataplatformbasedonHadoop2.3.1分布式文件系統(tǒng)HDFS??近10余年，伴隨著動(dòng)車(chē)組檢修運(yùn)用量的大幅增加動(dòng)車(chē)組運(yùn)行及檢修產(chǎn)生的海量數(shù)據(jù)已達(dá)PB級(jí)，如此豐富的動(dòng)車(chē)組運(yùn)維和檢修數(shù)據(jù)，是我國(guó)動(dòng)車(chē)組發(fā)展的寶貴財(cái)富。如何用好這些數(shù)據(jù)，讓“財(cái)富”真正發(fā)揮自己的效用，考驗(yàn)著我們的智慧和決心。而通過(guò)大數(shù)據(jù)的挖局和人工智能分析，則可以有效的進(jìn)行運(yùn)維數(shù)據(jù)的管理和分析，從而發(fā)揮出數(shù)據(jù)發(fā)掘的突出優(yōu)勢(shì)。在挖掘數(shù)據(jù)之前，我們首先要解決的是這海量數(shù)據(jù)的存儲(chǔ)問(wèn)題，而根據(jù)以上分析，HDFS?大數(shù)據(jù)分布式文件系統(tǒng)正好可以成為解決海量大規(guī)模數(shù)據(jù)存儲(chǔ)的問(wèn)題[22]。加之其其高可靠性、高擴(kuò)展性、高效性、高容錯(cuò)性和低成本的優(yōu)勢(shì)，方便它部署在普通硬件上，為我們現(xiàn)有數(shù)據(jù)的擴(kuò)展提供了支撐。當(dāng)然，據(jù)以往經(jīng)驗(yàn)，相較于好的硬件，普通硬件發(fā)生故障的概率要更高一些,基于此，我們還必須備份多個(gè)副本,并將這些副本分別存儲(chǔ)在集群中的不同機(jī)器上，防止因?yàn)橐慌_(tái)機(jī)器出現(xiàn)故障就導(dǎo)致整個(gè)系統(tǒng)趴窩。2.3.2并行計(jì)算框架MapReduce如前文所述，作為Hadoop中的核心模塊，MapReduce的并行計(jì)算架構(gòu)讓它可以較高的效率進(jìn)行海量數(shù)據(jù)的并行計(jì)算,其運(yùn)行流程如下圖所示。

基于Hadoop的動(dòng)車(chē)段綜合管理信息系統(tǒng)建設(shè)的研究中國(guó)鐵道科學(xué)研究院14圖2-3?MapReduce運(yùn)行原理??Figure2-3MapReduceoperatingprinciple??圖2-3展示了MapReduce運(yùn)行原理。通過(guò)分區(qū)、排序等方式，MapReduce可以將大規(guī)模的數(shù)據(jù)集分成多個(gè)小規(guī)模的Map任務(wù),再把這些任務(wù)分散到各個(gè)節(jié)點(diǎn)，而且，這些節(jié)點(diǎn)是并列式的關(guān)系，可以實(shí)現(xiàn)所有Map任務(wù)能夠快速完成。完成后,再通過(guò)Reduce整合為最終結(jié)果,存儲(chǔ)在HDFS1[23]。綜上，用MapReduce進(jìn)行數(shù)據(jù)分析處理的前提是該數(shù)據(jù)集必須是可以根據(jù)某一特定條件分為很多小的數(shù)據(jù)集,并且這些小數(shù)據(jù)集各自獨(dú)立，同時(shí)可以并行處理[24]。?2.3.3數(shù)據(jù)倉(cāng)庫(kù)Hive??Hive是基于Hadoop構(gòu)建的一套數(shù)據(jù)倉(cāng)庫(kù)分析系統(tǒng)，是一種底層封裝了Hadoop的數(shù)據(jù)倉(cāng)庫(kù)處理工具。使用hiveQL語(yǔ)言實(shí)現(xiàn)數(shù)據(jù)查詢，并且，由于他使用的是類(lèi)SQL語(yǔ)言，所以，可以為用戶提供豐富的SQL查詢方式來(lái)分析挖掘存儲(chǔ)在Hadoop中的數(shù)據(jù)；可以提供完整的SQL查詢功能，并且將結(jié)構(gòu)化的數(shù)據(jù)映射為數(shù)據(jù)庫(kù)表；還可以將SQL語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行，使不熟悉MapReduce的用戶可以很方便地利用SQL語(yǔ)言查詢和分析數(shù)據(jù)。而MapReduce開(kāi)發(fā)人員可以把自己寫(xiě)的mapper和reducer作為插件來(lái)支持hive做更復(fù)雜的數(shù)據(jù)分析。它支持DDL、DML等絕大多數(shù)語(yǔ)句以及常見(jiàn)的聚合函數(shù)、條件查詢等。它還提供了一系列的方案進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載，用來(lái)存儲(chǔ)、查詢和分析存儲(chǔ)在Hadoop中的大規(guī)模數(shù)據(jù)集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和USTF（User-DefinedTable-GeneratingFunction），也可以實(shí)現(xiàn)對(duì)map和reduce函數(shù)的定制，為數(shù)據(jù)操作提供了良好的伸縮性和可擴(kuò)展性[25]。Hive在加載數(shù)據(jù)過(guò)程中，只是單純的將數(shù)據(jù)移動(dòng)到HDFS中hive目錄下，?

【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)驅(qū)動(dòng)的裝備健康管理研究[J]. 鞠建波,胡勝林,單志超,祝超.  兵器裝備工程學(xué)報(bào). 2017(06)
[2]歐洲兩大MRO企業(yè)的大數(shù)據(jù)技術(shù)應(yīng)用實(shí)踐[J]. James Pozzi,Lee Ann Shay,藍(lán)楠.  航空維修與工程. 2016(12)
[3]建設(shè)智慧企業(yè),實(shí)現(xiàn)自動(dòng)管理[J]. 涂揚(yáng)舉,鄭小華.  清華管理評(píng)論. 2016(10)
[4]動(dòng)車(chē)段動(dòng)車(chē)組管理信息系統(tǒng)架構(gòu)設(shè)計(jì)與關(guān)鍵技術(shù)分析[J]. 李佳特.  科技資訊. 2016(09)
[5]基于XML和SVG的體育數(shù)據(jù)可視化的技術(shù)研究[J]. 朱中煒,韓旭,李澤琳.  電子技術(shù)與軟件工程. 2015(21)
[6]動(dòng)車(chē)組運(yùn)行安全聯(lián)網(wǎng)監(jiān)控系統(tǒng)總體架構(gòu)設(shè)計(jì)[J]. 李莉,史天運(yùn),賈志凱.  鐵路計(jì)算機(jī)應(yīng)用. 2015(05)
[7]故障預(yù)測(cè)與健康管理系統(tǒng)相關(guān)標(biāo)準(zhǔn)綜述[J]. 景博,湯巍,黃以鋒,楊洲.  電子測(cè)量與儀器學(xué)報(bào). 2014(12)
[8]基于類(lèi)區(qū)間的多維數(shù)據(jù)可視化方法[J]. 陳誼,李瀟瀟,蔡進(jìn)峰,陳紅倩,蔡強(qiáng).  系統(tǒng)仿真學(xué)報(bào). 2013(10)
[9]復(fù)雜裝備故障預(yù)測(cè)與健康管理系統(tǒng)初探[J]. 馬颯颯,陳國(guó)順,方興橋.  計(jì)算機(jī)測(cè)量與控制. 2010(01)
[10]故障預(yù)測(cè)與健康管理技術(shù)綜述[J]. 彭宇,劉大同,彭喜元.  電子測(cè)量與儀器學(xué)報(bào). 2010(01)

碩士論文
[1]校園學(xué)習(xí)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 王南南.山東大學(xué) 2018
[2]社會(huì)網(wǎng)絡(luò)關(guān)鍵節(jié)點(diǎn)可視化分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 劉慶.電子科技大學(xué) 2016



本文編號(hào)：3450950