近年來,我國高速鐵路快速發(fā)展,高速鐵路運營里程不斷增長。從2007年第一組和諧號動車組下線至今,全路動車組保有量從2007年的105標準列增加到2017年的2742標準列,年均復合增長超過40%。截至2018年12月31日,全路動車保有量為3303.25標準列^[1]。伴隨保有量的快速增長以及行車里程的累積,對如何保證動車組安全運行、加強動車組運用檢修管理提出了更高的要求。目前,國鐵集團根據(jù)鐵路建設網(wǎng)的需要,結合全路動車組運用實際,分別在北京、上海等地設置了7個具有先進工藝流程和工裝設備、現(xiàn)代化的管理信息系統(tǒng)的動車檢修基地,并在全國范圍內建立了幾十個動車運用所,來完成動車組的檢修運用工作。在國內,動車組運行10年來,隨著運維及檢修經(jīng)驗的不斷豐富,我國已積累了海量的動車組數(shù)據(jù),這些數(shù)據(jù)就像一座尚待開發(fā)的儲量豐富的金山,一旦被有效的開發(fā)利用,將會對我國動車組運維、客戶分析等方面產(chǎn)生極大效益。當前,在國鐵集團的統(tǒng)籌安排下,針對動車組運行管理的信息化工作及所產(chǎn)生的的海量數(shù)據(jù)的分析工作己經(jīng)逐步展開,2017年,當時的中國鐵路總公司先后印發(fā)《中國鐵路總公司關于印發(fā)鐵路大數(shù)據(jù)應用... 

【文章來源】：中國鐵道科學研究院北京市

【文章頁數(shù)】：59 頁

【學位級別】：碩士

【部分圖文】：

法國沙地翁動車段總平面布置示意圖

基于Hadoop的動車段綜合管理信息系統(tǒng)建設的研究中國鐵道科學研究院13圖2-2基于Hadoop的大數(shù)據(jù)平臺??Figure2-2bigdataplatformbasedonHadoop2.3.1分布式文件系統(tǒng)HDFS??近10余年，伴隨著動車組檢修運用量的大幅增加動車組運行及檢修產(chǎn)生的海量數(shù)據(jù)已達PB級，如此豐富的動車組運維和檢修數(shù)據(jù)，是我國動車組發(fā)展的寶貴財富。如何用好這些數(shù)據(jù)，讓“財富”真正發(fā)揮自己的效用，考驗著我們的智慧和決心。而通過大數(shù)據(jù)的挖局和人工智能分析，則可以有效的進行運維數(shù)據(jù)的管理和分析，從而發(fā)揮出數(shù)據(jù)發(fā)掘的突出優(yōu)勢。在挖掘數(shù)據(jù)之前，我們首先要解決的是這海量數(shù)據(jù)的存儲問題，而根據(jù)以上分析，HDFS?大數(shù)據(jù)分布式文件系統(tǒng)正好可以成為解決海量大規(guī)模數(shù)據(jù)存儲的問題[22]。加之其其高可靠性、高擴展性、高效性、高容錯性和低成本的優(yōu)勢，方便它部署在普通硬件上，為我們現(xiàn)有數(shù)據(jù)的擴展提供了支撐。當然，據(jù)以往經(jīng)驗，相較于好的硬件，普通硬件發(fā)生故障的概率要更高一些,基于此，我們還必須備份多個副本,并將這些副本分別存儲在集群中的不同機器上，防止因為一臺機器出現(xiàn)故障就導致整個系統(tǒng)趴窩。2.3.2并行計算框架MapReduce如前文所述，作為Hadoop中的核心模塊，MapReduce的并行計算架構讓它可以較高的效率進行海量數(shù)據(jù)的并行計算,其運行流程如下圖所示。

基于Hadoop的動車段綜合管理信息系統(tǒng)建設的研究中國鐵道科學研究院14圖2-3?MapReduce運行原理??Figure2-3MapReduceoperatingprinciple??圖2-3展示了MapReduce運行原理。通過分區(qū)、排序等方式，MapReduce可以將大規(guī)模的數(shù)據(jù)集分成多個小規(guī)模的Map任務,再把這些任務分散到各個節(jié)點，而且，這些節(jié)點是并列式的關系，可以實現(xiàn)所有Map任務能夠快速完成。完成后,再通過Reduce整合為最終結果,存儲在HDFS1[23]。綜上，用MapReduce進行數(shù)據(jù)分析處理的前提是該數(shù)據(jù)集必須是可以根據(jù)某一特定條件分為很多小的數(shù)據(jù)集,并且這些小數(shù)據(jù)集各自獨立，同時可以并行處理[24]。?2.3.3數(shù)據(jù)倉庫Hive??Hive是基于Hadoop構建的一套數(shù)據(jù)倉庫分析系統(tǒng)，是一種底層封裝了Hadoop的數(shù)據(jù)倉庫處理工具。使用hiveQL語言實現(xiàn)數(shù)據(jù)查詢，并且，由于他使用的是類SQL語言，所以，可以為用戶提供豐富的SQL查詢方式來分析挖掘存儲在Hadoop中的數(shù)據(jù)；可以提供完整的SQL查詢功能，并且將結構化的數(shù)據(jù)映射為數(shù)據(jù)庫表；還可以將SQL語句轉換為MapReduce任務運行，使不熟悉MapReduce的用戶可以很方便地利用SQL語言查詢和分析數(shù)據(jù)。而MapReduce開發(fā)人員可以把自己寫的mapper和reducer作為插件來支持hive做更復雜的數(shù)據(jù)分析。它支持DDL、DML等絕大多數(shù)語句以及常見的聚合函數(shù)、條件查詢等。它還提供了一系列的方案進行數(shù)據(jù)提取轉化加載，用來存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和USTF（User-DefinedTable-GeneratingFunction），也可以實現(xiàn)對map和reduce函數(shù)的定制，為數(shù)據(jù)操作提供了良好的伸縮性和可擴展性[25]。Hive在加載數(shù)據(jù)過程中，只是單純的將數(shù)據(jù)移動到HDFS中hive目錄下，?

【參考文獻】：
期刊論文
[1]大數(shù)據(jù)驅動的裝備健康管理研究[J]. 鞠建波,胡勝林,單志超,祝超.  兵器裝備工程學報. 2017(06)
[2]歐洲兩大MRO企業(yè)的大數(shù)據(jù)技術應用實踐[J]. James Pozzi,Lee Ann Shay,藍楠.  航空維修與工程. 2016(12)
[3]建設智慧企業(yè),實現(xiàn)自動管理[J]. 涂揚舉,鄭小華.  清華管理評論. 2016(10)
[4]動車段動車組管理信息系統(tǒng)架構設計與關鍵技術分析[J]. 李佳特.  科技資訊. 2016(09)
[5]基于XML和SVG的體育數(shù)據(jù)可視化的技術研究[J]. 朱中煒,韓旭,李澤琳.  電子技術與軟件工程. 2015(21)
[6]動車組運行安全聯(lián)網(wǎng)監(jiān)控系統(tǒng)總體架構設計[J]. 李莉,史天運,賈志凱.  鐵路計算機應用. 2015(05)
[7]故障預測與健康管理系統(tǒng)相關標準綜述[J]. 景博,湯巍,黃以鋒,楊洲.  電子測量與儀器學報. 2014(12)
[8]基于類區(qū)間的多維數(shù)據(jù)可視化方法[J]. 陳誼,李瀟瀟,蔡進峰,陳紅倩,蔡強.  系統(tǒng)仿真學報. 2013(10)
[9]復雜裝備故障預測與健康管理系統(tǒng)初探[J]. 馬颯颯,陳國順,方興橋.  計算機測量與控制. 2010(01)
[10]故障預測與健康管理技術綜述[J]. 彭宇,劉大同,彭喜元.  電子測量與儀器學報. 2010(01)

碩士論文
[1]校園學習平臺的設計與實現(xiàn)[D]. 王南南.山東大學 2018
[2]社會網(wǎng)絡關鍵節(jié)點可視化分析系統(tǒng)的設計與實現(xiàn)[D]. 劉慶.電子科技大學 2016



本文編號：3450950