本文關(guān)鍵詞：基于Hadoop的動(dòng)車組故障診斷關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著我國(guó)高速鐵路近年來的不斷發(fā)展,動(dòng)車組已經(jīng)開始大規(guī)模投入使用,現(xiàn)階段已經(jīng)積累了海量的動(dòng)車組運(yùn)行狀況數(shù)據(jù)并以TB數(shù)量級(jí)增長(zhǎng)。如何利用海量的動(dòng)車組故障數(shù)據(jù)進(jìn)行分析,并進(jìn)一步指導(dǎo)動(dòng)車組維修和保養(yǎng)工作,這對(duì)于動(dòng)車組故障診斷具有重大意義。然而高速鐵路動(dòng)車組運(yùn)行狀況數(shù)據(jù)具有多樣化、容量大、復(fù)雜度高、速度快等特點(diǎn),傳統(tǒng)的數(shù)據(jù)挖掘算法效率低下,實(shí)時(shí)性差,已經(jīng)無法滿足目前對(duì)于動(dòng)車組關(guān)鍵部件故障診斷應(yīng)用的需求。因此本文提出引入Hadoop分布式計(jì)算框架,該框架的Map/Reduce編程模型能夠根據(jù)動(dòng)車組數(shù)據(jù)的特點(diǎn)有針對(duì)性地解決現(xiàn)階段動(dòng)車組故障診斷中的存在的不足,因此有一定的理論和現(xiàn)實(shí)意義。本文提出了基于Hadoop分布式框架的動(dòng)車組故障診斷大數(shù)據(jù)解決方案,并通過對(duì)基于Hadoop的C4.5分類算法的優(yōu)化為提高動(dòng)車組故障診斷的效率提供了有效方法,并在實(shí)際應(yīng)用中得到了驗(yàn)證。本論文的工作有以下幾方面：(1)在分析了MapReduce分布式計(jì)算框架、分布式文件系統(tǒng)HDFS、數(shù)據(jù)倉庫Hive等Hadoop核心技術(shù)的基礎(chǔ)上,給出了基于Hadoop的動(dòng)車組故障分析大數(shù)據(jù)解決方案,搭建了Hadoop集群環(huán)境。(2)在算法選擇上分析了原始C4.5算法在基于Hadoop平臺(tái)動(dòng)車組故障診斷中存在的不足,提出了兩種改進(jìn)算法并分別在準(zhǔn)確性及可擴(kuò)展性方面對(duì)原始C4.5算法進(jìn)行了性能改進(jìn),集群的負(fù)載均衡能力得到提高。(3)將改進(jìn)后的算法應(yīng)用于本實(shí)驗(yàn)室的動(dòng)車組故障真實(shí)數(shù)據(jù)場(chǎng)景下,并產(chǎn)生了相關(guān)的實(shí)驗(yàn)對(duì)比結(jié)果。實(shí)驗(yàn)表明,改進(jìn)算法比原始C4.5算法在穩(wěn)定性及可擴(kuò)展性上有了明顯提高,可滿足大數(shù)據(jù)背景下動(dòng)車組故障診斷的相關(guān)需求。論文所設(shè)計(jì)的動(dòng)車組故障診斷方案滿足了特定的要求,具有較好的并發(fā)挖掘性能,提高了動(dòng)車組故障診斷分析的效率。
【關(guān)鍵詞】：大數(shù)據(jù) 動(dòng)車組 故障診斷 Hadoop C4.5算法
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13
【目錄】：

• 致謝5-6
• 摘要6-7
• ABSTRACT7-11
• 1 緒論11-17
• 1.1 論文研究背景及意義11-12
• 1.2 研究現(xiàn)狀12-14
• 1.2.1 鐵路應(yīng)用大數(shù)據(jù)研究現(xiàn)狀12-13
• 1.2.2 數(shù)據(jù)挖掘并行化研究現(xiàn)狀13-14
• 1.3 論文研究?jī)?nèi)容與創(chuàng)新點(diǎn)14-15
• 1.4 論文組織結(jié)構(gòu)15-16
• 1.5 本章小結(jié)16-17
• 2 數(shù)據(jù)挖掘基礎(chǔ)理論17-32
• 2.1 數(shù)據(jù)挖掘概述17-21
• 2.1.1 數(shù)據(jù)挖掘簡(jiǎn)介17-18
• 2.1.2 國(guó)內(nèi)外研究現(xiàn)狀18-21
• 2.1.3 動(dòng)車組數(shù)據(jù)研究現(xiàn)狀21
• 2.2 Hadoop分布式平臺(tái)介紹21-26
• 2.2.1 Hadoop概述21-23
• 2.2.2 Hadoop結(jié)構(gòu)模型及角色23-26
• 2.3 適用于動(dòng)車組故障分類預(yù)測(cè)的基礎(chǔ)算法選擇26-30
• 2.3.1 分類算法簡(jiǎn)介及原始分類算法的選擇26-30
• 2.4 本章小結(jié)30-32
• 3 動(dòng)車組數(shù)據(jù)分析32-38
• 3.1 動(dòng)車組信息傳輸技術(shù)介紹32-34
• 3.2 動(dòng)車組數(shù)據(jù)介紹34-37
• 3.3 本章小結(jié)37-38
• 4 基于C4.5的故障預(yù)測(cè)算法的改進(jìn)研究38-46
• 4.1 C4.5決策樹算法簡(jiǎn)介38-40
• 4.1.1 C4.5算法原理38-39
• 4.1.2 C4.5算法缺陷39-40
• 4.2 C4.5決策樹算法的改進(jìn)40-42
• 4.2.1 Bagging算法簡(jiǎn)介40-42
• 4.2.2 融合Bagging的C4.5決策樹算法B-CTree的設(shè)計(jì)42
• 4.3 C4.5決策樹算法的并行化改造42-44
• 4.3.1 C4.5決策樹算法的并行化分析42-43
• 4.3.2 基于MapReduce的C4.5算法MR-C4.5設(shè)計(jì)43-44
• 4.4 本章小結(jié)44-46
• 5 基于Hadoop的動(dòng)車組故障預(yù)測(cè)方案46-51
• 5.1 典型數(shù)據(jù)挖掘方案46
• 5.2 基于Hadoop的動(dòng)車組故障預(yù)測(cè)方案的分析和設(shè)計(jì)46-50
• 5.2.1 需求分析46-47
• 5.2.2 基本設(shè)計(jì)思想47-48
• 5.2.3 設(shè)計(jì)方案48-50
• 5.3 本章小結(jié)50-51
• 6 實(shí)驗(yàn)及結(jié)果分析51-62
• 6.1 實(shí)驗(yàn)環(huán)境搭建51-55
• 6.1.1 硬件環(huán)境51
• 6.1.2 軟件環(huán)境51-52
• 6.1.3 Hadoop平臺(tái)的安裝與部署52-55
• 6.2 實(shí)驗(yàn)環(huán)境搭建55-61
• 6.2.1 數(shù)據(jù)準(zhǔn)備55-56
• 6.2.2 數(shù)據(jù)預(yù)處理56-57
• 6.2.3 模型訓(xùn)練57
• 6.2.4 模型評(píng)估57-61
• 6.3 本章小結(jié)61-62
• 7 總結(jié)與展望62-64
• 7.1 論文工作總結(jié)62
• 7.2 下一步研究工作62-64
• 參考文獻(xiàn)64-67
• 作者簡(jiǎn)歷67-69
• 學(xué)位論文數(shù)據(jù)集69

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 逄利華;張錦春;;基于Hadoop的分布式數(shù)據(jù)庫系統(tǒng)[J];辦公自動(dòng)化;2014年05期

2 鄭瑋;;Hadoop釋放大數(shù)據(jù)潛能[J];軟件和信息服務(wù);2012年10期

3 劉爾凱;崔振東;;基于HADOOP技術(shù) 實(shí)現(xiàn)銀行歷史數(shù)據(jù)線上化研究[J];金融電子化;2014年01期

4 鄒群;;一種基于Hadoop的數(shù)字圖書存儲(chǔ)系統(tǒng)設(shè)計(jì)方案[J];黑龍江史志;2014年01期

5 諶章義;畢偉;向萬紅;王國(guó)安;吳愛國(guó);;基于Hadoop的海量電費(fèi)數(shù)據(jù)處理模型[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2014年05期

6 ;大數(shù)據(jù)不等于Hadoop[J];辦公自動(dòng)化;2014年06期

7 ;保障Hadoop數(shù)據(jù)安全的十大措施[J];計(jì)算機(jī)與網(wǎng)絡(luò);2013年08期

8 王峰;雷葆華;;Hadoop分布式文件系統(tǒng)的模型分析[J];電信科學(xué);2010年12期

9 蘇小會(huì);何婧媛;;Hadoop中任務(wù)調(diào)度算法的改進(jìn)[J];電子設(shè)計(jì)工程;2012年22期

10 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫 前8條

1 本報(bào)記者 郭濤;機(jī)器大數(shù)據(jù)也離不開Hadoop[N];中國(guó)計(jì)算機(jī)報(bào);2013年

2 本報(bào)記者 王星;Hadoop引發(fā)大數(shù)據(jù)之戰(zhàn)[N];電腦報(bào);2012年

3 本報(bào)記者 鄒大斌;Hadoop一體機(jī)降低大數(shù)據(jù)門檻[N];計(jì)算機(jī)世界;2012年

4 孫定;云計(jì)算、大數(shù)據(jù)與Hadoop[N];計(jì)算機(jī)世界;2011年

5 樂天　編譯;Hadoop：打開大數(shù)據(jù)之門的金鑰匙[N];計(jì)算機(jī)世界;2012年

6 范范　編譯;Hadoop用戶可以使用多種搜索引擎[N];網(wǎng)絡(luò)世界;2013年

7 波波　編譯;Hadoop、Web 2.0為磁帶帶來新商機(jī)[N];網(wǎng)絡(luò)世界;2013年

8 本報(bào)記者 郭濤;讓更多人能夠使用Hadoop[N];中國(guó)計(jì)算機(jī)報(bào);2012年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉君;基于Hadoop技術(shù)的氣象數(shù)據(jù)采集及數(shù)據(jù)挖掘平臺(tái)的研究[D];天津理工大學(xué);2015年

2 譚旭;基于物流數(shù)據(jù)的快遞網(wǎng)絡(luò)分析與建模[D];浙江大學(xué);2015年

3 趙偉;基于Hadoop的數(shù)據(jù)挖掘算法并行化研究[D];西南交通大學(xué);2015年

4 趙振崇;基于Hadoop的決策樹挖掘算法的研究[D];蘭州大學(xué);2015年

5 郭凱振;基于Hadoop的分布式計(jì)算系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連海事大學(xué);2015年

6 白亮;基于Hadoop的民航高價(jià)值旅客發(fā)現(xiàn)方法研究[D];中國(guó)民航大學(xué);2015年

7 席屏;基于Hadoop的視頻大數(shù)據(jù)智能預(yù)警系統(tǒng)應(yīng)用研究[D];江蘇科技大學(xué);2015年

8 董立明;基于HADOOP的分布式推薦引擎[D];復(fù)旦大學(xué);2013年

9 陸藝達(dá);基于Hadoop分布式計(jì)算框架的垃圾短信群發(fā)檢測(cè)系統(tǒng)[D];復(fù)旦大學(xué);2013年

10 沈德利;基于Hadoop的密文檢索關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2014年

  本文關(guān)鍵詞：基于Hadoop的動(dòng)車組故障診斷關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：320504