本文關(guān)鍵詞：基于Hadoop技術(shù)的軌道交通MSS系統(tǒng)數(shù)據(jù)存儲(chǔ)應(yīng)用研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著城市軌道交通事業(yè)飛速發(fā)展,軌道交通安全倍受關(guān)注,這必然會(huì)對(duì)維護(hù)管理提出更高的要求。維護(hù)支持系統(tǒng)應(yīng)運(yùn)而生,成為研究和應(yīng)用的熱點(diǎn)。在維護(hù)管理的過(guò)程中,實(shí)時(shí)監(jiān)測(cè)的信號(hào)系統(tǒng)數(shù)據(jù)量與日俱增,遠(yuǎn)遠(yuǎn)超出傳統(tǒng)的數(shù)據(jù)庫(kù)存儲(chǔ)范疇,常規(guī)的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理方法遇到了瓶頸。云計(jì)算Hadoop作為一種新興計(jì)算模型,具有超大規(guī)模,高可擴(kuò)展和高可靠性等特點(diǎn),為上述問(wèn)題的解決提供了新的思路。 本文首先在緒論中闡述了軌道交通MSS維護(hù)支持系統(tǒng)的重要性,以及其與大數(shù)據(jù)結(jié)合會(huì)帶來(lái)很多增值服務(wù)。其次對(duì)MSS維護(hù)支持系統(tǒng)、數(shù)據(jù)存儲(chǔ)技術(shù)和Hadoop的研究現(xiàn)狀進(jìn)行了詳細(xì)的歸納、總結(jié)。通過(guò)介紹MSS系統(tǒng),分析該系統(tǒng)數(shù)據(jù)特點(diǎn)、結(jié)構(gòu),并且對(duì)比分析傳統(tǒng)軟件與Hadoop技術(shù)優(yōu)缺點(diǎn),進(jìn)一步明確了維護(hù)支持系統(tǒng)在數(shù)據(jù)存儲(chǔ)和查詢(xún)方面遇到的困擾,從而確定將Hadoop技術(shù)應(yīng)用到MSS系統(tǒng)中用于可靠存儲(chǔ)、高效查詢(xún)和數(shù)據(jù)挖掘分析。 針對(duì)MSS系統(tǒng)不同的數(shù)據(jù)類(lèi)型,結(jié)合Hadoop集群技術(shù)以及實(shí)際軟硬件實(shí)力,本文提出一種基于Hadoop技術(shù)的MSS數(shù)據(jù)存儲(chǔ)設(shè)計(jì)。文章先后從存儲(chǔ)整體架構(gòu),HDFS文件存儲(chǔ)系統(tǒng),HBase分布式數(shù)據(jù)庫(kù)等幾個(gè)方面對(duì)MSS結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)進(jìn)行深入研究。首先利用日志收集系統(tǒng)Flume對(duì)數(shù)據(jù)進(jìn)行傳輸,總結(jié)了MSS數(shù)據(jù)在HDFS中的存儲(chǔ)方式。其次,設(shè)計(jì)基于HDFS的維護(hù)數(shù)據(jù)存儲(chǔ)模塊,舉例說(shuō)明數(shù)據(jù)在HDFS中是如何讀取和寫(xiě)入的,最后實(shí)現(xiàn)了數(shù)據(jù)存入HDFS系統(tǒng)中。根據(jù)MSS數(shù)據(jù)特點(diǎn),本文又設(shè)計(jì)了MSS數(shù)據(jù)基元的HBase的存儲(chǔ)模型,以具體ZC數(shù)據(jù)為例,建立HBase數(shù)據(jù)邏輯模型和物理模型,并且實(shí)現(xiàn)了數(shù)據(jù)寫(xiě)入HBase數(shù)據(jù)庫(kù)中。 在理論基礎(chǔ)上,模擬搭建完全分布模式的Hadoop平臺(tái)環(huán)境,包括硬件環(huán)境和軟件環(huán)境。對(duì)系統(tǒng)性能進(jìn)行分析以及測(cè)試Hadoop集群存儲(chǔ)性能,說(shuō)明Hadoop技術(shù)應(yīng)用到軌道交通MSS系統(tǒng)中是可行的,在數(shù)據(jù)存儲(chǔ)方面比傳統(tǒng)方式占優(yōu)勢(shì),并且數(shù)據(jù)量越大,Hadoop優(yōu)勢(shì)越能體現(xiàn)出來(lái)。 最后,對(duì)論文工作進(jìn)行總結(jié),闡述了該論文的創(chuàng)新點(diǎn)以及文中的不足和需改進(jìn)的地方,并討論了下一步工作的研究方向。
【關(guān)鍵詞】：MSS系統(tǒng) 數(shù)據(jù)存儲(chǔ) Hadoop HDFS HBase存儲(chǔ)模型
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：TP311.13;U298
【目錄】：

• 致謝5-6
• 中文摘要6-7
• ABSTRACT7-9
• 目錄9-11
• 1 緒論11-19
• 1.1 選題背景11-12
• 1.2 研究意義12-14
• 1.3 國(guó)內(nèi)外研究現(xiàn)狀14-16
• 1.3.1 MSS維護(hù)支持系統(tǒng)的研究現(xiàn)狀14-15
• 1.3.2 數(shù)據(jù)存儲(chǔ)技術(shù)與Hadoop的研究現(xiàn)狀15-16
• 1.4 研究對(duì)象介紹16-17
• 1.5 論文的主要研究?jī)?nèi)容17-18
• 1.6 論文的組織結(jié)構(gòu)18-19
• 2 MSS數(shù)據(jù)分析及Hadoop相關(guān)技術(shù)19-33
• 2.1 MSS系統(tǒng)數(shù)據(jù)分析19-26
• 2.1.1 MSS數(shù)據(jù)來(lái)源19-20
• 2.1.2 MSS數(shù)據(jù)特點(diǎn)20-21
• 2.1.3 MSS數(shù)據(jù)類(lèi)型21-26
• 2.2 傳統(tǒng)數(shù)據(jù)庫(kù)存儲(chǔ)與Hadoop云存儲(chǔ)26-28
• 2.2.1 傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)與Hadoop比較26-28
• 2.2.2 Hadoop技術(shù)優(yōu)勢(shì)28
• 2.3 Hadoop關(guān)鍵技術(shù)介紹28-32
• 2.3.1 分布式文件系統(tǒng)HDFS29-31
• 2.3.2 HBase分布式數(shù)據(jù)庫(kù)31-32
• 2.4 本章小結(jié)32-33
• 3 基于Hadoop的MSS系統(tǒng)數(shù)據(jù)存儲(chǔ)設(shè)計(jì)與實(shí)現(xiàn)33-55
• 3.1 MSS系統(tǒng)整體架構(gòu)設(shè)計(jì)33-36
• 3.1.1 Hadoop云存儲(chǔ)結(jié)構(gòu)模型33-34
• 3.1.2 MSS系統(tǒng)云存儲(chǔ)模型設(shè)計(jì)34-35
• 3.1.3 MSS系統(tǒng)數(shù)據(jù)存儲(chǔ)方案35-36
• 3.2 基于HDFS的MSS系統(tǒng)數(shù)據(jù)存儲(chǔ)36-45
• 3.2.1 MSS系統(tǒng)數(shù)據(jù)傳輸36-38
• 3.2.2 MSS數(shù)據(jù)存儲(chǔ)方式38-39
• 3.2.3 MSS動(dòng)態(tài)維護(hù)數(shù)據(jù)存儲(chǔ)模塊設(shè)計(jì)39-41
• 3.2.4 MSS數(shù)據(jù)讀寫(xiě)流程41-43
• 3.2.5 HDFS數(shù)據(jù)寫(xiě)入具體實(shí)現(xiàn)43-44
• 3.2.6 HDFS的可靠性存儲(chǔ)策略44-45
• 3.3 基于HBase的MSS系統(tǒng)數(shù)據(jù)存儲(chǔ)45-53
• 3.3.1 基元知識(shí)和基元的HBase數(shù)據(jù)庫(kù)存儲(chǔ)模型46-48
• 3.3.2 MSS數(shù)據(jù)的HBase數(shù)據(jù)模型設(shè)計(jì)48-51
• 3.3.3 HBase數(shù)據(jù)存儲(chǔ)具體實(shí)現(xiàn)51-53
• 3.4 本章小結(jié)53-55
• 4 MSS系統(tǒng)數(shù)據(jù)存儲(chǔ)環(huán)境搭建和性能測(cè)試55-64
• 4.1 數(shù)據(jù)存儲(chǔ)平臺(tái)實(shí)驗(yàn)環(huán)境55-59
• 4.1.1 模擬硬件環(huán)境55-57
• 4.1.2 模擬軟件系統(tǒng)環(huán)境57-59
• 4.2 系統(tǒng)性能分析59-60
• 4.3 Hadoop集群存儲(chǔ)性能測(cè)試60-63
• 4.3.1 文件規(guī)模變化測(cè)試60-62
• 4.3.2 處理文件大小變化測(cè)試62-63
• 4.3.3 實(shí)驗(yàn)結(jié)論63
• 4.4 本章小結(jié)63-64
• 5 總結(jié)與展望64-66
• 5.1 本文主要工作總結(jié)64
• 5.2 本文創(chuàng)新點(diǎn)64-65
• 5.3 展望65-66
• 參考文獻(xiàn)66-69
• 圖索引69-71
• 表索引71-72
• 作者簡(jiǎn)歷及攻讀碩士學(xué)位期間取得的研究成果72-74
• 學(xué)位論文數(shù)據(jù)集7

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 劉真;劉峰;張寶鵬;馬飛;高石玉;;云計(jì)算模型在鐵路大規(guī)模數(shù)據(jù)處理中的應(yīng)用[J];北京交通大學(xué)學(xué)報(bào);2010年05期

2 拓守恒;;云計(jì)算與云數(shù)據(jù)存儲(chǔ)技術(shù)研究[J];電腦開(kāi)發(fā)與應(yīng)用;2010年09期

3 李橋興;;多元多維基元及高階多元多維可拓集合構(gòu)造[J];廣東工業(yè)大學(xué)學(xué)報(bào);2009年04期

4 周庭梁;張兵建;;地鐵的信號(hào)維護(hù)支持系統(tǒng)[J];城市軌道交通研究;2010年08期

5 于恒友;劉波;彭子平;;基于HBase的輸電線路綜合數(shù)據(jù)存儲(chǔ)方案設(shè)計(jì)[J];電力科學(xué)與技術(shù)學(xué)報(bào);2014年02期

6 李橋興;強(qiáng)保華;楊春燕;;大數(shù)據(jù)基元的HBase數(shù)據(jù)庫(kù)存儲(chǔ)模型與實(shí)現(xiàn)[J];廣東工業(yè)大學(xué)學(xué)報(bào);2014年03期

7 任仁;;Hadoop在大數(shù)據(jù)處理中的應(yīng)用優(yōu)勢(shì)分析[J];電子技術(shù)與軟件工程;2014年15期

8 余侃;;云計(jì)算時(shí)代的數(shù)據(jù)中心建設(shè)與發(fā)展[J];信息通信;2011年06期

9 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲(chǔ)平臺(tái)設(shè)計(jì)與開(kāi)發(fā)[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

10 楊鋒;吳華瑞;朱華吉;張海輝;孫想;;基于Hadoop的海量農(nóng)業(yè)數(shù)據(jù)資源管理平臺(tái)[J];計(jì)算機(jī)工程;2011年12期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 葉瑋瓊;基于可拓學(xué)的仿人控制及應(yīng)用研究[D];廣東工業(yè)大學(xué);2011年

  本文關(guān)鍵詞：基于Hadoop技術(shù)的軌道交通MSS系統(tǒng)數(shù)據(jù)存儲(chǔ)應(yīng)用研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：507795