本文關鍵詞：鐵路LTE通信大數據分析系統的設計與實現

  更多相關文章： 大數據 Cloudera CDH LTE Hadoop Impala

【摘要】：本文研究利用大數據技術對鐵路LTE(長期演進)通信網絡進行優(yōu)化。朔黃鐵路是中國"西煤東運"的第二大通道,對中國經濟的發(fā)展有著重大的貢獻。為了滿足日益增長的鐵路運輸需求,公司決定通過增加容量以及安排更多的車次來提升鐵路的運輸能力。隨著車次和列車容量的增長,如何保證鐵路運輸的正常運行成為了大勢所趨。實踐證明,采用LTE作為鐵路通信系統,是一種有效的解決方案。但是由于在中國國內乃至全世界,LTE在鐵路中的應用尚屬首例,不可避免地會遇到很多問題。所以定期對鐵路LTE網絡進行路測檢查,并根據檢查結果進行網絡優(yōu)化,成為保障LTE通信網絡正常運轉的重要手段網優(yōu)路測工作所產生的數據量十分巨大,現有的計算機系統難以滿足如此大量數據的存儲、分析和處理。所以大部分數據的處理仍然需要由人工來完成,不僅處理效率低下,結果的準確性也往往難以保證。隨著大數據技術以及計算機硬件水平的不斷提高,近幾年來,大數據技術在各個行業(yè)的應用已經證明了,當前的大數據技術有能力對海量數據進行處理,為企業(yè)的生產和管理提供助力。本論文的主要工作是研究并實現了一個以大數據技術為理論基礎,利用Cloudera大數據平臺提供大數據相關的工具和服務;分析實際工作場景中亟待解決的主要問題,開發(fā)出一個高效、便捷具有較強可擴展能力的Web可視化系統。在功能設計方面,本系統主要能夠對朔黃鐵路LTE網絡,網優(yōu)路測過程中產生的數據進行高效地存儲、處理和分析;能夠對LTE網絡中經常出現的幾類通信故障(乒乓切換、弱覆蓋、越區(qū)覆蓋)進行篩查;對能夠反映LTE網絡信號狀況的相關KPI(關鍵績效指標)指數進行提取和展示;將通信故障情況以及相關KPI指數在地理信息系統上展示出來,使得用戶能夠將展示出的LTE網絡狀況與周邊的地理信息聯系起來,為故障的排查提供便利。具體來說,本文所進行的主要工作如下:在大多數分析系統中數據ETL是最為耗時的一個過程,幾乎能夠占到80%的時間。朔黃公司網優(yōu)路測的原始數據大多以XLS文件的形式存儲,但本文采用的數據實時交互技術采用的是在數據查詢效率上具有明顯優(yōu)勢的Cloudera Impala,為了使用Impala需要將XLS文件轉化為CSV文件;在原始數據中還存在著大量的NULL值以及空字符串等無效數據,在將原始數據上傳到HDFS之前,應當對這些數據進行清洗。數據ETL是數據分析及處理的前提,本文實現了這個過程。根據現場調研,本文選取了三種常見的通信故障——弱覆蓋、越區(qū)覆蓋、乒乓切換,三種衡量通信狀況的關鍵指標——RSRP、RSRQ、SINR進行分析和展示。分析了這三種通信故障的成因,并對其進行數據建模,使得系統能夠從原始數據中排查出這些故障;通過應用天地圖API、Echart等第三方組件,一方面將通信故障以及相關關鍵指標與地理信息系統結合起來,另一方面能夠將故障發(fā)生時的指標變化情況以直方圖或者散點圖的形式進行抽象化展示。通過以上工作,使本系統能夠快速檢測出數據中的通信故障,并且能夠直觀形象地顯示鐵路沿線的通信情況。分析了系統的架構和開發(fā)環(huán)境,具體描述了,后臺大數據服務以及Web用戶界面的設計目標,在此基礎上對系統進行了實現。建立實驗環(huán)境,對系統進行了部署,并通過實際數據進行驗證,驗證結果表明,本系統能夠有效地篩選出故障數據以及相關關鍵技術指標,并能夠對保證結果的正確性。本文分析了朔黃鐵路網優(yōu)路測過程中存在的主要問題,研究了 Cloudera大數據平臺、天地圖等大數據和地理信息組件,在此基礎上實現了一個基于天地圖以及Cloudera大數據平臺的通訊運維大數據分析系統。實際應用表明,該系統能夠直觀、形象地展示出鐵路沿線通信網絡的整體情況,并能對常見的通信故障進行排查,大大提升了朔黃鐵路公司通信運維的效率,具有較高的實用價值。
【學位授予單位】：北京交通大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TN929.5

【相似文獻】

中國期刊全文數據庫 前10條

1 代美;陳林;趙惠燕;程登發(fā);;掃描昆蟲雷達數據分析系統的設計和研究[J];計算機工程與設計;2009年03期

2 李磊;;黑龍江郵政數據分析系統研究[J];林業(yè)科技情報;2011年04期

3 陳起榕;陳新亮;曹世彪;;一種新的數據分析系統前端展示方案[J];郵電設計技術;2012年10期

4 孟慶超;李永亮;;智能數據分析系統研究[J];現代商貿工業(yè);2008年11期

5 郭靜;;鋼鐵企業(yè)能源數據分析系統的構建[J];昆明理工大學學報(理工版);2009年05期

6 哈文雷;;基于云計算的油田數據分析系統[J];中國新技術新產品;2013年17期

7 黃麗麗;陳華輝;;博客數據分析系統的設計與實現[J];寧波大學學報(理工版);2008年03期

8 田月潔;焦波;謝金洲;;中藥不良反應數據分析系統的設計與應用[J];中國藥物警戒;2007年04期

9 毛蘭斌;;基于機電結構檢測的可靠性數據分析系統設計[J];中國高新技術企業(yè);2008年08期

10 毛羽芳;王銳明;;天津市工商行政管理局數據分析系統的建設[J];信息系統工程;2010年07期

中國重要會議論文全文數據庫 前7條

1 顧紅生;;淺談汽車行業(yè)競品數據分析系統解決方案[A];第八屆中國汽車設計與研發(fā)高峰論壇論文集[C];2013年

2 辛建峰;辛陽;;數據分析系統中的自定義量度方案設計實現[A];2011年通信與信息技術新進展——第八屆中國通信學會學術年會論文集[C];2011年

3 尚屹;朱琦;;國家持久性有機污染物數據分析系統研究[A];2008中國環(huán)境科學學會學術年會優(yōu)秀論文集（下卷）[C];2008年

4 鄭慧娟;周嘉元;李斌;;水電站生產數據分析系統及其現場應用[A];中國水力發(fā)電工程學會信息化專委會2010年學術交流會論文集[C];2010年

5 張永忠;趙靜;;基于事件檢測算法的交通數據分析系統[A];2008全國第十三屆自動化應用技術學術交流會論文集[C];2008年

6 王治國;王薇;訾凱;任鵬;;臨床檢驗方法確認與性能驗證數據分析系統(MVS)的開發(fā)與應用[A];中華醫(yī)學會第九次全國檢驗醫(yī)學學術會議暨中國醫(yī)院協會臨床檢驗管理專業(yè)委員會第六屆全國臨床檢驗實驗室管理學術會議論文匯編[C];2011年

7 董剛;孫建林;譚耘宇;;建立梅鋼熱軋數據分析系統[A];自動化技術與冶金流程節(jié)能減排——全國冶金自動化信息網2008年會論文集[C];2008年

中國重要報紙全文數據庫 前8條

1 記者 劉慧敏;開發(fā)區(qū)一企業(yè)研發(fā)成功“消費行為數據分析系統”[N];寧波日報;2009年

2 別志銘;基于云的大數據分析系統[N];網絡世界;2013年

3 袁毅;蘇州：數據分析系統精準問診城市交通[N];人民公安報·交通安全周刊;2011年

4 紹興職業(yè)技術學院 沈華峰 寧波大學信息科學與工程學院 朱雙東;基于可縮放矢量圖形數據分析系統的設計與實現[N];中國計算機報;2010年

5 記者 董科;轉型客戶服務 打造全新競爭力[N];期貨日報;2010年

6 江蘇省淮安市漣水地稅局 周躍 黃呂勝 童政;應完善稅收數據分析系統提升使用效能[N];中國稅務報;2013年

7 陶利軍;路橋當好企業(yè)經濟分析師[N];中國工商報;2007年

8 本報記者 鞏國強;汛潮的“賣點”[N];山西經濟日報;2004年

中國碩士學位論文全文數據庫 前10條

1 夷臻;學生事務數據分析系統的設計與實現[D];蘇州大學;2015年

2 李永秋;智能化體檢數據分析系統設計與實現[D];山東大學;2014年

3 翟羽佳;萊蕪供電公司經營數據分析系統的設計與實現[D];山東大學;2015年

4 張磊磊;高考錄取數據分析系統前端界面模塊的設計與實現[D];山東大學;2015年

5 韓繼軍;金卡科技公司業(yè)務數據分析系統設計與實現[D];大連理工大學;2015年

6 張志祥;某數據分析系統的設計與實現[D];北京郵電大學;2015年

7 龍少杭;基于Storm的實時大數據分析系統的研究與實現[D];上海交通大學;2015年

8 余夢然;面向商務智能的公共交通數據分析系統的設計與實現[D];西安電子科技大學;2014年

9 張鵬宇;中國聯通ERP用戶感知業(yè)務監(jiān)控數據分析系統的設計與實現[D];華南理工大學;2015年

10 廖寧平;石化企業(yè)數據分析系統的開發(fā)及運營管理中的應用[D];浙江工業(yè)大學;2014年

，

本文編號：1280392