在大數(shù)據(jù)時代,隨著信息量快速擴(kuò)展,數(shù)據(jù)質(zhì)量得到了人們越來越廣泛的關(guān)注。尤其隨著移動互聯(lián)網(wǎng)的發(fā)展,物聯(lián)網(wǎng)作為一種重要的信息技術(shù),通過RFID、傳感器等方式,產(chǎn)生了大量的數(shù)據(jù)和信息。數(shù)據(jù)質(zhì)量作為有效處理和分析利用大數(shù)據(jù)的前提條件,是保障企業(yè)使數(shù)據(jù)產(chǎn)生價值和獲得收益的根本。公交車輛CAN總線數(shù)據(jù)是通過北京市公交集團(tuán)車輛CAN數(shù)據(jù)綜合應(yīng)用平臺采集。CAN總線,即控制器局域網(wǎng)（Controller Area Network）,又被稱做CAN-bus,是由Bosch公司率先研發(fā)的新一代汽車總線,用于采集車輛各個核心部件的數(shù)據(jù)。目前北京公交集團(tuán)已有5千輛新車開始實(shí)現(xiàn)發(fā)動機(jī)、車輛電氣門等裝置的實(shí)時狀態(tài)數(shù)據(jù)采集�？傮w來說,公交CAN總線數(shù)據(jù)的數(shù)據(jù)質(zhì)量不高,數(shù)據(jù)中存在不完整、不一致、重復(fù)記錄等問題。造成這些問題的原因是多方面的,其中一個方面是由于物聯(lián)網(wǎng)技術(shù)在公交車輛上的應(yīng)用剛處于起步階段,公交車輛的傳感器裝置并不能正確的采集到全部數(shù)據(jù);另一方面,缺乏對采集到的數(shù)據(jù)的管理也是造成數(shù)據(jù)質(zhì)量問題的重要因素。本文以公交車輛CAN總線數(shù)據(jù)為基礎(chǔ),對CAN總線數(shù)據(jù)質(zhì)量管理中存在的問題進(jìn)行了深入的分析和研究,提出將元數(shù)... 

【文章來源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：77 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１－１論文結(jié)構(gòu)??Ｆｉｇｕｒｅ?１－１?Ｐａｐｅｒ?Ｓｔｒｕｃｔｕｒｅ??第一章——緒論

?相關(guān)理論和技術(shù)介紹??大數(shù)據(jù)下信息系統(tǒng)的數(shù)據(jù)處理架構(gòu)如圖２－１所示。??數(shù)你＾應(yīng)用??ＥＴＬ??加我??數(shù)?數(shù)據(jù)倉雕????據(jù)??ＪＴ＾Ｔｊ?１?分布式內(nèi)??存??１±１±＿ｊ?存存儲??儲?Ｉ分布式海撒存儲Ｋ加?????存儲???ＥＴＬ??數(shù)｜待集成數(shù)據(jù)源?采集數(shù)椐??椐?????ｒ－——??接?多源?異構(gòu)?交祕?Ｕ志??入?｜數(shù)裾｜?｜鍰掘｜?｜數(shù)據(jù)｜??圖２－１大數(shù)據(jù)平臺架構(gòu)??Ｆｉｇｕｒｅ?２－１?Ｂｉｇ?Ｄａｔａ?Ｐｌａｔｆｏｒｍ?Ａｒｃｈｉｔｅｃｔｕｒｅ??２．３相關(guān)技術(shù)研究??２．３．１?ＪＳＦ?＋?Ｓｐｒｉｎｇ?＋?Ｈｉｂｅｒｎａｔｅ?的三層框架??為了更好地進(jìn)行Ｗｅｂ應(yīng)用系統(tǒng)的開發(fā)，選擇一種可擴(kuò)展性和可移植性強(qiáng)的開??發(fā)框架是非常重要的。系統(tǒng)采用在Ｊ２ＥＥ平臺基礎(chǔ)上，采�。拢蛹軜�(gòu)實(shí)現(xiàn)。在技術(shù)??實(shí)現(xiàn)上，系統(tǒng)采用了?ＪＳＦ?＋?Ｓｐｒｉｎｇ?＋?Ｈｉｂｅｒｎａｔｅ實(shí)現(xiàn)的三層技術(shù)架構(gòu)作為Ｗｅｂ應(yīng)用??開發(fā)的解決方案。??在設(shè)計平臺架構(gòu)時，應(yīng)當(dāng)分為三個層次：Ｗｅｂ層、持久層、業(yè)務(wù)邏輯層。??ＪＳＦ框架是一種ＭＶＣ設(shè)計模式，負(fù)責(zé)Ｗｅｂ層的開發(fā)設(shè)計。ＪＳＦ按照ＭＶＣ模??型可以分為三個部分：模型層（Ｍｏｄｅｌ）、視圖層（Ｖｉｅｗ）、控制器層（Ｃｏｎｔｒｏｌｌｅｒ）。??模型層表示的是應(yīng)用程序的狀態(tài)和業(yè)務(wù)邏輯［４Ｑ］，是執(zhí)行業(yè)務(wù)操作的部分。視圖層??實(shí)現(xiàn)了系統(tǒng)與用戶的交互。ＪＳＦ框架在視圖層通過ＵＩ組件和事件驅(qū)動將表示與行??為分離

顯示的異常點(diǎn)即為異常值的點(diǎn)。??本文采用了?Ｍａｔｌａｂ、ＳＱＬ兩種工具對原始數(shù)據(jù)進(jìn)行初步了質(zhì)量分析，判斷原??始數(shù)據(jù)的數(shù)據(jù)質(zhì)量，檢測了整車數(shù)據(jù)兩個方面的內(nèi)容，如圖３－１所示。??公交ＣＡＮ總法娜檢涮??１?—????１?￣?￣￣?Ｉ???值分析檢測?數(shù)據(jù)錄儉酒??￣?■?￣?Ｉ?￣??１￣?￣￣１?１￣?￣１??Ｍａ?Ｓ??墓?ｔｌａ?于??于?ｂ?拂字??統(tǒng)數(shù)?ｇ?段??計擇?￥?的??方可?￡?數(shù)??法視?廷採??檢化?Ａ?值??測檢?匹??到?Ｋ??圖３－１數(shù)據(jù)檢測手段??Ｆｉｇｕｒｅ?３－１?Ｄａｔａ?Ｄｅｔｅｃｔｉｏｎ?Ｍｅａｎｓ??（１）?ＳＱＬ語言查詢??ＳＱＬ是一種結(jié)構(gòu)化的査詢語言，采用ＳＱＬ語言可以對各個數(shù)據(jù)變量的平均值、??最大值、最小值等數(shù)據(jù)值進(jìn)行查詢，判斷該指標(biāo)的數(shù)據(jù)是否只有唯一值，以及判??斷該指標(biāo)數(shù)據(jù)信息是否有效。以ＬＮＧ燃?xì)廛嚨恼嚁?shù)據(jù)中的氣瓶壓力字段為例，??查詢其平均值、最大值、最小值數(shù)據(jù)值的ＳＱＬ語句如下所示。???ｓｅｌｅｃｔ?ａｖｇ?（ｔ．ｃｙｌｉｎｄｅｒｐｒｅｓｓｕｒｅ?），??ｍａｘ?（ｔ．ｃｙｌｉｎｄｅｒｐｒｅｓｓｕｒｅ?），??ｍｉｎ?（ｔ．ｃｙｌｉｎｄｅｒｐｒｅｓｓｕｒｅ）??ｆｒｏｍ?ＰＢｌ＿ＢＵＳｔ???對重復(fù)數(shù)據(jù)記錄的檢測也可以通過ＳＱＬ語句進(jìn)行，來判斷其是否存在有重復(fù)??記錄。因?yàn)楣唬茫粒螖?shù)據(jù)是按時間來采集的，在進(jìn)行重復(fù)記錄數(shù)據(jù)檢測時，可以??根據(jù)采集時間對數(shù)據(jù)集進(jìn)行排序

【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)環(huán)境下的數(shù)據(jù)質(zhì)量管理策略[J]. 劉金晶,曹文潔.  軟件導(dǎo)刊. 2017(03)
[2]大數(shù)據(jù)研究綜述[J]. 卿勇.  軟件導(dǎo)刊. 2016(12)
[3]我國地方政府開放數(shù)據(jù)的核心元數(shù)據(jù)研究[J]. 于夢月,翟軍,林巖.  情報雜志. 2016(12)
[4]電子檔案元數(shù)據(jù)管理方案策略研究[J]. 陶水龍,田雷.  檔案學(xué)研究. 2016(02)
[5]基于廣東電網(wǎng)大數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法[J]. 江疆,黃劍文,楊秋勇.  現(xiàn)代計算機(jī)(專業(yè)版). 2016(07)
[6]電網(wǎng)GIS基礎(chǔ)數(shù)據(jù)質(zhì)量管理工具設(shè)計與應(yīng)用[J]. 唐凱,鐘一俊,吳惠芬,賀沛宇,徐柳婧,戚偉強(qiáng).  電力信息與通信技術(shù). 2016(02)
[7]CAN總線在智能公交系統(tǒng)中的應(yīng)用[J]. 安連華,管德永,程鵬.  城市公共交通. 2016(01)
[8]運(yùn)營商在大數(shù)據(jù)背景下對數(shù)據(jù)質(zhì)量管理體系的探索及思考[J]. 楊迪,馬怡安,王錚,董斌.  互聯(lián)網(wǎng)天地. 2016(01)
[9]信息化醫(yī)療統(tǒng)計數(shù)據(jù)質(zhì)量管理與控制[J]. 郭菊花.  時代金融. 2015(32)
[10]銀行業(yè)數(shù)據(jù)質(zhì)量管理方法研究與實(shí)踐[J]. 田江,劉晨.  電子科學(xué)技術(shù). 2015(03)

碩士論文
[1]基于模糊綜合評價的道路交通流數(shù)據(jù)質(zhì)量評價研究[D]. 馬韻楠.北京交通大學(xué) 2015
[2]基于元數(shù)據(jù)的銀行數(shù)據(jù)質(zhì)量管理技術(shù)研究[D]. 于天嬌.浙江大學(xué) 2015
[3]運(yùn)營數(shù)據(jù)存儲系統(tǒng)的設(shè)計[D]. 侯利斌.內(nèi)蒙古大學(xué) 2014
[4]基于BI技術(shù)的證券公司客戶分析模型的研究及實(shí)現(xiàn)[D]. 原雷.中國科學(xué)院大學(xué)（工程管理與信息技術(shù)學(xué)院） 2014
[5]數(shù)據(jù)質(zhì)量管理與數(shù)據(jù)清洗技術(shù)的研究與應(yīng)用[D]. 陳孟婕.北京郵電大學(xué) 2013
[6]基于業(yè)務(wù)規(guī)則的數(shù)據(jù)中心數(shù)據(jù)質(zhì)量研究[D]. 叢慧剛.東北石油大學(xué) 2012
[7]移動通信企業(yè)數(shù)據(jù)整合與數(shù)據(jù)質(zhì)量控制研究[D]. 趙俊蛟.天津大學(xué) 2011
[8]基于元數(shù)據(jù)的數(shù)據(jù)質(zhì)量控制與評估模型研究[D]. 劉偉.東北石油大學(xué) 2011
[9]基于元數(shù)據(jù)的數(shù)據(jù)中心管理系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D]. 吉文杰.東華大學(xué) 2011
[10]CAN總線在智能儀表系統(tǒng)中的研究與應(yīng)用[D]. 向科.貴州大學(xué) 2007



本文編號：3126723