本文關(guān)鍵詞：基于Hadoop的橋梁監(jiān)測數(shù)據(jù)孤立點挖掘研究　出處：《重慶交通大學(xué)》2016年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 橋梁監(jiān)測 孤立點挖掘 k-近鄰算法 k-均值聚類

【摘要】：橋梁是公路交通的重要組成部分,保證橋梁的運營安全極為重要。橋梁健康監(jiān)測是一種通用的管理辦法,監(jiān)測數(shù)據(jù)處理是其中的一個核心內(nèi)容。隨著時間的推移,橋梁監(jiān)測系統(tǒng)會累積越來越多的數(shù)據(jù),而傳統(tǒng)的數(shù)據(jù)處理技術(shù)在面對日益增長的數(shù)據(jù)存儲與處理時壓力越來越大。Hadoop是一種流行的大數(shù)據(jù)處理平臺,它以HDFS分布式文件存儲系統(tǒng)及MapReduce計算框架為核心,Hive、Sqoop等工具為枝干,形成了一個完整的大數(shù)據(jù)處理生態(tài)系統(tǒng),使用Hadoop處理大量橋梁監(jiān)測數(shù)據(jù),具有理論意義及現(xiàn)實價值。數(shù)據(jù)挖掘是常用的一種數(shù)據(jù)處理手段,孤立點挖掘是其中的熱門研究之一,目前在許多行業(yè)與領(lǐng)域如網(wǎng)絡(luò)入侵檢測、天氣預(yù)報等都有所應(yīng)用,而在橋梁監(jiān)測領(lǐng)域,孤立點數(shù)據(jù)的挖掘研究還沒有得到足夠重視。本文主要研究基于Hadoop的橋梁監(jiān)測數(shù)據(jù)孤立點挖掘方案,研究內(nèi)容體現(xiàn)在以下幾個方面:第一,針對K-近鄰孤立點算法開銷大的缺點,結(jié)合劃分思想、聚類思想及最小限界矩陣理論進行了改進,提出一種基于k-均值聚類劃分的k-近鄰孤立點算法(KMKNN)。該算法首先對數(shù)據(jù)集進行均值聚類,以聚類結(jié)果作為劃分依據(jù)把數(shù)據(jù)集分成不同區(qū)域,判斷每個區(qū)域是否包含孤立點,對不存在孤立點的區(qū)域進行剪枝處理,最后對包含孤立點的候選區(qū)域中的數(shù)據(jù)進行k-近鄰計算,得到孤立點。實驗表明,改進算法相比原始K-近鄰算法提高了運算效率。第二,KMKNN算法的缺點在于對數(shù)據(jù)集進行K-均值聚類時,需要給定聚類數(shù)目且隨機選取初始聚類中心,得到的聚類結(jié)果精度不高,使得最終得到的孤立點不準確。因此,對KMKNN算法進行改進,使用Canopy聚類計算初始聚類數(shù)目,使用最大最小距離算法計算初始聚類中心,提出一種基于Canopy與最大最小距離算法的均值聚類劃分k-近鄰算法(CMM-KMKNN)。實驗表明,改進算法提高了聚類精度及孤立點精度。第三,由于KMKNN及CMM-KMKNN算法需要對數(shù)據(jù)進行大量迭代計算操作,算法開銷大,因此搭建了一個Hadoop集群實驗環(huán)境,對KMKNN與CMM-KMKNN算法實現(xiàn)Hadoop并行化。利用并行化后的KMKNN及CMM-KMKNN算法進行橋梁數(shù)據(jù)孤立點挖掘。實驗表明,并行算法提高了數(shù)據(jù)處理速度,得到的孤立點數(shù)據(jù)準確。
【學(xué)位授予單位】：重慶交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：U446;TP311.13

【相似文獻】

相關(guān)期刊論文 前10條

1 楊臻;;一種改進的孤立點檢測算法及其應(yīng)用[J];制造業(yè)自動化;2010年02期

2 朱秀莉;顧洪博;楊冬黎;;孤立點檢測及在煤礦安全預(yù)警系統(tǒng)中的應(yīng)用[J];河北工程大學(xué)學(xué)報(自然科學(xué)版);2011年02期

3 韋佳;彭宏;林毅申;;基于改進距離的孤立點檢測方法[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2008年09期

4 王越;劉亞輝;徐傳運;;基于距離和的孤立點用戶意義分析算法及應(yīng)用[J];重慶理工大學(xué)學(xué)報(自然科學(xué)版);2010年01期

5 秦艷華;;數(shù)據(jù)挖掘技術(shù)中孤立點的分析研究[J];硅谷;2010年04期

6 田銀磊;王亞利;;一種改進的聚類和孤立點檢測算法[J];科學(xué)技術(shù)與工程;2010年22期

7 朱政;劉侃;;孤立點分析在稅務(wù)審計上的發(fā)展運用[J];硅谷;2012年19期

8 楊臻;張明慧;;基于雙倍距離的孤立點檢測算法研究[J];制造業(yè)自動化;2013年15期

9 白楊;宋文愛;;基于關(guān)聯(lián)的孤立點檢測算法研究與改進[J];機械管理開發(fā);2008年04期

10 王建州;李廉;李澤慧;;基于混沌的孤立點最優(yōu)識別與探測[J];哈爾濱工業(yè)大學(xué)學(xué)報;2006年11期

相關(guān)會議論文 前5條

1 原忠義;唐文忠;許小林;;基于孤立點檢測方法對于數(shù)據(jù)庫異常入侵的分析[A];2006中國控制與決策學(xué)術(shù)年會論文集[C];2006年

2 邵峰晶;孫仁誠;于忠清;;基于單元的孤立點發(fā)現(xiàn)改進算法[A];全面建設(shè)小康社會：中國科技工作者的歷史責(zé)任——中國科協(xié)2003年學(xué)術(shù)年會論文集（上）[C];2003年

3 房偉;逄玉俊;路爽;;基于相異度系數(shù)和的孤立點挖掘應(yīng)用與研究[A];2006“數(shù)學(xué)技術(shù)應(yīng)用科學(xué)”[C];2006年

4 鄭健;皮德常;;基于共享最近鄰的聚類和孤立點檢測算法[A];第一屆中國高校通信類院系學(xué)術(shù)研討會論文集[C];2007年

5 廖國瓊;李晶;;基于距離的分布式RFID數(shù)據(jù)流孤立點檢測[A];第26屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（A輯）[C];2009年

相關(guān)博士學(xué)位論文 前3條

1 田江;基于支持向量機的孤立點檢測方法研究[D];大連理工大學(xué);2009年

2 余建橋;基于云理論與數(shù)據(jù)場的空間孤立點挖掘研究[D];西南農(nóng)業(yè)大學(xué);2005年

3 牛琨;聚類分析中若干關(guān)鍵技術(shù)及其在電信領(lǐng)域的應(yīng)用研究[D];北京郵電大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 汪博;基于大數(shù)據(jù)的數(shù)據(jù)轉(zhuǎn)換平臺的設(shè)計與實現(xiàn)[D];東南大學(xué);2015年

2 譚京京;基于Hadoop的橋梁監(jiān)測數(shù)據(jù)孤立點挖掘研究[D];重慶交通大學(xué);2016年

3 李寧;基于密度的孤立點檢測技術(shù)研究[D];華中科技大學(xué);2007年

4 劉美玲;基于綜合策略支持向量機的孤立點檢測技術(shù)[D];大連理工大學(xué);2010年

5 劉巍;基于聚類的孤立點發(fā)現(xiàn)技術(shù)研究及其在審計中的應(yīng)用[D];中國海洋大學(xué);2010年

6 顧新財;面向多維數(shù)據(jù)的孤立點挖掘方法研究[D];遼寧工業(yè)大學(xué);2011年

7 劉世杰;基于孤立系數(shù)的孤立點檢測研究[D];中南大學(xué);2011年

8 周書勇;高維孤立點檢測算法研究[D];江蘇大學(xué);2007年

9 朱吉龍;孤立點檢測在移動通信數(shù)據(jù)分析上的研究與應(yīng)用[D];廣東工業(yè)大學(xué);2013年

10 黃慧連;基于關(guān)聯(lián)規(guī)則與孤立點的信息舞弊特征識別研究[D];華北電力大學(xué);2013年

，

本文編號：1324237