本文關(guān)鍵詞：基于Hadoop的橋梁監(jiān)測(cè)數(shù)據(jù)孤立點(diǎn)挖掘研究　出處：《重慶交通大學(xué)》2016年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 橋梁監(jiān)測(cè) 孤立點(diǎn)挖掘 k-近鄰算法 k-均值聚類

【摘要】：橋梁是公路交通的重要組成部分,保證橋梁的運(yùn)營安全極為重要。橋梁健康監(jiān)測(cè)是一種通用的管理辦法,監(jiān)測(cè)數(shù)據(jù)處理是其中的一個(gè)核心內(nèi)容。隨著時(shí)間的推移,橋梁監(jiān)測(cè)系統(tǒng)會(huì)累積越來越多的數(shù)據(jù),而傳統(tǒng)的數(shù)據(jù)處理技術(shù)在面對(duì)日益增長的數(shù)據(jù)存儲(chǔ)與處理時(shí)壓力越來越大。Hadoop是一種流行的大數(shù)據(jù)處理平臺(tái),它以HDFS分布式文件存儲(chǔ)系統(tǒng)及MapReduce計(jì)算框架為核心,Hive、Sqoop等工具為枝干,形成了一個(gè)完整的大數(shù)據(jù)處理生態(tài)系統(tǒng),使用Hadoop處理大量橋梁監(jiān)測(cè)數(shù)據(jù),具有理論意義及現(xiàn)實(shí)價(jià)值。數(shù)據(jù)挖掘是常用的一種數(shù)據(jù)處理手段,孤立點(diǎn)挖掘是其中的熱門研究之一,目前在許多行業(yè)與領(lǐng)域如網(wǎng)絡(luò)入侵檢測(cè)、天氣預(yù)報(bào)等都有所應(yīng)用,而在橋梁監(jiān)測(cè)領(lǐng)域,孤立點(diǎn)數(shù)據(jù)的挖掘研究還沒有得到足夠重視。本文主要研究基于Hadoop的橋梁監(jiān)測(cè)數(shù)據(jù)孤立點(diǎn)挖掘方案,研究?jī)?nèi)容體現(xiàn)在以下幾個(gè)方面:第一,針對(duì)K-近鄰孤立點(diǎn)算法開銷大的缺點(diǎn),結(jié)合劃分思想、聚類思想及最小限界矩陣?yán)碚撨M(jìn)行了改進(jìn),提出一種基于k-均值聚類劃分的k-近鄰孤立點(diǎn)算法(KMKNN)。該算法首先對(duì)數(shù)據(jù)集進(jìn)行均值聚類,以聚類結(jié)果作為劃分依據(jù)把數(shù)據(jù)集分成不同區(qū)域,判斷每個(gè)區(qū)域是否包含孤立點(diǎn),對(duì)不存在孤立點(diǎn)的區(qū)域進(jìn)行剪枝處理,最后對(duì)包含孤立點(diǎn)的候選區(qū)域中的數(shù)據(jù)進(jìn)行k-近鄰計(jì)算,得到孤立點(diǎn)。實(shí)驗(yàn)表明,改進(jìn)算法相比原始K-近鄰算法提高了運(yùn)算效率。第二,KMKNN算法的缺點(diǎn)在于對(duì)數(shù)據(jù)集進(jìn)行K-均值聚類時(shí),需要給定聚類數(shù)目且隨機(jī)選取初始聚類中心,得到的聚類結(jié)果精度不高,使得最終得到的孤立點(diǎn)不準(zhǔn)確。因此,對(duì)KMKNN算法進(jìn)行改進(jìn),使用Canopy聚類計(jì)算初始聚類數(shù)目,使用最大最小距離算法計(jì)算初始聚類中心,提出一種基于Canopy與最大最小距離算法的均值聚類劃分k-近鄰算法(CMM-KMKNN)。實(shí)驗(yàn)表明,改進(jìn)算法提高了聚類精度及孤立點(diǎn)精度。第三,由于KMKNN及CMM-KMKNN算法需要對(duì)數(shù)據(jù)進(jìn)行大量迭代計(jì)算操作,算法開銷大,因此搭建了一個(gè)Hadoop集群實(shí)驗(yàn)環(huán)境,對(duì)KMKNN與CMM-KMKNN算法實(shí)現(xiàn)Hadoop并行化。利用并行化后的KMKNN及CMM-KMKNN算法進(jìn)行橋梁數(shù)據(jù)孤立點(diǎn)挖掘。實(shí)驗(yàn)表明,并行算法提高了數(shù)據(jù)處理速度,得到的孤立點(diǎn)數(shù)據(jù)準(zhǔn)確。
【學(xué)位授予單位】：重慶交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：U446;TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊臻;;一種改進(jìn)的孤立點(diǎn)檢測(cè)算法及其應(yīng)用[J];制造業(yè)自動(dòng)化;2010年02期

2 朱秀莉;顧洪博;楊冬黎;;孤立點(diǎn)檢測(cè)及在煤礦安全預(yù)警系統(tǒng)中的應(yīng)用[J];河北工程大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年02期

3 韋佳;彭宏;林毅申;;基于改進(jìn)距離的孤立點(diǎn)檢測(cè)方法[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年09期

4 王越;劉亞輝;徐傳運(yùn);;基于距離和的孤立點(diǎn)用戶意義分析算法及應(yīng)用[J];重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年01期

5 秦艷華;;數(shù)據(jù)挖掘技術(shù)中孤立點(diǎn)的分析研究[J];硅谷;2010年04期

6 田銀磊;王亞利;;一種改進(jìn)的聚類和孤立點(diǎn)檢測(cè)算法[J];科學(xué)技術(shù)與工程;2010年22期

7 朱政;劉侃;;孤立點(diǎn)分析在稅務(wù)審計(jì)上的發(fā)展運(yùn)用[J];硅谷;2012年19期

8 楊臻;張明慧;;基于雙倍距離的孤立點(diǎn)檢測(cè)算法研究[J];制造業(yè)自動(dòng)化;2013年15期

9 白楊;宋文愛;;基于關(guān)聯(lián)的孤立點(diǎn)檢測(cè)算法研究與改進(jìn)[J];機(jī)械管理開發(fā);2008年04期

10 王建州;李廉;李澤慧;;基于混沌的孤立點(diǎn)最優(yōu)識(shí)別與探測(cè)[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);2006年11期

相關(guān)會(huì)議論文 前5條

1 原忠義;唐文忠;許小林;;基于孤立點(diǎn)檢測(cè)方法對(duì)于數(shù)據(jù)庫異常入侵的分析[A];2006中國控制與決策學(xué)術(shù)年會(huì)論文集[C];2006年

2 邵峰晶;孫仁誠;于忠清;;基于單元的孤立點(diǎn)發(fā)現(xiàn)改進(jìn)算法[A];全面建設(shè)小康社會(huì)：中國科技工作者的歷史責(zé)任——中國科協(xié)2003年學(xué)術(shù)年會(huì)論文集（上）[C];2003年

3 房偉;逄玉俊;路爽;;基于相異度系數(shù)和的孤立點(diǎn)挖掘應(yīng)用與研究[A];2006“數(shù)學(xué)技術(shù)應(yīng)用科學(xué)”[C];2006年

4 鄭健;皮德常;;基于共享最近鄰的聚類和孤立點(diǎn)檢測(cè)算法[A];第一屆中國高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2007年

5 廖國瓊;李晶;;基于距離的分布式RFID數(shù)據(jù)流孤立點(diǎn)檢測(cè)[A];第26屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（A輯）[C];2009年

相關(guān)博士學(xué)位論文 前3條

1 田江;基于支持向量機(jī)的孤立點(diǎn)檢測(cè)方法研究[D];大連理工大學(xué);2009年

2 余建橋;基于云理論與數(shù)據(jù)場(chǎng)的空間孤立點(diǎn)挖掘研究[D];西南農(nóng)業(yè)大學(xué);2005年

3 牛琨;聚類分析中若干關(guān)鍵技術(shù)及其在電信領(lǐng)域的應(yīng)用研究[D];北京郵電大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 汪博;基于大數(shù)據(jù)的數(shù)據(jù)轉(zhuǎn)換平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];東南大學(xué);2015年

2 譚京京;基于Hadoop的橋梁監(jiān)測(cè)數(shù)據(jù)孤立點(diǎn)挖掘研究[D];重慶交通大學(xué);2016年

3 李寧;基于密度的孤立點(diǎn)檢測(cè)技術(shù)研究[D];華中科技大學(xué);2007年

4 劉美玲;基于綜合策略支持向量機(jī)的孤立點(diǎn)檢測(cè)技術(shù)[D];大連理工大學(xué);2010年

5 劉巍;基于聚類的孤立點(diǎn)發(fā)現(xiàn)技術(shù)研究及其在審計(jì)中的應(yīng)用[D];中國海洋大學(xué);2010年

6 顧新財(cái);面向多維數(shù)據(jù)的孤立點(diǎn)挖掘方法研究[D];遼寧工業(yè)大學(xué);2011年

7 劉世杰;基于孤立系數(shù)的孤立點(diǎn)檢測(cè)研究[D];中南大學(xué);2011年

8 周書勇;高維孤立點(diǎn)檢測(cè)算法研究[D];江蘇大學(xué);2007年

9 朱吉龍;孤立點(diǎn)檢測(cè)在移動(dòng)通信數(shù)據(jù)分析上的研究與應(yīng)用[D];廣東工業(yè)大學(xué);2013年

10 黃慧連;基于關(guān)聯(lián)規(guī)則與孤立點(diǎn)的信息舞弊特征識(shí)別研究[D];華北電力大學(xué);2013年

，

本文編號(hào)：1324237