本文關(guān)鍵詞：船舶監(jiān)控系統(tǒng)中實(shí)時(shí)數(shù)據(jù)清洗技術(shù)研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著航運(yùn)船舶數(shù)量的逐年增加,人們對(duì)船舶航行安全的要求也在不斷提高。對(duì)船舶設(shè)備運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控是確保船舶安全運(yùn)行的主要技術(shù)手段之一。由于船舶設(shè)備數(shù)量大、型號(hào)多、工作環(huán)境惡劣和采集儀器自身誤差,導(dǎo)致采集到的監(jiān)控?cái)?shù)據(jù)中不可避免地存在冗余、缺失等問題,影響對(duì)船舶設(shè)備運(yùn)行狀態(tài)的正確判斷。因此本文重點(diǎn)研究船舶監(jiān)控系統(tǒng)中實(shí)時(shí)數(shù)據(jù)清洗技術(shù),主要解決監(jiān)控?cái)?shù)據(jù)中的冗余問題和缺失問題。本文主要研究?jī)?nèi)容如下:(1)進(jìn)行了船舶監(jiān)控系統(tǒng)的需求分析,設(shè)計(jì)了系統(tǒng)的總體框架,闡述了系統(tǒng)的關(guān)鍵技術(shù)。(2)針對(duì)船舶采集數(shù)據(jù)中的冗余問題,提出一種基于SNM的改進(jìn)冗余數(shù)據(jù)消除算法。針對(duì)傳統(tǒng)SNM算法中滑動(dòng)窗口大小難以選取的問題,采用可伸縮和可變速窗口,在對(duì)記錄進(jìn)行匹配時(shí)既可以避免漏配,也減少了不必要的記錄比較。對(duì)于原算法中字段匹配準(zhǔn)確率不高的問題,采用余弦相似度匹配算法,提高匹配精度。在記錄比較過程中提出Top-k有效權(quán)重過濾算法,減少字段匹配次數(shù),提高檢測(cè)效率。經(jīng)過實(shí)驗(yàn)證明該優(yōu)化算法無論在召回率還是準(zhǔn)確率上都取得了良好的應(yīng)用效果。(3)針對(duì)船舶采集數(shù)據(jù)中的缺失問題,提出一種基于KNN的改進(jìn)缺失數(shù)據(jù)填補(bǔ)算法。傳統(tǒng)KNN算法在每一次計(jì)算樣本距離時(shí)都需要考慮整個(gè)樣本集,在處理高維數(shù)據(jù)時(shí)時(shí)間消耗大,針對(duì)此缺陷提出改進(jìn)的復(fù)相關(guān)系數(shù)倒數(shù)賦權(quán)法對(duì)數(shù)據(jù)集進(jìn)行簡(jiǎn)化操作,大大降低計(jì)算復(fù)雜度。對(duì)于KNN算法中歐式距離在計(jì)算K個(gè)近鄰時(shí)存在的不足,提出將馬氏距離與灰色關(guān)聯(lián)分析兩類方法相結(jié)合,使樣本中離散型和連續(xù)型屬性值都得到有效處理。最后計(jì)算填補(bǔ)值時(shí),引入熵權(quán)概念,通過熵權(quán)值設(shè)置每個(gè)近鄰相關(guān)屬性的權(quán)重,增加填補(bǔ)值的客觀性和準(zhǔn)確性。實(shí)驗(yàn)證明該算法無論在填補(bǔ)數(shù)值的準(zhǔn)確性還是穩(wěn)定性上都取得很好的效果。(4)結(jié)合了船舶監(jiān)控系統(tǒng)的開發(fā)過程,給出了系統(tǒng)關(guān)鍵技術(shù)的具體實(shí)現(xiàn)及主要功能的應(yīng)用情況,應(yīng)用表明論文的研究成果是有效的。
【關(guān)鍵詞】：船舶監(jiān)控 數(shù)據(jù)清洗 冗余數(shù)據(jù) 缺失數(shù)據(jù) SNM算法 KNN算法
【學(xué)位授予單位】：南京航空航天大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：U665.26;TP277
【目錄】：

• 摘要4-5
• abstract5-12
• 縮略詞12-13
• 第一章 緒論13-22
• 1.1 研究背景及意義13-15
• 1.2 現(xiàn)代船舶監(jiān)控系統(tǒng)研究現(xiàn)狀15-16
• 1.3 關(guān)鍵技術(shù)研究現(xiàn)狀16-19
• 1.3.1 冗余數(shù)據(jù)消除技術(shù)16-18
• 1.3.2 缺失數(shù)據(jù)填補(bǔ)技術(shù)18-19
• 1.4 論文研究?jī)?nèi)容及組織結(jié)構(gòu)19-22
• 1.4.1 主要研究?jī)?nèi)容19-20
• 1.4.2 組織結(jié)構(gòu)20-22
• 第二章 船舶監(jiān)控系統(tǒng)設(shè)計(jì)22-36
• 2.1 系統(tǒng)需求分析22-24
• 2.1.1 功能需求22-23
• 2.1.2 性能需求23-24
• 2.2 系統(tǒng)總體框架設(shè)計(jì)24-27
• 2.3 主要功能模塊27-30
• 2.3.1 機(jī)艙狀態(tài)監(jiān)控功能27-28
• 2.3.2 實(shí)時(shí)報(bào)警功能28-29
• 2.3.3 歷史數(shù)據(jù)查詢功能29-30
• 2.4 系統(tǒng)關(guān)鍵技術(shù)30-35
• 2.4.1 消息服務(wù)機(jī)制實(shí)現(xiàn)過程31-32
• 2.4.2 相似重復(fù)記錄檢測(cè)與消除技術(shù)32-33
• 2.4.3 缺失值填充技術(shù)33-35
• 2.5 本章小結(jié)35-36
• 第三章 基于SNM的改進(jìn)冗余數(shù)據(jù)消除算法36-48
• 3.1 相似重復(fù)記錄檢測(cè)與歸并算法36-38
• 3.1.1 字段匹配相關(guān)算法36-37
• 3.1.2 相似重復(fù)記錄歸并算法37-38
• 3.2 改進(jìn)的SNM算法設(shè)計(jì)38-44
• 3.2.1 算法總體設(shè)計(jì)38-40
• 3.2.2 可變速和可伸縮窗口40-41
• 3.2.3 字段匹配算法設(shè)計(jì)41-42
• 3.2.4 Top-k有效權(quán)重過濾算法42-44
• 3.3 數(shù)據(jù)清洗算法評(píng)判標(biāo)準(zhǔn)44
• 3.3.1 召回率（Recall）44
• 3.3.2 準(zhǔn)確率（Precision）44
• 3.4 實(shí)驗(yàn)及結(jié)果分析44-47
• 3.5 本章小結(jié)47-48
• 第四章 基于KNN的改進(jìn)缺失數(shù)據(jù)填補(bǔ)算法48-58
• 4.1 缺失數(shù)據(jù)填補(bǔ)算法48-51
• 4.1.1 距離算法48-50
• 4.1.2 缺失數(shù)據(jù)填充方法50-51
• 4.2 改進(jìn)的KNN算法設(shè)計(jì)51-55
• 4.2.1 算法總體設(shè)計(jì)51-52
• 4.2.2 改進(jìn)的復(fù)相關(guān)系數(shù)倒數(shù)賦權(quán)法52-53
• 4.2.3 馬氏距離和灰色關(guān)聯(lián)度計(jì)算53-54
• 4.2.4 缺失值填充54-55
• 4.3 實(shí)驗(yàn)結(jié)果及分析55-57
• 4.4 本章小結(jié)57-58
• 第五章 系統(tǒng)的實(shí)現(xiàn)與應(yīng)用58-73
• 5.1 項(xiàng)目背景58-59
• 5.2 系統(tǒng)開發(fā)平臺(tái)和運(yùn)行環(huán)境59
• 5.3 系統(tǒng)功能框架59-61
• 5.4 系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)61
• 5.5 系統(tǒng)功能實(shí)現(xiàn)61-72
• 5.5.1 基于RS485總線通信和數(shù)據(jù)采集61-64
• 5.5.2 關(guān)鍵技術(shù)實(shí)現(xiàn)64-68
• 5.5.3 運(yùn)行實(shí)例68-72
• 5.6 本章小結(jié)72-73
• 第六章 總結(jié)與展望73-75
• 6.1 總結(jié)73-74
• 6.2 展望74-75
• 參考文獻(xiàn)75-79
• 致謝79-80
• 在學(xué)期間的研究成果及發(fā)表的學(xué)術(shù)論文80

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 陽小華;李萌;;基于分布特征的異常成績(jī)檢測(cè)方法[J];南華大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年04期

2 楊家娥;聶道華;周楓;游進(jìn)國(guó);李勃;;一種面向社保領(lǐng)域的數(shù)據(jù)清洗整合系統(tǒng)架構(gòu)[J];科學(xué)技術(shù)與工程;2010年29期

3 高陽;;基于多屬性聯(lián)合分析的數(shù)據(jù)清洗技術(shù)及其應(yīng)用[J];科學(xué)技術(shù)與工程;2011年16期

4 李萌;陽小華;;基于距離的異常成績(jī)檢測(cè)方法[J];南華大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年04期

5 秦玲;齊彤巖;吳鵬;;斷面交通檢測(cè)數(shù)據(jù)清洗技術(shù)及其應(yīng)用研究[J];公路交通科技(應(yīng)用技術(shù)版);2007年01期

6 谷峪;李曉靜;呂雁飛;于戈;;基于RFID應(yīng)用的綜合性數(shù)據(jù)清洗策略[J];東北大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年01期

7 張建中;方正;熊擁軍;袁小一;;對(duì)基于SNM數(shù)據(jù)清洗算法的優(yōu)化[J];中南大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年06期

8 潘偉杰;李少波;許吉斌;;自適應(yīng)時(shí)間閾值的RFID數(shù)據(jù)清洗算法[J];制造業(yè)自動(dòng)化;2012年13期

9 劉峰;成衛(wèi);;面向ATMS的道路安全信息清洗技術(shù)研究[J];交通信息與安全;2012年06期

10 吳新淼;李少波;唐向紅;黃海松;;基于距離-信號(hào)模型的RFID數(shù)據(jù)清洗算法[J];組合機(jī)床與自動(dòng)化加工技術(shù);2014年05期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 俞榮華;郭志懋;田增平;周傲英;;一個(gè)可擴(kuò)展的數(shù)據(jù)清洗系統(tǒng)[A];第十八屆全國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2001年

2 崔運(yùn)釧;劉連忠;;一種可擴(kuò)展的數(shù)據(jù)清洗系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];2006年

3 汪愛民;;寶鋼全流程合同數(shù)據(jù)清洗與組織方案的設(shè)計(jì)和應(yīng)用[A];全國(guó)冶金自動(dòng)化信息網(wǎng)2014年會(huì)論文集[C];2014年

4 蔣勇青;楊奕虹;楊賀;;論數(shù)據(jù)清洗對(duì)信息檢索質(zhì)量的影響及清洗方法[A];2011年中國(guó)索引學(xué)會(huì)年會(huì)暨成立二十周年慶典論文集[C];2011年

5 李智;宋杰;冷芳玲;王大玲;鮑玉斌;于戈;;一種基于構(gòu)件擴(kuò)展的數(shù)據(jù)清洗框架[A];第二十五屆中國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（一）[C];2008年

6 高淑娟;鮑玉斌;江志綱;王大玲;于戈;;一種基于最小風(fēng)險(xiǎn)貝葉斯決策的數(shù)據(jù)清洗策略[A];第十九屆全國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2002年

7 王妍;石鑫;宋寶燕;;基于偽事件的RFID數(shù)據(jù)清洗方法[A];第26屆中國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（B輯）[C];2009年

8 李曉靜;谷峪;呂雁飛;王艷秋;于戈;;基于動(dòng)態(tài)事件概率模型的高效RFID數(shù)據(jù)清洗算法[A];第二十五屆中國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（二）[C];2008年

9 肖英治;陳紅;;帶數(shù)據(jù)清洗功能的數(shù)據(jù)預(yù)處理系統(tǒng)PW-ETL的設(shè)計(jì)與實(shí)現(xiàn)[A];第二十一屆中國(guó)數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2004年

10 趙之慧;;專利數(shù)據(jù)加工[A];2014年中華全國(guó)專利代理人協(xié)會(huì)年會(huì)第五屆知識(shí)產(chǎn)權(quán)論壇論文（第二部分）[C];2014年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫 前1條

1 中國(guó)人民財(cái)產(chǎn)保險(xiǎn)股份有限公司信息技術(shù)部副總經(jīng)理 鹿慧　編譯;在SOA中創(chuàng)建獨(dú)立的數(shù)據(jù)清洗服務(wù)[N];計(jì)算機(jī)世界;2009年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 樊華;面向物聯(lián)網(wǎng)的RFID不確定數(shù)據(jù)清洗與存儲(chǔ)技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 高寶;不確定性RFID數(shù)據(jù)清洗算法研究[D];南京信息工程大學(xué);2015年

2 葉晨;基于眾包的數(shù)據(jù)清洗關(guān)鍵技術(shù)的研究[D];哈爾濱工業(yè)大學(xué);2015年

3 張曉東;基于業(yè)務(wù)模型的數(shù)據(jù)清洗與整合平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

4 艾超;針對(duì)在線產(chǎn)品支撐數(shù)據(jù)的過濾和分析系統(tǒng)的研究與設(shè)計(jì)[D];電子科技大學(xué);2015年

5 金翰偉;基于Spark的大數(shù)據(jù)清洗框架設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2016年

6 王江;數(shù)據(jù)清洗技術(shù)研究及清洗框架的設(shè)計(jì)與實(shí)現(xiàn)[D];內(nèi)蒙古大學(xué);2016年

7 陳飛;基于MapReduce的數(shù)據(jù)清洗算法研究[D];昆明理工大學(xué);2016年

8 李寧寧;大數(shù)據(jù)清洗系統(tǒng)中優(yōu)化技術(shù)的研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2016年

9 盛丹丹;面向農(nóng)業(yè)領(lǐng)域知識(shí)庫構(gòu)建的數(shù)據(jù)清洗方法優(yōu)化研究[D];中國(guó)農(nóng)業(yè)科學(xué)院;2016年

10 鄭紀(jì)玲;數(shù)據(jù)清洗在構(gòu)建POI數(shù)據(jù)倉庫中的研究與應(yīng)用[D];中國(guó)礦業(yè)大學(xué);2016年

  本文關(guān)鍵詞：船舶監(jiān)控系統(tǒng)中實(shí)時(shí)數(shù)據(jù)清洗技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：255175