本文關鍵詞：船舶監(jiān)控系統中實時數據清洗技術研究，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著航運船舶數量的逐年增加,人們對船舶航行安全的要求也在不斷提高。對船舶設備運行狀態(tài)進行實時監(jiān)控是確保船舶安全運行的主要技術手段之一。由于船舶設備數量大、型號多、工作環(huán)境惡劣和采集儀器自身誤差,導致采集到的監(jiān)控數據中不可避免地存在冗余、缺失等問題,影響對船舶設備運行狀態(tài)的正確判斷。因此本文重點研究船舶監(jiān)控系統中實時數據清洗技術,主要解決監(jiān)控數據中的冗余問題和缺失問題。本文主要研究內容如下:(1)進行了船舶監(jiān)控系統的需求分析,設計了系統的總體框架,闡述了系統的關鍵技術。(2)針對船舶采集數據中的冗余問題,提出一種基于SNM的改進冗余數據消除算法。針對傳統SNM算法中滑動窗口大小難以選取的問題,采用可伸縮和可變速窗口,在對記錄進行匹配時既可以避免漏配,也減少了不必要的記錄比較。對于原算法中字段匹配準確率不高的問題,采用余弦相似度匹配算法,提高匹配精度。在記錄比較過程中提出Top-k有效權重過濾算法,減少字段匹配次數,提高檢測效率。經過實驗證明該優(yōu)化算法無論在召回率還是準確率上都取得了良好的應用效果。(3)針對船舶采集數據中的缺失問題,提出一種基于KNN的改進缺失數據填補算法。傳統KNN算法在每一次計算樣本距離時都需要考慮整個樣本集,在處理高維數據時時間消耗大,針對此缺陷提出改進的復相關系數倒數賦權法對數據集進行簡化操作,大大降低計算復雜度。對于KNN算法中歐式距離在計算K個近鄰時存在的不足,提出將馬氏距離與灰色關聯分析兩類方法相結合,使樣本中離散型和連續(xù)型屬性值都得到有效處理。最后計算填補值時,引入熵權概念,通過熵權值設置每個近鄰相關屬性的權重,增加填補值的客觀性和準確性。實驗證明該算法無論在填補數值的準確性還是穩(wěn)定性上都取得很好的效果。(4)結合了船舶監(jiān)控系統的開發(fā)過程,給出了系統關鍵技術的具體實現及主要功能的應用情況,應用表明論文的研究成果是有效的。
【關鍵詞】：船舶監(jiān)控 數據清洗 冗余數據 缺失數據 SNM算法 KNN算法
【學位授予單位】：南京航空航天大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：U665.26;TP277
【目錄】：

• 摘要4-5
• abstract5-12
• 縮略詞12-13
• 第一章 緒論13-22
• 1.1 研究背景及意義13-15
• 1.2 現代船舶監(jiān)控系統研究現狀15-16
• 1.3 關鍵技術研究現狀16-19
• 1.3.1 冗余數據消除技術16-18
• 1.3.2 缺失數據填補技術18-19
• 1.4 論文研究內容及組織結構19-22
• 1.4.1 主要研究內容19-20
• 1.4.2 組織結構20-22
• 第二章 船舶監(jiān)控系統設計22-36
• 2.1 系統需求分析22-24
• 2.1.1 功能需求22-23
• 2.1.2 性能需求23-24
• 2.2 系統總體框架設計24-27
• 2.3 主要功能模塊27-30
• 2.3.1 機艙狀態(tài)監(jiān)控功能27-28
• 2.3.2 實時報警功能28-29
• 2.3.3 歷史數據查詢功能29-30
• 2.4 系統關鍵技術30-35
• 2.4.1 消息服務機制實現過程31-32
• 2.4.2 相似重復記錄檢測與消除技術32-33
• 2.4.3 缺失值填充技術33-35
• 2.5 本章小結35-36
• 第三章 基于SNM的改進冗余數據消除算法36-48
• 3.1 相似重復記錄檢測與歸并算法36-38
• 3.1.1 字段匹配相關算法36-37
• 3.1.2 相似重復記錄歸并算法37-38
• 3.2 改進的SNM算法設計38-44
• 3.2.1 算法總體設計38-40
• 3.2.2 可變速和可伸縮窗口40-41
• 3.2.3 字段匹配算法設計41-42
• 3.2.4 Top-k有效權重過濾算法42-44
• 3.3 數據清洗算法評判標準44
• 3.3.1 召回率（Recall）44
• 3.3.2 準確率（Precision）44
• 3.4 實驗及結果分析44-47
• 3.5 本章小結47-48
• 第四章 基于KNN的改進缺失數據填補算法48-58
• 4.1 缺失數據填補算法48-51
• 4.1.1 距離算法48-50
• 4.1.2 缺失數據填充方法50-51
• 4.2 改進的KNN算法設計51-55
• 4.2.1 算法總體設計51-52
• 4.2.2 改進的復相關系數倒數賦權法52-53
• 4.2.3 馬氏距離和灰色關聯度計算53-54
• 4.2.4 缺失值填充54-55
• 4.3 實驗結果及分析55-57
• 4.4 本章小結57-58
• 第五章 系統的實現與應用58-73
• 5.1 項目背景58-59
• 5.2 系統開發(fā)平臺和運行環(huán)境59
• 5.3 系統功能框架59-61
• 5.4 系統網絡結構61
• 5.5 系統功能實現61-72
• 5.5.1 基于RS485總線通信和數據采集61-64
• 5.5.2 關鍵技術實現64-68
• 5.5.3 運行實例68-72
• 5.6 本章小結72-73
• 第六章 總結與展望73-75
• 6.1 總結73-74
• 6.2 展望74-75
• 參考文獻75-79
• 致謝79-80
• 在學期間的研究成果及發(fā)表的學術論文80

【相似文獻】

中國期刊全文數據庫 前10條

1 陽小華;李萌;;基于分布特征的異常成績檢測方法[J];南華大學學報(自然科學版);2008年04期

2 楊家娥;聶道華;周楓;游進國;李勃;;一種面向社保領域的數據清洗整合系統架構[J];科學技術與工程;2010年29期

3 高陽;;基于多屬性聯合分析的數據清洗技術及其應用[J];科學技術與工程;2011年16期

4 李萌;陽小華;;基于距離的異常成績檢測方法[J];南華大學學報(自然科學版);2009年04期

5 秦玲;齊彤巖;吳鵬;;斷面交通檢測數據清洗技術及其應用研究[J];公路交通科技(應用技術版);2007年01期

6 谷峪;李曉靜;呂雁飛;于戈;;基于RFID應用的綜合性數據清洗策略[J];東北大學學報(自然科學版);2009年01期

7 張建中;方正;熊擁軍;袁小一;;對基于SNM數據清洗算法的優(yōu)化[J];中南大學學報(自然科學版);2010年06期

8 潘偉杰;李少波;許吉斌;;自適應時間閾值的RFID數據清洗算法[J];制造業(yè)自動化;2012年13期

9 劉峰;成衛(wèi);;面向ATMS的道路安全信息清洗技術研究[J];交通信息與安全;2012年06期

10 吳新淼;李少波;唐向紅;黃海松;;基于距離-信號模型的RFID數據清洗算法[J];組合機床與自動化加工技術;2014年05期

中國重要會議論文全文數據庫 前10條

1 俞榮華;郭志懋;田增平;周傲英;;一個可擴展的數據清洗系統[A];第十八屆全國數據庫學術會議論文集（技術報告篇）[C];2001年

2 崔運釧;劉連忠;;一種可擴展的數據清洗系統的設計與實現[A];2006中國控制與決策學術年會論文集[C];2006年

3 汪愛民;;寶鋼全流程合同數據清洗與組織方案的設計和應用[A];全國冶金自動化信息網2014年會論文集[C];2014年

4 蔣勇青;楊奕虹;楊賀;;論數據清洗對信息檢索質量的影響及清洗方法[A];2011年中國索引學會年會暨成立二十周年慶典論文集[C];2011年

5 李智;宋杰;冷芳玲;王大玲;鮑玉斌;于戈;;一種基于構件擴展的數據清洗框架[A];第二十五屆中國數據庫學術會議論文集（一）[C];2008年

6 高淑娟;鮑玉斌;江志綱;王大玲;于戈;;一種基于最小風險貝葉斯決策的數據清洗策略[A];第十九屆全國數據庫學術會議論文集（研究報告篇）[C];2002年

7 王妍;石鑫;宋寶燕;;基于偽事件的RFID數據清洗方法[A];第26屆中國數據庫學術會議論文集（B輯）[C];2009年

8 李曉靜;谷峪;呂雁飛;王艷秋;于戈;;基于動態(tài)事件概率模型的高效RFID數據清洗算法[A];第二十五屆中國數據庫學術會議論文集（二）[C];2008年

9 肖英治;陳紅;;帶數據清洗功能的數據預處理系統PW-ETL的設計與實現[A];第二十一屆中國數據庫學術會議論文集（研究報告篇）[C];2004年

10 趙之慧;;專利數據加工[A];2014年中華全國專利代理人協會年會第五屆知識產權論壇論文（第二部分）[C];2014年

中國重要報紙全文數據庫 前1條

1 中國人民財產保險股份有限公司信息技術部副總經理 鹿慧　編譯;在SOA中創(chuàng)建獨立的數據清洗服務[N];計算機世界;2009年

中國博士學位論文全文數據庫 前1條

1 樊華;面向物聯網的RFID不確定數據清洗與存儲技術研究[D];國防科學技術大學;2013年

中國碩士學位論文全文數據庫 前10條

1 高寶;不確定性RFID數據清洗算法研究[D];南京信息工程大學;2015年

2 葉晨;基于眾包的數據清洗關鍵技術的研究[D];哈爾濱工業(yè)大學;2015年

3 張曉東;基于業(yè)務模型的數據清洗與整合平臺的設計與實現[D];電子科技大學;2015年

4 艾超;針對在線產品支撐數據的過濾和分析系統的研究與設計[D];電子科技大學;2015年

5 金翰偉;基于Spark的大數據清洗框架設計與實現[D];浙江大學;2016年

6 王江;數據清洗技術研究及清洗框架的設計與實現[D];內蒙古大學;2016年

7 陳飛;基于MapReduce的數據清洗算法研究[D];昆明理工大學;2016年

8 李寧寧;大數據清洗系統中優(yōu)化技術的研究與實現[D];哈爾濱工業(yè)大學;2016年

9 盛丹丹;面向農業(yè)領域知識庫構建的數據清洗方法優(yōu)化研究[D];中國農業(yè)科學院;2016年

10 鄭紀玲;數據清洗在構建POI數據倉庫中的研究與應用[D];中國礦業(yè)大學;2016年

  本文關鍵詞：船舶監(jiān)控系統中實時數據清洗技術研究，，由筆耕文化傳播整理發(fā)布。

本文編號：255175