本文關(guān)鍵詞：基于三支決策的海量數(shù)據(jù)分類(lèi)方法研究及其在視頻異常檢測(cè)中的應(yīng)用，，由筆耕文化傳播整理發(fā)布。

【摘要】：數(shù)據(jù)挖掘技術(shù)幫助人們從眾多含有噪音的數(shù)據(jù)里挖掘出對(duì)人們存在價(jià)值的信息。然而由于數(shù)據(jù)集具有噪聲和冗余性,因此包含的數(shù)據(jù)信息以及涉及的概念本身存在著不確定性和不精確性。粗糙集理論(Rough Sets)是用來(lái)解決不確定性問(wèn)題的有力工具之一。它的核心問(wèn)題之一就是對(duì)屬性約簡(jiǎn)算法的研究。傳統(tǒng)的屬性約簡(jiǎn)算法并不適用于大規(guī)模數(shù)據(jù)處理,因此如何將傳統(tǒng)屬性約簡(jiǎn)算法應(yīng)用于海量數(shù)據(jù)成為一個(gè)值得研究的問(wèn)題。相比于Hadoop, Spark是性能更加優(yōu)越的開(kāi)源云計(jì)算框架,目前已經(jīng)被廣泛采納。本文將基于該平臺(tái)來(lái)處理海量數(shù)據(jù)。基于決策粗糙集理論通過(guò)引入邊界域能有效地解決因?yàn)樾畔⒉蛔銕?lái)的決策錯(cuò)誤率,符合人們?cè)趯?shí)際生活中的決策過(guò)程。目前對(duì)邊界域一般是用戶(hù)自行處理。當(dāng)產(chǎn)生較大的邊界域時(shí),需要花費(fèi)用戶(hù)許多的時(shí)間。因此如何盡可能地減少邊界域,同時(shí)保證算法的分類(lèi)準(zhǔn)確率成為一個(gè)值得探討的問(wèn)題。與傳統(tǒng)屬性約簡(jiǎn)算法一樣,三支決策算法也面臨在處理海量數(shù)據(jù)時(shí)效率不高的問(wèn)題,因此如何將三支決策算法應(yīng)用于海量數(shù)據(jù)分類(lèi)也是我們關(guān)注的問(wèn)題。三支決策算法作為代價(jià)敏感分類(lèi)算法可以應(yīng)用于此類(lèi)問(wèn)題中。視頻異常檢測(cè)由于將異常行為分類(lèi)為正常所花的代價(jià)要比將正常行為分類(lèi)為異常的代價(jià)大,同時(shí)正常行為與異常行為存在嚴(yán)重不平衡,因此視頻異常檢測(cè)既是一個(gè)代價(jià)敏感分類(lèi)問(wèn)題,又是一個(gè)不平衡分類(lèi)問(wèn)題,如何將三支決策算法應(yīng)用于視頻異常檢測(cè)也是一個(gè)值得探討的問(wèn)題。本文分別針對(duì)上述的幾個(gè)問(wèn)題進(jìn)行了深入研究,同時(shí)提出了改進(jìn)方案,主要的工作如下：在三支決策分類(lèi)預(yù)處理方法研究中,提出了基于Spark的快速并行粗糙集屬性約簡(jiǎn)方法,該方法對(duì)傳統(tǒng)屬性約簡(jiǎn)算法RSAR進(jìn)行了并行化,并在Spark上給予了實(shí)現(xiàn)。通過(guò)實(shí)驗(yàn)結(jié)果表明,并行化之后的算法能有效降低傳統(tǒng)算法的運(yùn)行時(shí)間。分析三支決策算法中邊界域產(chǎn)生過(guò)大的原因,從而基于Tritraining的思想對(duì)原三支決策算法TWD進(jìn)行改進(jìn),提出了一個(gè)集成分類(lèi)器Tritraining-TWD。實(shí)驗(yàn)結(jié)果表明,Tritraining-TWD算法在分類(lèi)精度和邊界域個(gè)數(shù)要強(qiáng)于TWD算法。同時(shí)針對(duì)海量數(shù)據(jù)的問(wèn)題,我們對(duì)三支決策算法TWD和集成分類(lèi)算法Tritraining-TWD進(jìn)行了并行化,分別提出PTWD和P-Tritraining-TWD算法。同樣兩個(gè)算法都在Spark上進(jìn)行了實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明,并行化之后的算法能很好地提高算法的運(yùn)行效率。采用并行LDA(Latent Dirichlet Allocation)算法對(duì)視頻數(shù)據(jù)進(jìn)行處理,將高維的運(yùn)動(dòng)特征轉(zhuǎn)化為低維的語(yǔ)義特征�；诖�,我們使用三支決策算法進(jìn)行分類(lèi)。我們改進(jìn)了三支決策算法中的代價(jià)關(guān)系,使其能更加適用于視頻異常檢測(cè)問(wèn)題。通過(guò)實(shí)驗(yàn)表明,與一般分類(lèi)算法相比,三支決策算法在處理視頻異常分類(lèi)問(wèn)題上具有比較好的優(yōu)勢(shì),同時(shí)在改進(jìn)后的代價(jià)關(guān)系的指導(dǎo)下,三支決策算法的的性能得到了一定的提升。
【關(guān)鍵詞】：屬性約簡(jiǎn) 三支決策理論 視頻異常檢測(cè) 并行化
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP311.13;TP18
【目錄】：

• 摘要4-6
• Abstract6-13
• 第一章 緒言13-19
• 1.1 研究背景13-14
• 1.2 研究現(xiàn)狀14-16
• 1.2.1 三支決策理論的研究14-15
• 1.2.2 視頻異常檢測(cè)的研究15
• 1.2.3 屬性約簡(jiǎn)算法的研究15
• 1.2.4 待研究問(wèn)題15-16
• 1.3 本文工作16-17
• 1.4 本文組織17-19
• 第二章 相關(guān)知識(shí)19-28
• 2.1 引言19
• 2.2 粗糙集19-21
• 2.2.1 決策表19
• 2.2.2 上下近似19-20
• 2.2.3 屬性重要度20
• 2.2.4 粗糙集理論相關(guān)工作20-21
• 2.3 三支決策21-23
• 2.3.1 三支決策模型理論知識(shí)21-22
• 2.3.2 三支決策相關(guān)工作22-23
• 2.4 主題模型23-24
• 2.4.1 主題模型歷史介紹23
• 2.4.2 主題模型理論知識(shí)23-24
• 2.4.3 主題模型相關(guān)應(yīng)用24
• 2.5 Spark介紹24-27
• 2.5.1 Spark生態(tài)系統(tǒng)25
• 2.5.2 Spark核心概念25-26
• 2.5.3 Spark工作流程26-27
• 2.6 本章總結(jié)27-28
• 第三章 三支決策分類(lèi)預(yù)處理：基于S park的快速并行屬性約簡(jiǎn)算法28-41
• 3.1 引言28
• 3.2 RSAR：基于屬性重要度的約簡(jiǎn)算法28-34
• 3.2.1 RS AR算法步驟及算法分析29-31
• 3.2.2 實(shí)驗(yàn)過(guò)程31-32
• 3.2.3 實(shí)驗(yàn)環(huán)境32-34
• 3.2.4 實(shí)驗(yàn)結(jié)果和分析34
• 3.3 PRSAR：基于S park的粗糙集并行屬性約簡(jiǎn)算法34-40
• 3.3.1 PRSAR算法步驟及算法分析34-35
• 3.3.2 實(shí)驗(yàn)環(huán)境35-37
• 3.3.3 實(shí)驗(yàn)結(jié)果與分析37-40
• 3.4 本章總結(jié)40-41
• 第四章 基于Tritraining的三支決策分類(lèi)方法及其并行化41-51
• 4.1 引言41
• 4.2 集成三支決策算法Tritraining-TWD的設(shè)計(jì)41-46
• 4.2.1 三支決策算法TWD41-42
• 4.2.2 集成三支決策算法Tritraining-TWD42-43
• 4.2.3 實(shí)驗(yàn)環(huán)境43-44
• 4.2.4 實(shí)驗(yàn)結(jié)果與分析44-46
• 4.3 基于Spark的并行化分類(lèi)算法的設(shè)計(jì)46-50
• 4.3.1 PTWD算法和P-Tritraining-TWD算法設(shè)計(jì)46-48
• 4.3.2 實(shí)驗(yàn)環(huán)境48
• 4.3.3 實(shí)驗(yàn)結(jié)果與分析48-50
• 4.4 本章總結(jié)50-51
• 第五章 基于三支決策方法的視頻異常檢測(cè)應(yīng)用51-60
• 5.1 引言51
• 5.2 視頻異常檢測(cè)的流程設(shè)計(jì)51-54
• 5.2.1 基于光流法的運(yùn)動(dòng)特征提取52-53
• 5.2.2 基于并行LDA的特征處理53
• 5.2.3 基于三支決策算法的行為分類(lèi)53-54
• 5.3 實(shí)驗(yàn)設(shè)計(jì)與分析54-59
• 5.3.1 實(shí)驗(yàn)環(huán)境54
• 5.3.2 實(shí)驗(yàn)數(shù)據(jù)54-55
• 5.3.3 實(shí)驗(yàn)評(píng)估函數(shù)55-56
• 5.3.4 實(shí)驗(yàn)結(jié)果與分析56-59
• 5.4 本章總結(jié)59-60
• 第六章 總結(jié)與展望60-62
• 6.1 工作總結(jié)60-61
• 6.2 研究展望61-62
• 參考文獻(xiàn)62-69
• 致謝69-70
• 簡(jiǎn)歷與科研成果70-71

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 張里博;李華雄;周獻(xiàn)中;黃兵;;人臉識(shí)別中的多粒度代價(jià)敏感三支決策[J];山東大學(xué)學(xué)報(bào)(理學(xué)版);2014年08期

2 ;Cooperative extended rough attribute reduction algorithm based on improved PSO[J];Journal of Systems Engineering and Electronics;2012年01期

3 錢(qián)進(jìn);苗奪謙;張澤華;;云計(jì)算環(huán)境下知識(shí)約簡(jiǎn)算法[J];計(jì)算機(jī)學(xué)報(bào);2011年12期

4 侯北平;朱文;馬連偉;介婧;;基于形狀特征的移動(dòng)目標(biāo)實(shí)時(shí)分類(lèi)研究[J];儀器儀表學(xué)報(bào);2010年08期

5 肖大偉;王國(guó)胤;胡峰;;一種基于粗糙集理論的快速并行屬性約簡(jiǎn)算法[J];計(jì)算機(jī)科學(xué);2009年03期

6 呂躍進(jìn);劉南星;陳磊;;一種基于并行遺傳算法的粗糙集屬性約簡(jiǎn)[J];計(jì)算機(jī)科學(xué);2008年03期

7 胡峰;王國(guó)胤;;屬性序下的快速約簡(jiǎn)算法[J];計(jì)算機(jī)學(xué)報(bào);2007年08期

8 孫亮,韓崇昭,康欣;多源遙感影像的集值特征選擇與融合分類(lèi)[J];電波科學(xué)學(xué)報(bào);2004年04期

9 劉少輝,盛秋戩,吳斌,史忠植,胡斐;Rough集高效算法的研究[J];計(jì)算機(jī)學(xué)報(bào);2003年05期

10 葉東毅,陳昭炯;一個(gè)新的差別矩陣及其求核方法[J];電子學(xué)報(bào);2002年07期

  本文關(guān)鍵詞：基于三支決策的海量數(shù)據(jù)分類(lèi)方法研究及其在視頻異常檢測(cè)中的應(yīng)用，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：328236