在大數(shù)據(jù)時代,如何利用大數(shù)據(jù)進行有效分析已經(jīng)成為各行各業(yè)關注的焦點。由于大數(shù)據(jù)的來源、數(shù)量、結(jié)構形式的不同、實時性等多樣化的特點使其涵蓋的價值很高,但其價值密度卻很低。大數(shù)據(jù)集中存在的數(shù)據(jù)噪聲和數(shù)據(jù)冗余會對數(shù)據(jù)分析產(chǎn)生不可估量的負面影響。此外,大數(shù)據(jù)集中還涵蓋了多個變量之間的函數(shù)關系,可能會對數(shù)據(jù)分析結(jié)果產(chǎn)生一定的偏差。因此,在利用大數(shù)據(jù)進行分析研究之前首先要對大數(shù)據(jù)進行數(shù)據(jù)預處理,剔除冗余和無效數(shù)據(jù)。然而傳統(tǒng)的大數(shù)據(jù)預處理方法并沒有考慮變量之間的函數(shù)關系。數(shù)據(jù)包絡分析（Data Envelopment Analysis,DEA）可以有效處理由變量之間函數(shù)關系引發(fā)的偏差問題。在利用DEA進行數(shù)據(jù)預處理的過程中,無需預知輸入輸出變量之間的函數(shù)關系、無需事先設定權重,通過求得的效率值篩選得到最有效的數(shù)據(jù),剔除異常值和冗余值,在不改變數(shù)據(jù)質(zhì)量的前提下縮減數(shù)據(jù)的數(shù)量,是一種可以應用于機器學習的數(shù)據(jù)預處理的有效方式。此外,常用的大數(shù)據(jù)建模工具不能有效地對包含復雜非線性關系的大數(shù)據(jù)進行建模。目前關于大數(shù)據(jù)建模比較好的方法有徑向基函數(shù)（Radial-Basis Function,RBF）和支持向量機... 

【文章來源】：南京郵電大學江蘇省

【文章頁數(shù)】：58 頁

【學位級別】：碩士

【部分圖文】：

面向大數(shù)據(jù)的基于DEA和RBF/SVM的技術路線圖

南京郵電大學碩士研究生學位論文第四章DEA-RBF和DEA-SVM的仿真研究圖4.1Y1的預測值和真實值對比圖4.2Y2的預測值和真實值對比根據(jù)圖4.1和圖4.2的預測結(jié)果圖不難看出，除了個別點，總體來說利用DEA-RBF方法求出的預測值與其真實值之間相差不大，預測結(jié)果比較好。為了更加精確的對比結(jié)果，表4.2列出了26個測試單元輸出的預測值和真實值之間的誤差比較。誤差率的公式如下：誤差率=真實值預測值真實值100%，(4.2)25

南京郵電大學碩士研究生學位論文第四章DEA-RBF和DEA-SVM的仿真研究圖4.1Y1的預測值和真實值對比圖4.2Y2的預測值和真實值對比根據(jù)圖4.1和圖4.2的預測結(jié)果圖不難看出，除了個別點，總體來說利用DEA-RBF方法求出的預測值與其真實值之間相差不大，預測結(jié)果比較好。為了更加精確的對比結(jié)果，表4.2列出了26個測試單元輸出的預測值和真實值之間的誤差比較。誤差率的公式如下：誤差率=真實值預測值真實值100%，(4.2)25

【參考文獻】：
期刊論文
[1]煙草行業(yè)實驗室安全文化評價模型[J]. 汪洪焦,竇濱,張其東,劉國愈,賈云禎,王燃.  中國煙草學報. 2020(02)
[2]基于DEA的中國高原訓練資源配置效率評價研究[J]. 張俊珍.  西安體育學院學報. 2019(06)
[3]醫(yī)改背景下基于DEA的醫(yī)院科室運行效率評價[J]. 劉利,王楠,武愛文.  中國衛(wèi)生統(tǒng)計. 2019(05)
[4]基于MRMR-HK-SVM模型的PM2.5濃度預測[J]. 李建新,劉小生,劉靜,黃俊.  中國環(huán)境科學. 2019(06)
[5]基于SGA-RBF的協(xié)同過濾算法研究[J]. 王玉珍,許艷茹,常丹.  統(tǒng)計與決策. 2019(04)
[6]新電改背景下基于數(shù)據(jù)包絡分析的電網(wǎng)投資有效性研究與應用[J]. 石蓉,李永毅,王開艷,張磊,賈嶸,郎銳.  電網(wǎng)與清潔能源. 2019(02)
[7]基于社會化媒體的公共政策輿情預測研究[J]. 王亞民,寧靜,馬續(xù)補.  情報理論與實踐. 2019(01)
[8]量子粒子群BP神經(jīng)網(wǎng)絡在GNSS高程轉(zhuǎn)換中的應用分析[J]. 韓紅超.  測繪通報. 2019(01)
[9]時間序列預測方法綜述[J]. 楊海民,潘志松,白瑋.  計算機科學. 2019(01)
[10]基于短期風功率預測的數(shù)據(jù)預處理算法研究[J]. 許夢田,王洪哲,趙成萍,嚴華.  可再生能源. 2019(01)

博士論文
[1]大數(shù)據(jù)背景下煤礦安全管理效率分析及提升仿真研究[D]. 喬萬冠.中國礦業(yè)大學 2019
[2]最小二乘支持向量機建模及預測控制算法研究[D]. 李麗娟.浙江大學 2008

碩士論文
[1]保障性住房項目績效評價研究[D]. 曲傳剛.西安建筑科技大學 2017
[2]A汽車4S店零部件需求預測研究[D]. 姜月娜.北京交通大學 2017
[3]南海島礁風能資源及風力發(fā)電評價[D]. 蔣潔.南京大學 2016
[4]保障性住房項目績效評價研究[D]. 鄧潔.集美大學 2012
[5]保障性住房項目的質(zhì)量管理體系研究[D]. 李玲.武漢理工大學 2011
[6]基于數(shù)據(jù)挖掘的葡萄酒質(zhì)量識別[D]. 林翠香.中南大學 2010
[7]城市宜居性評價研究[D]. 李小英.蘭州大學 2007



本文編號：3449573