【摘要】：隨著信息技術(shù)的快速發(fā)展,大數(shù)據(jù)中蘊(yùn)含的價(jià)值愈發(fā)受到關(guān)注,如何對(duì)大數(shù)據(jù)進(jìn)行高效的分析成為了一個(gè)重要的課題。機(jī)器學(xué)習(xí)是進(jìn)行數(shù)據(jù)分析的常用方法之一,傳統(tǒng)的機(jī)器學(xué)習(xí)算法常被設(shè)計(jì)為離線批量訓(xùn)練的方式,然而該方式已難以適用于大數(shù)據(jù)環(huán)境中具有海量規(guī)模并持續(xù)增長(zhǎng)的數(shù)據(jù)集。如何對(duì)傳統(tǒng)機(jī)器學(xué)習(xí)算法進(jìn)行改造使其能更好的適用于大數(shù)據(jù)環(huán)境成為目前的研究熱點(diǎn)。本文的主要內(nèi)容包括以下幾個(gè)部分。首先,本文對(duì)大數(shù)據(jù)和機(jī)器學(xué)習(xí)兩個(gè)領(lǐng)域中應(yīng)用最廣泛的技術(shù)進(jìn)行了系統(tǒng)性的介紹和分析。對(duì)于大數(shù)據(jù)技術(shù),介紹了 Hadoop的生態(tài)并分析了 HDFS、MapReduce、YARN三個(gè)核心組件的原理。介紹了 Spark的BDAS環(huán)境并分析了 RDD的原理,簡(jiǎn)單總結(jié)了Flink、Storm、TensorFlow三個(gè)常用的大數(shù)據(jù)工具。對(duì)于機(jī)器學(xué)習(xí)技術(shù),對(duì)有監(jiān)督學(xué)習(xí)算法(邏輯回歸、支持向量機(jī)),無監(jiān)督學(xué)習(xí)算法(K-means),以及強(qiáng)化學(xué)習(xí)算法(Q-learning)的原理進(jìn)行了闡述,總結(jié)了機(jī)器學(xué)習(xí)泛化能力和分類器評(píng)價(jià)指標(biāo)。該部分的內(nèi)容是對(duì)算法進(jìn)行改造的理論鋪墊。第二,本文對(duì)在線機(jī)器學(xué)習(xí)算法的改造進(jìn)行了研究。在傳統(tǒng)算法的在線化研究部分,指出了在線化的關(guān)鍵在于對(duì)訓(xùn)練方法的改造,對(duì)有監(jiān)督學(xué)習(xí)常用的梯度下降法和牛頓法進(jìn)行在線化處理,得到了小批量梯度下降法和在線BFGS法。在大數(shù)據(jù)環(huán)境下的改造部分,對(duì)基于樣本維度和基于特征維度的數(shù)據(jù)分割的參數(shù)更新方法進(jìn)行了推導(dǎo),并對(duì)這兩種分割方式進(jìn)行了對(duì)比。該部分的內(nèi)容完成了在線機(jī)器學(xué)習(xí)算法改造的理論分析。第三,本文設(shè)計(jì)并實(shí)現(xiàn)了用于在線機(jī)器學(xué)習(xí)的實(shí)驗(yàn)平臺(tái)。在設(shè)計(jì)部分,針對(duì)大數(shù)據(jù)運(yùn)行環(huán)境,設(shè)計(jì)了三套方案并分析了各自的優(yōu)缺點(diǎn),選擇了自行搭建Hadoop集群的方案;針對(duì)開發(fā)工具,設(shè)計(jì)了兩套方案并分析了各自的優(yōu)缺點(diǎn),并選擇了 Hadoop Streaming配合Python的方案。在實(shí)現(xiàn)部分,給出了搭建實(shí)驗(yàn)平臺(tái)時(shí)虛擬機(jī)的建立、系統(tǒng)的安裝、大數(shù)據(jù)環(huán)境的安裝以及遠(yuǎn)程管理的具體步驟;對(duì)運(yùn)行程序核心算法進(jìn)行了實(shí)現(xiàn),完成了算法的偽代碼描述和關(guān)鍵函數(shù)定義;對(duì)系統(tǒng)運(yùn)行邏輯進(jìn)行了實(shí)現(xiàn),對(duì)模型保存和持續(xù)訓(xùn)練兩個(gè)問題提出了解決方案。該部分的內(nèi)容是對(duì)后續(xù)進(jìn)行算法實(shí)驗(yàn)提供環(huán)境的準(zhǔn)備工作。最后,本文將在線機(jī)器學(xué)習(xí)應(yīng)用到了電能質(zhì)量擾動(dòng)分類問題當(dāng)中。該部分先對(duì)電能質(zhì)量擾動(dòng)分類進(jìn)行了簡(jiǎn)單概述。在分析了獲取電能質(zhì)量數(shù)據(jù)集的兩種思路后,給出了利用數(shù)學(xué)模型生成電能質(zhì)量數(shù)據(jù)集的方法和步驟。闡述了利用level10db4小波變換和能量統(tǒng)計(jì)量提取電能質(zhì)量樣本中的特征的方法和步驟。之后,分析了傳統(tǒng)機(jī)器學(xué)習(xí)算法中邏輯回歸和支持向量機(jī)的分類效果,得到了在數(shù)據(jù)量足夠多的情況下不同算法的分類性能將趨近一致的結(jié)論。分析了在線支持向量機(jī)訓(xùn)練時(shí)兩個(gè)超參數(shù)對(duì)訓(xùn)練過程的影響,得到了當(dāng)數(shù)據(jù)量較大時(shí)訓(xùn)練方法的超參數(shù)對(duì)訓(xùn)練過程影響較小的結(jié)論。分析了在線支持向量機(jī)和離線支持向量機(jī)的訓(xùn)練耗時(shí)和分類效果,得到了在線支持向量機(jī)相對(duì)離線支持向量機(jī)分類效果略弱但訓(xùn)練耗時(shí)大幅減少的結(jié)論。分析了不同計(jì)算節(jié)點(diǎn)數(shù)量下在線支持向量機(jī)的訓(xùn)練耗時(shí),得到了在數(shù)據(jù)量較多時(shí)增加計(jì)算節(jié)點(diǎn)可以有效減少訓(xùn)練耗時(shí)的結(jié)論。該部分的內(nèi)容驗(yàn)證了在大規(guī)模機(jī)器學(xué)習(xí)問題中改進(jìn)后的在線機(jī)器學(xué)習(xí)算法相對(duì)于傳統(tǒng)機(jī)器學(xué)習(xí)算法更具可用性,同時(shí)也驗(yàn)證了在線機(jī)器學(xué)習(xí)應(yīng)用在電能質(zhì)量擾動(dòng)問題中的可行性。
[Abstract]:......
【學(xué)位授予單位】：西南交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP181

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;國(guó)務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要的通知[J];中華人民共和國(guó)國(guó)務(wù)院公報(bào);2015年26期

2 程學(xué)旗;靳小龍;王元卓;郭嘉豐;張鐵贏;李國(guó)杰;;大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J];軟件學(xué)報(bào);2014年09期

3 何清;李寧;羅文娟;史忠植;;大數(shù)據(jù)下的機(jī)器學(xué)習(xí)算法綜述[J];模式識(shí)別與人工智能;2014年04期

4 陳康;向勇;喻超;;大數(shù)據(jù)時(shí)代機(jī)器學(xué)習(xí)的新趨勢(shì)[J];電信科學(xué);2012年12期

5 李國(guó)杰;程學(xué)旗;;大數(shù)據(jù)研究:未來科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J];中國(guó)科學(xué)院院刊;2012年06期

6 郎楊琴;孔麗華;;美國(guó)發(fā)布“大數(shù)據(jù)的研究和發(fā)展計(jì)劃”[J];科研信息化技術(shù)與應(yīng)用;2012年02期

7 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報(bào);2011年11期

8 王愛平;萬國(guó)偉;程志全;李思昆;;支持在線學(xué)習(xí)的增量式極端隨機(jī)森林分類器[J];軟件學(xué)報(bào);2011年09期

9 張全明;劉會(huì)金;;最小二乘支持向量機(jī)在電能質(zhì)量擾動(dòng)分類中的應(yīng)用[J];中國(guó)電機(jī)工程學(xué)報(bào);2008年01期

10 高琳,高峰,管曉宏,周佃民;電力系統(tǒng)短期負(fù)荷預(yù)測(cè)的多神經(jīng)網(wǎng)絡(luò)Boosting集成模型[J];西安交通大學(xué)學(xué)報(bào);2004年10期

相關(guān)重要報(bào)紙文章 前1條

1 霍娜;;《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)》印發(fā)[N];中國(guó)信息化周報(bào);2017年

相關(guān)博士學(xué)位論文 前3條

1 郭羽成;MPI高性能云計(jì)算平臺(tái)關(guān)鍵技術(shù)研究[D];武漢理工大學(xué);2013年

2 胡蓉;增量機(jī)器學(xué)習(xí)算法研究[D];南京理工大學(xué);2013年

3 林民龍;基于神經(jīng)網(wǎng)絡(luò)集成的增量式學(xué)習(xí)[D];中國(guó)科學(xué)技術(shù)大學(xué);2012年

相關(guān)碩士學(xué)位論文 前6條

1 張韓;基于小波變換和PSO-BP神經(jīng)網(wǎng)絡(luò)的電能質(zhì)量擾動(dòng)分類[D];華東理工大學(xué);2015年

2 趙碩;云計(jì)算和機(jī)器學(xué)習(xí)算法在電力負(fù)荷預(yù)測(cè)中的研究與應(yīng)用[D];華北電力大學(xué);2014年

3 劉健;基于支持向量機(jī)的在線學(xué)習(xí)算法研究[D];浙江大學(xué);2013年

4 荊輝;電能質(zhì)量擾動(dòng)分類算法研究[D];山東大學(xué);2011年

5 吳慧;新的支持向量機(jī)增量學(xué)習(xí)算法[D];西安電子科技大學(xué);2009年

6 劉新旺;基于支持向量機(jī)的特征增量學(xué)習(xí)算法研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2008年

，

本文編號(hào)：2277566