基于電力行業(yè)的服務(wù)特性,需要對用戶各種自然語言評論和主觀體驗(yàn)等進(jìn)行情感分析,這樣可以改進(jìn)服務(wù),提高服務(wù)質(zhì)量,提高用戶滿意度.從電力故障維修數(shù)據(jù)中,利用基于深度學(xué)習(xí)的自然語言處理方法對維修結(jié)果記錄進(jìn)行情感分析,針對循環(huán)神經(jīng)網(wǎng)絡(luò)記憶性短的缺點(diǎn),采用長短時(shí)記憶網(wǎng)絡(luò)進(jìn)行處理,克服了現(xiàn)在淺層學(xué)習(xí)不能自主提取特征、自主抽象,因而處理復(fù)雜事物能力有限,泛化能力差的缺點(diǎn).本文在90 000多條電力故障維修記錄語料上進(jìn)行了實(shí)驗(yàn),與循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)進(jìn)行對比,證明本文基于長短時(shí)記憶網(wǎng)絡(luò)的情感分析模型準(zhǔn)確率更高,效果更好. 

【文章來源】：云南大學(xué)學(xué)報(bào)(自然科學(xué)版). 2020年S2期 北大核心

【文章頁數(shù)】：5 頁

【部分圖文】：

LSTM模型結(jié)構(gòu)

文本數(shù)據(jù)向量化后是稀疏數(shù)據(jù),用于訓(xùn)練的是一個(gè)有反饋的LSTM神經(jīng)網(wǎng)絡(luò),這里,選取幾種自適應(yīng)優(yōu)化函數(shù)Adam、Adadelta、Adagrad、RMSprop進(jìn)行比較,從中選擇出準(zhǔn)確率最高的函數(shù).由圖2可以看出,Adagrad的效果最好,所以選擇它作為優(yōu)化函數(shù).學(xué)習(xí)速率開始時(shí)因?yàn)橐话憔嚯x最優(yōu)解較遠(yuǎn),可以采用較大的學(xué)習(xí)速率,經(jīng)過一段時(shí)間后,學(xué)習(xí)速率應(yīng)該逐漸減小,避免產(chǎn)生振蕩而收斂不到最優(yōu)解.經(jīng)過實(shí)驗(yàn)測試,開始12次采用0.5的學(xué)習(xí)速率,以后每迭代一次,速率減小0.02.這樣,可以盡量避免在最優(yōu)解附近振蕩,而不達(dá)到最優(yōu)解,減少迭代次數(shù).

這里,使用Keras作為深度學(xué)習(xí)的模型框架,超參數(shù)的優(yōu)化函數(shù)設(shè)為Adagrad;學(xué)習(xí)速率開始12次設(shè)為0.5,以后每迭代一次,速率減小0.02,如果已經(jīng)減為0.1,則每次減少0.002;迭代次數(shù)設(shè)為40次;損失函數(shù)設(shè)為msle.這里,采用六折法將云南電網(wǎng)公司的維修數(shù)據(jù)分為訓(xùn)練對象和測試對象進(jìn)行交叉訓(xùn)練測試,然后,再用測試集合進(jìn)行驗(yàn)證,同時(shí)可以測試其泛化能力.采用六折法訓(xùn)練模型的準(zhǔn)確率和損失率如圖4、5所示,可見LSTM模型準(zhǔn)確率已經(jīng)到達(dá)97.1%,損失率也已經(jīng)達(dá)到0.09%,接近于零損失.然后,用訓(xùn)練后的模型對剩余的30 000多條維修數(shù)據(jù)進(jìn)行情感分析測試其泛化能力,其準(zhǔn)確率也達(dá)到了92.3%,結(jié)果較好.圖4 電力故障維修情感分析LSTM模型準(zhǔn)確率

【參考文獻(xiàn)】：
期刊論文
[1]一種從無“aba”模式的日志中挖掘2度循環(huán)的方法[J]. 林雷蕾,周華,代飛,朱銳,李彤.  軟件學(xué)報(bào). 2018(11)
[2]BPMN 2.0編排的形式語義和分析[J]. 代飛,趙文卓,楊云,莫啟,李彤,周華.  軟件學(xué)報(bào). 2018(04)
[3]Minimal Gated Unit for Recurrent Neural Networks[J]. Guo-Bing Zhou,Jianxin Wu,Chen-Lin Zhang,Zhi-Hua Zhou.  International Journal of Automation and Computing. 2016(03)



本文編號：2939142