基于電力行業(yè)的服務(wù)特性,需要對用戶各種自然語言評論和主觀體驗等進行情感分析,這樣可以改進服務(wù),提高服務(wù)質(zhì)量,提高用戶滿意度.從電力故障維修數(shù)據(jù)中,利用基于深度學習的自然語言處理方法對維修結(jié)果記錄進行情感分析,針對循環(huán)神經(jīng)網(wǎng)絡(luò)記憶性短的缺點,采用長短時記憶網(wǎng)絡(luò)進行處理,克服了現(xiàn)在淺層學習不能自主提取特征、自主抽象,因而處理復(fù)雜事物能力有限,泛化能力差的缺點.本文在90 000多條電力故障維修記錄語料上進行了實驗,與循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)進行對比,證明本文基于長短時記憶網(wǎng)絡(luò)的情感分析模型準確率更高,效果更好. 

【文章來源】：云南大學學報(自然科學版). 2020年S2期 北大核心

【文章頁數(shù)】：5 頁

【部分圖文】：

LSTM模型結(jié)構(gòu)

文本數(shù)據(jù)向量化后是稀疏數(shù)據(jù),用于訓練的是一個有反饋的LSTM神經(jīng)網(wǎng)絡(luò),這里,選取幾種自適應(yīng)優(yōu)化函數(shù)Adam、Adadelta、Adagrad、RMSprop進行比較,從中選擇出準確率最高的函數(shù).由圖2可以看出,Adagrad的效果最好,所以選擇它作為優(yōu)化函數(shù).學習速率開始時因為一般距離最優(yōu)解較遠,可以采用較大的學習速率,經(jīng)過一段時間后,學習速率應(yīng)該逐漸減小,避免產(chǎn)生振蕩而收斂不到最優(yōu)解.經(jīng)過實驗測試,開始12次采用0.5的學習速率,以后每迭代一次,速率減小0.02.這樣,可以盡量避免在最優(yōu)解附近振蕩,而不達到最優(yōu)解,減少迭代次數(shù).

這里,使用Keras作為深度學習的模型框架,超參數(shù)的優(yōu)化函數(shù)設(shè)為Adagrad;學習速率開始12次設(shè)為0.5,以后每迭代一次,速率減小0.02,如果已經(jīng)減為0.1,則每次減少0.002;迭代次數(shù)設(shè)為40次;損失函數(shù)設(shè)為msle.這里,采用六折法將云南電網(wǎng)公司的維修數(shù)據(jù)分為訓練對象和測試對象進行交叉訓練測試,然后,再用測試集合進行驗證,同時可以測試其泛化能力.采用六折法訓練模型的準確率和損失率如圖4、5所示,可見LSTM模型準確率已經(jīng)到達97.1%,損失率也已經(jīng)達到0.09%,接近于零損失.然后,用訓練后的模型對剩余的30 000多條維修數(shù)據(jù)進行情感分析測試其泛化能力,其準確率也達到了92.3%,結(jié)果較好.圖4 電力故障維修情感分析LSTM模型準確率

【參考文獻】：
期刊論文
[1]一種從無“aba”模式的日志中挖掘2度循環(huán)的方法[J]. 林雷蕾,周華,代飛,朱銳,李彤.  軟件學報. 2018(11)
[2]BPMN 2.0編排的形式語義和分析[J]. 代飛,趙文卓,楊云,莫啟,李彤,周華.  軟件學報. 2018(04)
[3]Minimal Gated Unit for Recurrent Neural Networks[J]. Guo-Bing Zhou,Jianxin Wu,Chen-Lin Zhang,Zhi-Hua Zhou.  International Journal of Automation and Computing. 2016(03)



本文編號：2939142