基于深度學(xué)習(xí)的中文專利自動(dòng)分類方法研究
發(fā)布時(shí)間：2021-12-17 01:30
[目的/意義]面向當(dāng)前國內(nèi)專利審查和專利情報(bào)分析工作中對于海量專利分類的客觀需求,設(shè)計(jì)了7種基于深度學(xué)習(xí)的專利自動(dòng)分類方法,對比各種方法的分類效果,從而助力專利分類效率和效果的提升。[方法/過程]針對傳統(tǒng)機(jī)器學(xué)習(xí)方法存在的缺陷,基于Word2Vec、CNN、RNN、Attention機(jī)制等深度學(xué)習(xí)技術(shù),考慮專利文本語序特征、上下文特征以及分類關(guān)鍵特征,設(shè)計(jì)Word2Vec+TextCNN、Word2Vec+GRU、Word2Vec+BiGRU、Word2Vec+BiGRU+TextCNN等7種深度學(xué)習(xí)模型,以中國專利為例,選取IPC主分類號(hào)的"部"作為分類依據(jù),對比這7種模型與3種傳統(tǒng)分類模型在中文專利分類任務(wù)中的效果。[結(jié)果/結(jié)論]實(shí)證研究效果顯示,采用考慮語序特征、上下文特征及強(qiáng)化關(guān)鍵特征的深度學(xué)習(xí)方法進(jìn)行中文專利分類具有更優(yōu)的分類效果。
【文章來源】：圖書情報(bào)工作. 2020,64(10)北大核心CSSCI
【文章頁數(shù)】：11 頁
【部分圖文】：
專利自動(dòng)分類流程
(1)深度學(xué)習(xí)模型的效果基本優(yōu)于經(jīng)典機(jī)器學(xué)習(xí)模型。除Word2Vec+ANN和Word2Vec+ATT外的深度學(xué)習(xí)模型的準(zhǔn)確率、召回率和F1值均高于0.8,而三種經(jīng)典機(jī)器學(xué)習(xí)模型的指標(biāo)均低于0.8。由于ANN特征表示能力相對較弱、直接在詞向量的基礎(chǔ)上引入Attention機(jī)制不能較好地表示隱藏特征,Word2Vec+ANN和Word2Vec+ATT的效果在所有深度學(xué)習(xí)模型中表現(xiàn)最低,其效果仍舊顯著優(yōu)于TFIDF+DT和TFIDF+RF,這表明通過對文本向量做特征提取和強(qiáng)化對分類結(jié)果的優(yōu)化具有一定促進(jìn)作用。(2)考慮上下文特征和語序特征對于分類效果提升有積極作用。TextCNN模型基于卷積神經(jīng)網(wǎng)絡(luò)對專利文本進(jìn)行上下文的特征抽取和強(qiáng)化;GRU模型對專利文本進(jìn)行正向序列建模,強(qiáng)化了上文的序列特征;BiGRU模型對專利文本進(jìn)行雙向建模,強(qiáng)化了上下文的序列特征。這些特征的考慮使得Word2Vec+TextCNN、Word2Vec+GRU和Word2Vec+BiGRU均取得了高于0.8的指標(biāo)得分。在此基礎(chǔ)上,將BiGRU和TextCNN模型進(jìn)行結(jié)合,對雙向語序特征建模同時(shí)考慮上下文特征取得了優(yōu)于單純使用TextCNN和BiGRU的模型效果。
TextCNN結(jié)構(gòu)
【參考文獻(xiàn)】：
期刊論文
[1]基于深度學(xué)習(xí)的專利分類方法[J]. 馬建紅,王瑞楊,姚爽,劉雙耀. 計(jì)算機(jī)工程. 2018(10)
[2]基于卷積神經(jīng)網(wǎng)絡(luò)與隨機(jī)森林算法的專利文本分類模型[J]. 胡杰,李少波,于麗婭,楊觀賜. 科學(xué)技術(shù)與工程. 2018(06)
[3]基于多特征多分類器集成的專利自動(dòng)分類研究[J]. 賈杉杉,劉暢,孫連英,劉小安,彭濤. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn). 2017(08)
[4]一種基于相似度的專利與產(chǎn)業(yè)類目映射模型——以《國際專利分類》與《國民經(jīng)濟(jì)行業(yè)分類》為例[J]. 田創(chuàng),趙亞娟. 圖書情報(bào)工作. 2016(20)
[5]基于功能基的專利信息挖掘與自動(dòng)分類實(shí)驗(yàn)研究[J]. 劉龍繁,李彥,侯超異,李文強(qiáng). 四川大學(xué)學(xué)報(bào)(工程科學(xué)版). 2016(05)
[6]面向TRIZ的專利自動(dòng)分類研究[J]. 胡正銀,方曙,文奕,張嫻,梁田. 現(xiàn)代圖書情報(bào)技術(shù). 2015(01)
[7]依據(jù)TRIZ發(fā)明原理的中文專利自動(dòng)分類[J]. 翟繼強(qiáng),王克奇. 哈爾濱理工大學(xué)學(xué)報(bào). 2013(03)
[8]SVM-KNN組合改進(jìn)算法在專利文本分類中的應(yīng)用[J]. 李程雄,丁月華,文貴華. 計(jì)算機(jī)工程與應(yīng)用. 2006(20)
碩士論文
[1]基于深度學(xué)習(xí)理論與方法的中文專利文本自動(dòng)分類研究[D]. 馬雙剛.江蘇大學(xué) 2016
本文編號(hào)：3539163
【文章來源】：圖書情報(bào)工作. 2020,64(10)北大核心CSSCI
【文章頁數(shù)】：11 頁
【部分圖文】：
專利自動(dòng)分類流程
(1)深度學(xué)習(xí)模型的效果基本優(yōu)于經(jīng)典機(jī)器學(xué)習(xí)模型。除Word2Vec+ANN和Word2Vec+ATT外的深度學(xué)習(xí)模型的準(zhǔn)確率、召回率和F1值均高于0.8,而三種經(jīng)典機(jī)器學(xué)習(xí)模型的指標(biāo)均低于0.8。由于ANN特征表示能力相對較弱、直接在詞向量的基礎(chǔ)上引入Attention機(jī)制不能較好地表示隱藏特征,Word2Vec+ANN和Word2Vec+ATT的效果在所有深度學(xué)習(xí)模型中表現(xiàn)最低,其效果仍舊顯著優(yōu)于TFIDF+DT和TFIDF+RF,這表明通過對文本向量做特征提取和強(qiáng)化對分類結(jié)果的優(yōu)化具有一定促進(jìn)作用。(2)考慮上下文特征和語序特征對于分類效果提升有積極作用。TextCNN模型基于卷積神經(jīng)網(wǎng)絡(luò)對專利文本進(jìn)行上下文的特征抽取和強(qiáng)化;GRU模型對專利文本進(jìn)行正向序列建模,強(qiáng)化了上文的序列特征;BiGRU模型對專利文本進(jìn)行雙向建模,強(qiáng)化了上下文的序列特征。這些特征的考慮使得Word2Vec+TextCNN、Word2Vec+GRU和Word2Vec+BiGRU均取得了高于0.8的指標(biāo)得分。在此基礎(chǔ)上,將BiGRU和TextCNN模型進(jìn)行結(jié)合,對雙向語序特征建模同時(shí)考慮上下文特征取得了優(yōu)于單純使用TextCNN和BiGRU的模型效果。
TextCNN結(jié)構(gòu)
【參考文獻(xiàn)】：
期刊論文
[1]基于深度學(xué)習(xí)的專利分類方法[J]. 馬建紅,王瑞楊,姚爽,劉雙耀. 計(jì)算機(jī)工程. 2018(10)
[2]基于卷積神經(jīng)網(wǎng)絡(luò)與隨機(jī)森林算法的專利文本分類模型[J]. 胡杰,李少波,于麗婭,楊觀賜. 科學(xué)技術(shù)與工程. 2018(06)
[3]基于多特征多分類器集成的專利自動(dòng)分類研究[J]. 賈杉杉,劉暢,孫連英,劉小安,彭濤. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn). 2017(08)
[4]一種基于相似度的專利與產(chǎn)業(yè)類目映射模型——以《國際專利分類》與《國民經(jīng)濟(jì)行業(yè)分類》為例[J]. 田創(chuàng),趙亞娟. 圖書情報(bào)工作. 2016(20)
[5]基于功能基的專利信息挖掘與自動(dòng)分類實(shí)驗(yàn)研究[J]. 劉龍繁,李彥,侯超異,李文強(qiáng). 四川大學(xué)學(xué)報(bào)(工程科學(xué)版). 2016(05)
[6]面向TRIZ的專利自動(dòng)分類研究[J]. 胡正銀,方曙,文奕,張嫻,梁田. 現(xiàn)代圖書情報(bào)技術(shù). 2015(01)
[7]依據(jù)TRIZ發(fā)明原理的中文專利自動(dòng)分類[J]. 翟繼強(qiáng),王克奇. 哈爾濱理工大學(xué)學(xué)報(bào). 2013(03)
[8]SVM-KNN組合改進(jìn)算法在專利文本分類中的應(yīng)用[J]. 李程雄,丁月華,文貴華. 計(jì)算機(jī)工程與應(yīng)用. 2006(20)
碩士論文
[1]基于深度學(xué)習(xí)理論與方法的中文專利文本自動(dòng)分類研究[D]. 馬雙剛.江蘇大學(xué) 2016
本文編號(hào)：3539163
本文鏈接：http://sikaile.net/tushudanganlunwen/3539163.html
