本文關(guān)鍵詞： 深度學(xué)習(xí) 自然語言處理 自適應(yīng)權(quán)重 multi-gram　出處：《計(jì)算機(jī)科學(xué)》2017年01期 　論文類型：期刊論文

【摘要】：如今信息量呈爆炸式增長(zhǎng),自然語言處理得到了越來越廣泛的重視。傳統(tǒng)的自然語言處理系統(tǒng)過多地依賴昂貴的人工標(biāo)注特征和語言分析工具的語法信息,導(dǎo)致預(yù)處理中語法信息的錯(cuò)誤傳遞到系統(tǒng)訓(xùn)練和預(yù)測(cè)過程中。因此,深度學(xué)習(xí)的應(yīng)用受到了學(xué)者們的關(guān)注。因?yàn)樗軐?shí)現(xiàn)端對(duì)端預(yù)測(cè)并盡可能少地依賴外部信息。自然語言處理領(lǐng)域流行的深度學(xué)習(xí)框架為了更好地獲取句子信息,采用multi-gram策略。但不同任務(wù)和不同數(shù)據(jù)集的信息分布狀況不盡相同,而且這種策略并沒有考慮到不同n-gram的重要性分布。針對(duì)該問題,提出了一種基于深度學(xué)習(xí)的自適應(yīng)學(xué)習(xí)multi-gram權(quán)重的策略,從而根據(jù)各n-gram特征的貢獻(xiàn)為其分配相應(yīng)的權(quán)重;并且還提出了一種新的multigram特征向量結(jié)合方法,大大降低了系統(tǒng)復(fù)雜度。將該模型應(yīng)用到電影評(píng)論正負(fù)傾向判斷和關(guān)系分類兩種分類任務(wù)中,實(shí)驗(yàn)結(jié)果證明采用的自適應(yīng)multi-gram權(quán)重策略能夠大大改善模型的分類效果。
[Abstract]:Nowadays, the amount of information is increasing explosively, and natural language processing has been paid more and more attention. Traditional natural language processing systems rely too much on expensive manual tagging features and grammatical information of language analysis tools. Causes errors in preprocessing syntax information to be passed into the system training and prediction process. The application of in-depth learning has attracted the attention of scholars because it can realize end-to-end prediction and rely as little as possible on external information. The popular in-depth learning framework in the field of natural language processing is used to obtain sentence information better. The information distribution of different tasks and data sets is different, and this strategy does not take into account the importance distribution of different n-grams. In this paper, a strategy of adaptive learning multi-gram weight based on deep learning is proposed, which can be assigned according to the contribution of n-gram features, and a new multigram feature vector combination method is also proposed. The system complexity is greatly reduced. The model is applied to both the positive and negative tendency judgment of movie reviews and the relationship classification. The experimental results show that the adaptive multi-gram weight strategy can greatly improve the classification effect of the model.
【作者單位】： 山東財(cái)經(jīng)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;北京郵電大學(xué)信息與通信工程學(xué)院;山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;
【基金】：國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目:基于機(jī)器學(xué)習(xí)的多模態(tài)醫(yī)學(xué)影像信息處理與分析(U1201258) 山東省自然科學(xué)杰出青年基金項(xiàng)目:基于機(jī)器學(xué)習(xí)的生物特征識(shí)別研究(JQ201316)資助
【分類號(hào)】：TP391.1;TP183

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 耿強(qiáng);黃雪琴;;一種基于自適應(yīng)權(quán)值的負(fù)載均衡算法[J];科學(xué)技術(shù)與工程;2013年14期

2 彭銳;賈騰飛;胡捍英;;自適應(yīng)權(quán)重更新的兩步定位算法[J];信息工程大學(xué)學(xué)報(bào);2014年04期

3 郭軍;趙和鵬;朱長(zhǎng)仁;;一種基于自適應(yīng)權(quán)值灰關(guān)聯(lián)分析的毫米波/紅外融合識(shí)別方法[J];計(jì)算機(jī)工程與科學(xué);2010年02期

4 劉琮;劉周;景佳;;基于自適應(yīng)權(quán)重馬爾科夫場(chǎng)的彩色紋理分割[J];信息技術(shù);2010年04期

5 俞德飛;自適應(yīng)權(quán)系數(shù)調(diào)整的硬件實(shí)現(xiàn)——AWA機(jī)的設(shè)計(jì)思想[J];聲學(xué)與電子工程;1986年02期

6 李曉林;蔣銀華;郭平;趙娟;;自適應(yīng)權(quán)值的嵌套式輪循調(diào)度算法[J];后勤工程學(xué)院學(xué)報(bào);2008年02期

7 劉旭;王慈;方向忠;;自適應(yīng)權(quán)重多方向視頻圖像修復(fù)技術(shù)[J];微計(jì)算機(jī)信息;2009年28期

8 楊奎;趙剡;蘇慶華;鄧年茂;;基于遞推自適應(yīng)權(quán)重的快速稠密立體匹配[J];北京航空航天大學(xué)學(xué)報(bào);2013年07期

9 劉悅婷;李嵐;;基于自適應(yīng)權(quán)重的粒子群和K均值混合聚類算法研究[J];甘肅科學(xué)學(xué)報(bào);2010年04期

10 馬利;李晶皎;馬技;;適于硬件實(shí)現(xiàn)的自適應(yīng)權(quán)重立體匹配算法[J];系統(tǒng)仿真學(xué)報(bào);2014年09期

相關(guān)會(huì)議論文 前1條

1 郭森;盧鑫;梁永生;柳偉;;一種自適應(yīng)權(quán)值更新的Mean shift跟蹤算法[A];中國(guó)電子學(xué)會(huì)第十五屆信息論學(xué)術(shù)年會(huì)暨第一屆全國(guó)網(wǎng)絡(luò)編碼學(xué)術(shù)年會(huì)論文集（上冊(cè)）[C];2008年

相關(guān)碩士學(xué)位論文 前1條

1 孔暢;自適應(yīng)權(quán)重FCM算法研究及在電網(wǎng)故障診斷中的應(yīng)用[D];沈陽理工大學(xué);2015年

，

本文編號(hào)：1499420