本文選題：認(rèn)知智能　切入點：自然語言理解　出處：《中國科學(xué)技術(shù)大學(xué)》2017年博士論文　論文類型：學(xué)位論文

【摘要】：認(rèn)知智能旨在實現(xiàn)機器具備像人一樣的理解、聯(lián)想、推理等能力,是人工智能的重要領(lǐng)域。自然語言語義表達(dá)與常識推理是認(rèn)知智能研究的關(guān)鍵任務(wù)。自然語言語義表達(dá)指的是將自然語言轉(zhuǎn)換成機器可以處理的語義表征形式,是實現(xiàn)自然語言理解的基礎(chǔ)�，F(xiàn)階段的語義表達(dá)方法主要基于統(tǒng)計分布假設(shè),利用海量文本與統(tǒng)計建模,將自然語言中的語義信息表征為高維稀疏或低維稠密的向量形式。如何提高語義表征向量的精度仍然是當(dāng)前語義表達(dá)研究的關(guān)鍵問題。常識推理關(guān)注機器對常識知識的運用以及推理能力�，F(xiàn)階段的常識推理方法仍以馬爾科夫邏輯網(wǎng)絡(luò)、貝葉斯網(wǎng)絡(luò)等傳統(tǒng)概率邏輯推理方法為代表。這些方法往往存在模型結(jié)構(gòu)復(fù)雜、先驗信息依賴性強、效率低、擴(kuò)展性差等問題。本文圍繞基于神經(jīng)網(wǎng)絡(luò)的自然語言語義表達(dá)及推理方法,在詞語語義表達(dá)、面向常識推理的神經(jīng)網(wǎng)絡(luò)模型、常識知識庫構(gòu)建方法和自然語言推理系統(tǒng)等方面開展研究工作,具體包括:首先,研究了融合多源信息與神經(jīng)網(wǎng)絡(luò)建模的詞語語義表達(dá)方法�，F(xiàn)有詞語語義表達(dá)方法單一依賴基于海量文本的統(tǒng)計分布假設(shè),受文本噪聲和歧義等影響,語義表達(dá)的精度不夠理想。因此本文提出了融合海量文本與詞匯語義知識的語義詞向量構(gòu)建方法和詞性信息監(jiān)督下的詞性增強詞向量方法,通過在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中合理利用語義知識庫、詞性序列等多源信息,提高了單詞語義表達(dá)精度,取得了多個自然語言理解任務(wù)上的性能提升。其次,研究了面向常識推理的神經(jīng)網(wǎng)絡(luò)建模方法。針對傳統(tǒng)推理方法中存在的事件表達(dá)稀疏性與推廣性問題,本文將連續(xù)語義空間表達(dá)引入常識推理,提出了神經(jīng)聯(lián)想模型。該模型將大量自然事件映射到連續(xù)語義空間中,利用深層人工神經(jīng)網(wǎng)絡(luò)實現(xiàn)對事件間聯(lián)想關(guān)系的統(tǒng)一建模,最終完成基于事件聯(lián)想的常識推理。在多個自然語言理解及推理任務(wù)上的實驗結(jié)果表明,神經(jīng)聯(lián)想模型取得了優(yōu)于現(xiàn)有模型的性能,并且具有良好的知識遷移學(xué)習(xí)能力。再次,研究了基于海量文本的常識知識庫自動構(gòu)建方法。針對常識知識庫稀缺且人工構(gòu)建代價高的問題,本文提出了基于海量文本的因果知識獲取方法。該方法首先定義常用詞語詞典用于約束常識知識庫的構(gòu)建空間,然后在海量文本上進(jìn)行核心句抽取與自動分析操作,最終得到大量具有因果關(guān)系的短語對作為常識知識庫�；谝陨戏椒�,本文完成了包含五十余萬條因果短語對的常識知識庫的構(gòu)建,為后續(xù)的自然語言推理系統(tǒng)構(gòu)建提供了數(shù)據(jù)支撐。最后,設(shè)計實現(xiàn)了面向認(rèn)知智能評測的自然語言推理系統(tǒng)。在上述語義表達(dá)、常識推理模型、常識知識庫構(gòu)建等研究工作的基礎(chǔ)上,構(gòu)建了面向Winograd Schema Challenge(WSC)評測任務(wù)的自然語言推理系統(tǒng)。針對常識推理子任務(wù),設(shè)計實現(xiàn)了基于常識知識庫和神經(jīng)聯(lián)想模型的因果推理系統(tǒng),首次完成了 WSC因果子集上的自動常識推理;針對指代消解子任務(wù),提出了基于知識增強語義模型的推理方法,采用語義詞向量技術(shù)將常識知識融入詞向量構(gòu)建過程,實現(xiàn)了缺少任務(wù)相關(guān)訓(xùn)練數(shù)據(jù)情況下無監(jiān)督的語義特征提取與推理,使用該方法構(gòu)建的系統(tǒng)在2016年的WSC評測中取得了最優(yōu)的性能表現(xiàn)。
[Abstract]:Cognitive intelligence aims to realize the machine with human like Lenovo, understanding, reasoning ability, is an important field of artificial intelligence. The natural language semantic expression and commonsense reasoning is the key task of cognitive intelligence research. Natural language semantic expression refers to the semantic representation of natural language processing can be converted into machine, is based on natural language understanding. At this stage the main semantic expression method based on the assumption of statistical distribution, and use the massive statistical modeling, the semantic information representation in natural language for high dimensional sparse or dense low dimensional vector form. How to improve the accuracy of semantic representation of vector semantic expression is still the key problems in the research. The use of common sense reasoning pay attention to machine to commonsense knowledge and reasoning ability. Knowledge reasoning method is using Markov logic network, traditional probabilistic network Bias The method of logical reasoning as a representative. These methods are complex model structure, a priori information dependence, low efficiency, poor scalability problems. This paper focuses on natural language semantic expression and reasoning method based on neural network, the expression in terms of semantics, a neural network model for commonsense reasoning, common sense knowledge base construction method and natural language the reasoning system and other aspects of the research work, including: first, the research on semantic integration of multi-source information and neural network modeling method. The expression of existing semantic expression method of statistical dependence on a single massive text distribution based on the assumption by the text noise and ambiguity, semantic expression accuracy is not ideal. So this paper presents a fusion mass the text semantic and lexical knowledge semantic vector construction method and part of speech information under the supervision of the part of speech enhancement method in word vector, by God The rational use of the semantic knowledge base of network training process, part of speech sequences of multi-source data, improve the accuracy of word semantic expression, made a number of natural language understanding and improve the performance of the task. Secondly, study the neural network modeling method for knowledge reasoning. In view of the existing traditional reasoning method in sparse representation and generalization of events in this problem, continuous semantic space expression into commonsense reasoning, proposes a neural associative model. This model will be a large number of natural events are mapped to continuous semantic space, realize the unified modeling association event between the use of deep artificial neural network, the final completion of the event. Based on commonsense reasoning Lenovo in a number of natural language understanding and reasoning the task of experimental results show that the neural associative model has made the performance of the existing model is superior, and has good learning ability of knowledge transfer again, Study on the automatic method to construct a common knowledge base based on the massive text. According to the common knowledge base of scarce and artificial construction costs, this paper proposes a method for massive text based on causal knowledge. This method firstly defines common word dictionary for construction of space constraints common knowledge base, and then in the massive text on core sentence extraction and automatic analysis of operation, finally obtained with a large number of causal phrases for commonsense knowledge base. Based on the above method, this paper completed the construction of the 50 million causal phrase common knowledge base contains, provides data support for the subsequent construction of natural language reasoning system. Finally, the design and implementation of natural language reasoning system for cognitive intelligence the evaluation. In the above expression semantics, general knowledge reasoning model, knowledge base construction of knowledge base and research work on the construction of the surface to Win Ograd Schema Challenge (WSC) natural language inference system evaluation task. For commonsense reasoning task, the design and implementation of causal reasoning system common knowledge base and neural associative model based on the completion of the first WSC for automatic commonsense reasoning on the set of fruit; to refer to the digestion of sub tasks, and puts forward a knowledge enhancement method of semantic reasoning based on the model, using the semantic vector technology will build into the process of word vector commonsense knowledge, the lack of semantic feature extraction and reasoning tasks related to unsupervised training data under the condition of the construction of the system, using the method of performance achieved optimal performance evaluation in WSC in 2016.

【學(xué)位授予單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2017
【分類號】：TP391.1;TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王金夫;自然語言檢索的語言邏輯論析[J];圖書情報工作;2004年08期

2 譚俊明;;自然語言的理解綜述[J];科技廣場;2008年05期

3 何祖軍;胡靜;;自然語言的規(guī)范與轉(zhuǎn)化——基于嵌入式系統(tǒng)的描述[J];計算機與現(xiàn)代化;2008年11期

4 劉海濤;關(guān)于自然語言計算機處理的幾點思考[J];術(shù)語標(biāo)準(zhǔn)化與信息技術(shù);2001年01期

5 劉三滿,劉荷花;論計算機處理自然語言的新趨向[J];科技情報開發(fā)與經(jīng)濟(jì);2002年04期

6 胡廣朋;用于計算機輔助教學(xué)的自然語言接口[J];微計算機應(yīng)用;2003年05期

7 張世紅;胡佳佳;宋繼華;劉會霞;琚文勝;;網(wǎng)絡(luò)環(huán)境下的自然語言檢索[J];醫(yī)學(xué)情報工作;2005年06期

8 胡廣朋;錢遙立;沈繼峰;;一種應(yīng)用規(guī)劃識別建立自然語言接口的方法[J];江蘇科技大學(xué)學(xué)報(自然科學(xué)版);2006年03期

9 杜津;楊一平;曾雋芳;;自然語言時間信息的模擬與計算[J];計算機工程與設(shè)計;2006年13期

10 張雪英;閭國年;宦建;;面向漢語的自然語言路徑描述方法[J];地球信息科學(xué);2008年06期

相關(guān)會議論文 前7條

1 胡健;黃麗華;劉杰;;基于自然語言的智能決策支持系統(tǒng)人機接口[A];管理科學(xué)與系統(tǒng)科學(xué)進(jìn)展——全國青年管理科學(xué)與系統(tǒng)科學(xué)論文集（第4卷）[C];1997年

2 盛新華;柳勁;;自然語言否定的語用功能與交際策略[A];改革開放以來邏輯的歷程——中國邏輯學(xué)會成立30周年紀(jì)念文集（上卷）[C];2009年

3 李靈輝;林爾正;林玉婷;林丹紅;;基于自然語言檢索的中醫(yī)中風(fēng)康復(fù)古代文獻(xiàn)數(shù)據(jù)庫構(gòu)建[A];福建省圖書館學(xué)會2011年學(xué)術(shù)年會論文集[C];2011年

4 谷明哲;孟小峰;周勇;;中文自然語言查詢界面NChiql的Java設(shè)計實現(xiàn)[A];第十六屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集[C];1999年

5 周勇;孟小峰;劉爽;王珊;;數(shù)據(jù)庫自然語言查詢系統(tǒng)NChiql中語義依存樹向SQL的轉(zhuǎn)換[A];第十六屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集[C];1999年

6 萬繼華;;基于哲學(xué)本體論的真值演算系統(tǒng)——實現(xiàn)計算機理解自然語言的邏輯方法[A];邏輯學(xué)及其應(yīng)用研究——第四屆全國邏輯系統(tǒng)、智能科學(xué)與信息科學(xué)學(xué)術(shù)會議論文集[C];2008年

7 才讓加;吉太加;;藏語語料庫中詞性分類代碼的確定[A];中文信息處理前沿進(jìn)展——中國中文信息學(xué)會二十五周年學(xué)術(shù)會議論文集[C];2006年

相關(guān)博士學(xué)位論文 前6條

1 田飛;用于自然語言分布式表達(dá)的聯(lián)合學(xué)習(xí)方法研究[D];中國科學(xué)技術(shù)大學(xué);2016年

2 于墨;自然語言句子級結(jié)構(gòu)表示的建模與學(xué)習(xí)[D];哈爾濱工業(yè)大學(xué);2016年

3 劉權(quán);基于神經(jīng)網(wǎng)絡(luò)的自然語言語義表達(dá)及推理方法研究[D];中國科學(xué)技術(shù)大學(xué);2017年

4 李虎;基于本體和規(guī)則的受控自然語言系統(tǒng)模型研究[D];華中科技大學(xué);2010年

5 孟小峰;中文數(shù)據(jù)庫自然語言查詢處理研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;1999年

6 朱少楠;面向地理場景的“文—圖—景”轉(zhuǎn)換方法研究[D];南京師范大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 石亞坤;自然語言的人類理解與機器“理解”對比研究[D];陜西師范大學(xué);2011年

2 劉曉;面向高德地圖的自然語言接口語義解析系統(tǒng)設(shè)計與實現(xiàn)[D];南京師范大學(xué);2015年

3 孫婷婷;漢語搭配獲取方法研究[D];江蘇科技大學(xué);2015年

4 徐娟;面向地圖搜索領(lǐng)域的自然語言句子g鏌逡饌祭斫夥椒ㄑ芯縖D];復(fù)旦大學(xué);2014年

5 楊瀟;基于隱寫編碼的自然語言信息隱藏技術(shù)研究[D];長沙理工大學(xué);2015年

6 柳勁;自然語言否定的邏輯思考[D];湘潭大學(xué);2009年

7 裴君波;信息分發(fā)中自然語言訂閱接口的研究[D];北京郵電大學(xué);2015年

8 付勝博;基于自然語言的空間數(shù)據(jù)檢索研究[D];西北工業(yè)大學(xué);2007年

9 武睿峰;自然語言密寫分析及密寫量檢測[D];西北大學(xué);2014年

10 李霞;自然語言篇章中時間信息的研究及在產(chǎn)品設(shè)計領(lǐng)域中的應(yīng)用[D];西安電子科技大學(xué);2013年

，

本文編號：1560771