發(fā)布時間：2021-09-02 00:00

　　近年來,隨著人工智能在各個領(lǐng)域的廣泛應(yīng)用,研究如何將人工智能應(yīng)用于教育領(lǐng)域逐漸成為關(guān)注的焦點。智能提問是人工智能應(yīng)用于教育領(lǐng)域的一個體現(xiàn),是構(gòu)建智能化教學(xué)環(huán)境的一個重要組成部分。智能提問是一門交叉學(xué)科的研究方向,涉及的領(lǐng)域包括自然語言處理、教育學(xué)、計算機科學(xué)、認(rèn)知科學(xué)等,其主要目的是根據(jù)文本內(nèi)容自動產(chǎn)生自然語言問題。智能提問也稱問題產(chǎn)生。傳統(tǒng)的問題產(chǎn)生方法是基于規(guī)則或模板的問題產(chǎn)生方法,該方法依賴人工根據(jù)文本內(nèi)容制定出問題產(chǎn)生規(guī)則或模板。然而,規(guī)則或模板容易被過度設(shè)計,導(dǎo)致這種方法產(chǎn)生的問題質(zhì)量不高,難以滿足現(xiàn)實需求。近年來,深度學(xué)習(xí)在自然語言處理領(lǐng)域得到了廣泛使用,特別是在機器翻譯、智能問答等方向上取得了重大進展,展示出了潛在的應(yīng)用價值。因此,研究員開始嘗試?yán)蒙疃葘W(xué)習(xí)技術(shù)實現(xiàn)問題產(chǎn)生。目前,研究提出的基于神經(jīng)網(wǎng)絡(luò)的問題產(chǎn)生方法主要關(guān)注英文問題產(chǎn)生,針對中文問題產(chǎn)生的研究相對較少。因此,本文主要針對現(xiàn)有的基于神經(jīng)網(wǎng)絡(luò)的問題產(chǎn)生方法存在的不足,重點研究基于神經(jīng)網(wǎng)絡(luò)的中文問題產(chǎn)生方法,并取得了如下研究成果:1、融合知識圖譜的神經(jīng)網(wǎng)絡(luò)問題產(chǎn)生方法當(dāng)前研究提出的基于神經(jīng)網(wǎng)絡(luò)的問題產(chǎn)生方法主要... 

【文章來源】：西南大學(xué)重慶市 211工程院校 教育部直屬院校

【文章頁數(shù)】：83 頁

【學(xué)位級別】：碩士

【部分圖文】：

前饋神經(jīng)網(wǎng)絡(luò)

西南大學(xué)碩士學(xué)位論文12圖2-1前饋神經(jīng)網(wǎng)絡(luò)2.2循環(huán)神經(jīng)網(wǎng)絡(luò)2.2.1RNN循環(huán)神經(jīng)網(wǎng)絡(luò)RNN循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetwork,RNN)是一種用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)[1]。在RNN循環(huán)神經(jīng)網(wǎng)絡(luò)中，同層的節(jié)點是有連接的，其隱藏層的輸入不僅包括前一層的輸出還包括上一時刻隱藏層的狀態(tài)。圖2-2是一個RNN循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖，左側(cè)是其折疊示意圖，右側(cè)是其展開示意圖。圖2-2RNN循環(huán)神經(jīng)網(wǎng)絡(luò)圖中的RNN循環(huán)神經(jīng)網(wǎng)絡(luò)由一個輸入層、一個隱藏層和一個輸出層組成。從圖中可以看到，該網(wǎng)絡(luò)隨著序列數(shù)據(jù)的不斷推進，t-1時刻隱藏層的狀態(tài)將會影響下一時刻t的隱藏層狀態(tài)。圖中x=(1,2,…,)是輸入的序列數(shù)據(jù)，=(1,2,…,,n)是RNN循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出序列數(shù)據(jù)，y=(1,2,…,)是目標(biāo)輸出序列，RNN循環(huán)神經(jīng)網(wǎng)絡(luò)在t時刻的隱藏層的狀態(tài)計算公式如下所示：=(1+)(2-1)其中，∈是輸入序列中第t個元素的向量表示；∈×是用于調(diào)節(jié)輸入元素的權(quán)重矩陣；∈×是用于調(diào)節(jié)上一時刻隱藏層的狀態(tài)1的權(quán)重矩陣；σ是非線性激活函數(shù)，例如sigmoid函數(shù)，tanh函數(shù)等。最后，t時刻的隱藏層的狀態(tài)傳入到輸出層并計算得到t時刻的輸出：=g()(2-2)其中，輸出層是一個全連接層，∈×是用于調(diào)節(jié)隱藏層狀態(tài)的權(quán)重矩陣，g

西南大學(xué)碩士學(xué)位論文14圖2-3長短時記憶網(wǎng)絡(luò)(LSTM)2.3序列到序列學(xué)習(xí)模型2.3.1基于編碼器-解碼器的神經(jīng)網(wǎng)絡(luò)模型在NLP領(lǐng)域中，會面臨一種輸入和輸出均是序列數(shù)據(jù)的任務(wù)，即根據(jù)一個輸入序列x=(1,2,…,)，輸出另一個序列y=(1,2,…,)，例如機器翻譯。Cho團隊提出了一種基于編碼器-解碼器的神經(jīng)網(wǎng)絡(luò)模型[1]，實現(xiàn)了將神經(jīng)網(wǎng)絡(luò)應(yīng)用于機器翻譯。該模型由兩個RNN循環(huán)神經(jīng)網(wǎng)絡(luò)組成，一個RNN作為編碼器將變長輸入序列映射到一個固定長度的向量中；另一個RNN作為解碼器將固定長度的向量映射為目標(biāo)序列，其模型結(jié)構(gòu)如圖2-4所示。該模型在編碼時，編碼器順序地讀取輸入序列x中的每個元素(i=1,2,…,m)。每讀取一個元素，編碼器的隱藏層狀態(tài)將會發(fā)生改變，如公式2-11所示，其中f可以使RNN或LSTM。當(dāng)讀取最后一個元素后，此刻的編碼器隱藏層的狀態(tài)可以作為整個輸入序列的概要信息c。=(1,)(2-11)c==(1,)(2-12)在解碼時，解碼器根據(jù)概要信息c，上一時刻的輸出元素1計算出解碼器在時刻t時的狀態(tài)，如公式2-13所示：=(1,1,)(2-13)p(|1,2,…,1,c)=g(,1,c)(2-14)t時刻的輸出元素的條件概率分布計算公式如2-14所示，其中g(shù)一般是softmax函數(shù)。最后，該模型通過最大化對數(shù)似然函數(shù)來聯(lián)合訓(xùn)練模型中的編碼器和解碼器：maxθ1∑log(|)=1(2-15)其中θ是模型的參數(shù)集合，(,)代表訓(xùn)練集中的一對輸入序列和輸出序列。


本文編號：3377900