因果圖在確定因果關(guān)系中起著至關(guān)重要的作用,當(dāng)前已應(yīng)用于包括生物學(xué)和醫(yī)學(xué)等許多領(lǐng)域。傳統(tǒng)的因果圖構(gòu)造方法通常是數(shù)據(jù)驅(qū)動(dòng)的,因此可能無(wú)法提供所需的圖精度�？紤]到大量出版物中含有大量的因果關(guān)系知識(shí),從文獻(xiàn)中提取因果關(guān)系以幫助建立因果圖成為可能。為了提高因果關(guān)系的提取準(zhǔn)確率,本文從兩個(gè)方面提出了提取因果關(guān)系的算法。1)集成基于規(guī)則的方法和無(wú)監(jiān)督的學(xué)習(xí)模型的因果關(guān)系提取算法:該方法包括數(shù)據(jù)預(yù)處理,句法模式匹配和因果關(guān)系確定三個(gè)模塊。在數(shù)據(jù)預(yù)處理中,在提取和簡(jiǎn)化句子之前,將基于屬性名稱對(duì)摘要進(jìn)行爬取。在句法模式匹配模塊中,算法通過(guò)解析句子以獲得詞性標(biāo)簽,基于這些標(biāo)簽得到三元組,然后進(jìn)行句法模式的匹配。在因果關(guān)系確定中,初始化四個(gè)動(dòng)詞種子集,并通過(guò)應(yīng)用無(wú)監(jiān)督機(jī)器學(xué)習(xí)模型為種子集和三元組中的動(dòng)詞構(gòu)造單詞向量。通過(guò)比較每個(gè)三元組中的動(dòng)詞與每個(gè)種子集中的動(dòng)詞之間的相似性,來(lái)克服因果關(guān)系的局限性,從而確定因果關(guān)系。與Alashri和Bui的算法相比,實(shí)驗(yàn)結(jié)果表明本章算法的F值分別提高了8.29%和5.37%。2)基于循環(huán)神經(jīng)網(wǎng)絡(luò)的因果關(guān)系提取算法:該方法提出了一種新的數(shù)據(jù)處理方式,能夠提升循環(huán)神經(jīng)網(wǎng)絡(luò)在小語(yǔ)... 

【文章來(lái)源】：合肥工業(yè)大學(xué)安徽省 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：66 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Word2vec的兩種訓(xùn)練模式

循環(huán)神經(jīng)網(wǎng)絡(luò)折疊圖和展開(kāi)圖

肥工業(yè)大學(xué)學(xué)位碩士研究生學(xué)位論文17忘門(mén)（forgetgate），也稱保留門(mén)（keepgate）。在2000年，Gers和Schmidhuber和Cummins將窺孔連接（從單元到門(mén)的連接）添加到體系結(jié)構(gòu)中，進(jìn)而可以觀測(cè)當(dāng)前輸入狀態(tài)[62]。另外，省略了輸出激活功能。[61]2014年，Zaremba等人成功在RNN上應(yīng)用了Dropout，解決了RNN網(wǎng)絡(luò)過(guò)擬合的問(wèn)題[63]。LSTM單元有若干種體系結(jié)構(gòu)。其中最常見(jiàn)的體系結(jié)構(gòu)是由一個(gè)單元（LSTM單元的存儲(chǔ)部分）和三個(gè)“調(diào)節(jié)器”（通常稱為門(mén)）組成，它們構(gòu)成LSTM單元內(nèi)部信息流：輸入門(mén)，輸出門(mén)和遺忘門(mén)。整個(gè)循環(huán)結(jié)構(gòu)如圖2.3所示，其中和⊕均為矩陣的點(diǎn)操作（pointwiseoperation），矩形框表示學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)層，線的合并表示并列，線的分叉表示復(fù)制并輸出到不同的位置。比較圖2.2與圖2.3，可以得出LSTM網(wǎng)絡(luò)與基本RNN網(wǎng)絡(luò)在隱藏層狀態(tài)方面的不同點(diǎn)就是：基本RNN網(wǎng)絡(luò)只含有一個(gè)狀態(tài)，而它只對(duì)短期輸入較為敏感，而LSTM則同時(shí)存在一個(gè)對(duì)短期輸入敏感的狀態(tài)以及一個(gè)能保持長(zhǎng)期狀態(tài)的，稱為單元狀態(tài)（cellstate）。圖2.3向我們?cè)敿?xì)展示了每個(gè)LSTM單元的輸入輸出，不難得出在時(shí)刻，LSTM單元包含三個(gè)輸入，分別是：時(shí)刻的輸入向量，1時(shí)刻LSTM單元的輸出向量,.$和1時(shí)刻LSTM的單元狀態(tài),.$以及兩個(gè)輸出，時(shí)刻LSTM單元的輸出向量,和單元狀態(tài),。不難理解LSTM的核心思想就是通過(guò)控制長(zhǎng)期狀態(tài)來(lái)解決基本RNN網(wǎng)絡(luò)的長(zhǎng)期依賴問(wèn)題。LSTM網(wǎng)絡(luò)的做法則是通過(guò)使用三個(gè)控制“閥門(mén)”調(diào)節(jié)輸入和輸出以達(dá)到解決梯度消失的問(wèn)題。在LSTM網(wǎng)絡(luò)里，第一個(gè)“閥門(mén)”主要負(fù)責(zé)的任務(wù)則是是否保持長(zhǎng)期狀態(tài)；第二個(gè)“閥門(mén)”的目標(biāo)則是控制是否利用當(dāng)前的即時(shí)狀態(tài)更新長(zhǎng)期的單元狀態(tài)；第三個(gè)開(kāi)關(guān)則負(fù)責(zé)控制長(zhǎng)期的狀態(tài)是否影響當(dāng)前時(shí)刻的輸出。而這三個(gè)“閥門(mén)”就是上文中提

【參考文獻(xiàn)】：
期刊論文
[1]基于關(guān)系觸發(fā)詞與單層GRU模型的關(guān)系抽取方法[J]. 王磊,劉露,牛亮,胡封曄,彭濤.  吉林大學(xué)學(xué)報(bào)(理學(xué)版). 2020(01)
[2]2013-2018年云南省被SCI-E、EI及CPCI-S等收錄的科技論文情況分析[J]. 黃鴻,鐘翔,甘敏,安華軒,賀新華.  云南科技管理. 2019(06)



本文編號(hào)：3063847