信息抽取技術(shù)隨著計(jì)算機(jī)科學(xué)的進(jìn)步不斷突破,命名實(shí)體識(shí)別和實(shí)體關(guān)系抽取作為信息抽取技術(shù)的主要任務(wù),命名實(shí)體識(shí)別可以從非結(jié)構(gòu)文本中抽取出諸如人名、地名、機(jī)構(gòu)名等重要實(shí)體載體,實(shí)體關(guān)系抽取可以從已獲得實(shí)體的文本中抽取實(shí)體間語(yǔ)義關(guān)系。兩者作為重要的基礎(chǔ)任務(wù),是很多高級(jí)任務(wù)如機(jī)器翻譯、機(jī)器問(wèn)答等的組成部分之一,因此具有深遠(yuǎn)的意義和影響。論文主要研究成果如下:（1）針對(duì)傳統(tǒng)機(jī)器學(xué)習(xí)方法需要大量的特征來(lái)保證準(zhǔn)確率,特征模板特別依賴于人工和專家知識(shí),以及傳統(tǒng)機(jī)器學(xué)習(xí)存在難以獲取長(zhǎng)距離依賴信息等缺點(diǎn)。構(gòu)建一種基于BERT-BiLSTM-CRF深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu),通過(guò)BERT模型來(lái)對(duì)語(yǔ)料進(jìn)行文本特征提取,作為BiLSTM網(wǎng)絡(luò)的輸入。BiLSTM克服了傳統(tǒng)機(jī)器學(xué)習(xí)的長(zhǎng)距離依賴難以獲取的缺點(diǎn),從而對(duì)標(biāo)簽序列做出有效的預(yù)測(cè)。CRF可以通過(guò)訓(xùn)練學(xué)習(xí)得到標(biāo)簽轉(zhuǎn)移概率和約束條件,在最終預(yù)測(cè)時(shí)防止非法標(biāo)簽的出現(xiàn)。實(shí)驗(yàn)結(jié)果表明,BERT-BiLSTM-CRF模型擁有良好的識(shí)別效果。相較于傳統(tǒng)模型在準(zhǔn)確率、召回率和F值上均有較大程度提升。（2）提出了一種注意力機(jī)制融合句法分析的BiGRU神經(jīng)網(wǎng)絡(luò)模型,利用依存句法分析獲取中文... 

【文章來(lái)源】：貴州大學(xué)貴州省 211工程院校

【文章頁(yè)數(shù)】：75 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

預(yù)訓(xùn)練模型結(jié)構(gòu)對(duì)比

漢語(yǔ)語(yǔ)言模型中通常認(rèn)為第 i 個(gè)詞出現(xiàn)只和它經(jīng)網(wǎng)絡(luò)模型中，認(rèn)為第 i 個(gè)詞出現(xiàn)與它前面所有自然語(yǔ)言時(shí)使用循環(huán)神經(jīng)網(wǎng)絡(luò)模型比使用傳統(tǒng)的的神經(jīng)網(wǎng)絡(luò)模型會(huì)隨著隱藏層的數(shù)目增加帶來(lái)梯題 Hochreiter 提出一種模型——長(zhǎng)短期記憶模網(wǎng)絡(luò)中最常見(jiàn)的變形。在循環(huán)神經(jīng)網(wǎng)絡(luò)中，它會(huì)步長(zhǎng)內(nèi)重寫(xiě)自己的記憶，在 LSTM 模型中，它是狀態(tài)，并且將當(dāng)前數(shù)據(jù)所輸入的特征進(jìn)行記憶。網(wǎng)絡(luò)模型包含輸入門(mén)、遺忘門(mén)和輸出門(mén)。其中決態(tài)到當(dāng)前時(shí)刻的單元狀態(tài)時(shí)使用遺忘門(mén)；決定保時(shí)刻的單元狀態(tài)時(shí)使用輸入門(mén)；決定當(dāng)前時(shí)刻的門(mén)。將 LSTM 模型進(jìn)行簡(jiǎn)化后就得到 GRU 神經(jīng)網(wǎng)重置門(mén)。


本文編號(hào)：3324831