目前每年政務(wù)公文的數(shù)量成倍增加,能從中批量的自動的識別、處理和抽取相應(yīng)的對象并對所有的公文中的人員、組織、機(jī)構(gòu)、職級、職務(wù)等屬性完成系統(tǒng)的分析和管理。要完成系統(tǒng)的分析和管理其基礎(chǔ)是對公文命名實(shí)體的識別,因此對于研究命名實(shí)體識別有著重大意義。命名實(shí)體識別的主要任務(wù)是識別出文本具有特殊意義的詞或者短文本,包括人名、地方名等,當(dāng)前命名實(shí)體識別問題已經(jīng)有很多的關(guān)注。命名實(shí)體識別主流的方法基于機(jī)器學(xué)習(xí)、基于深度學(xué)習(xí)的方法。本文只針對機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法進(jìn)行研究。本文首先詳細(xì)研究了機(jī)器學(xué)習(xí)的條件隨機(jī)場方法,通過CRF模型識別出政務(wù)公文中的命名實(shí)體,并進(jìn)行了驗(yàn)證實(shí)驗(yàn)。之后,用深度學(xué)習(xí)的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN,Recurrent Neural Network)的一個(gè) Bi-LSTM(Bi-directional Long-Short Term Memory)雙向長短記憶法進(jìn)行命名實(shí)體識別。其中對Bi-LSTM模型進(jìn)行命名實(shí)體識別,通過在政務(wù)公文領(lǐng)域的語料進(jìn)行大量的實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)在命名實(shí)體識別中,雙向LSTM模型能夠達(dá)到比CRF模型更佳的效果。此外本章最主要的研究是將Bi-LSTM和CRF兩種方法...

【文章頁數(shù)】：84 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１鏈?zhǔn)浇Y(jié)構(gòu)??Ｆｉｇ．２－１?Ｃｈａｉｎ?Ｓｔｒｕｃｔｕｒｅｓ??

?北京化工大學(xué)碩士學(xué)位論文???ｘ?＝?ｘｌ７ｘ２，．．．，ｘ？??圖２－１鏈?zhǔn)浇Y(jié)構(gòu)??Ｆｉｇ．２－１?Ｃｈａｉｎ?Ｓｔｒｕｃｔｕｒｅｓ??就是Ｘ，?Ｙ，，Ｙ２，那么對應(yīng)的條件概率（這里以Ｙ２為例求解）那么應(yīng)該寫成如公式（２??－２）下：??Ｐ?（Ｙ２｜Ｘ，Ｙ，，Ｙ２，Ｙ３．．．....

圖２－２長短記憶模塊??Ｆｉｇ．２－２?Ｌｏｎｇ－Ｓｈｏｒｔ?Ｔｅｒｍ?Ｍｅｍｏｒｙ?Ｍｏｄｕｌｅ??

法介紹??ＬＳＴＭ可以在匹配輸入和輸出序列時(shí)使用與上下文相關(guān)的信息，并且標(biāo)準(zhǔn)遞歸祌??經(jīng)網(wǎng)絡(luò)（ＲＮＮ）可訪問的上下文信息的范圍是有限的。該問題導(dǎo)致隱藏層的輸入對??網(wǎng)絡(luò)輸出的影響隨著網(wǎng)絡(luò)循環(huán)的重現(xiàn)而降低。因此，為了解決這個(gè)問題，長期和短??期記憶結(jié)構(gòu)（ＬＳＴＭ）誕生了。長期和短期....

圖２－３長雙向長短時(shí)記憶模塊??Ｆｉｇ．２－３?Ｂｉ?Ｌｏｎｇ－Ｓｈｏｒｔ?Ｔｅｒｍ?Ｍｅｍｏｒｙ?Ｍｏｄｕｌｅ??在Ｆｏｒｗａｒｄ層從１時(shí)刻到ｔ時(shí)刻正向計(jì)算一遍，得到并保存每個(gè)時(shí)刻向前隱含層??

若干輸入和后面若干輸入共同決定，這樣會更加準(zhǔn)確。因此提出了雙??向循環(huán)神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如下圖。可以看到Ｆｏｒｗａｒｄ層和Ｂａｃｋｗａｒｄ層同連接著輸??出層，其中包含了?６個(gè)共享權(quán)值ｗｌ－ｗ６。??Ｏｕｔｐｕｔ?Ｌａｙｅｒ??ｔ＼?Ｔ＼?ｔ＼??ｗ６?＼?ｗ６?＼?ｗ６??Ｂａ....

圖２－４（ａ）公文示例??Ｆｉｇ．２－４（ａ）?ｇｏｖｅｒｎｍｅｎｔ?ｏｆｆｉｃｉａｌ?ｄｏｃｕｍｅｎｔ?ｅｘａｍｐｌｅ??１４??

構(gòu)比較復(fù)雜，??并且有很多新的名詞和設(shè)定。??第二，崗位和職級中相互的指代和設(shè)定。并且其的命名實(shí)體指代不清晰，所有的??命名實(shí)體的相互影響識別，制約了崗位的識別，如“副局級”，“副局長”??第四，命名實(shí)體的在政務(wù)公文中沒有固定的長度和格式。兩個(gè)字（“紀(jì)委”、“網(wǎng)信??辦”），（“....

本文編號：4018900