隨著信息時(shí)代的來(lái)臨,如何從海量的自然語(yǔ)言數(shù)據(jù)中獲取到有用的信息是當(dāng)今社會(huì)一個(gè)非常重要的問(wèn)題。自然語(yǔ)言數(shù)據(jù)不同于其他類型的數(shù)據(jù),它包含著人類語(yǔ)言的特性,需要借助一些專門的技術(shù)來(lái)處理。命名實(shí)體識(shí)別是自然語(yǔ)言處理的一項(xiàng)基本任務(wù),它通過(guò)提取句子中含有特殊意義的關(guān)鍵信息來(lái)解決信息過(guò)載的問(wèn)題,這些關(guān)鍵信息也稱為命名實(shí)體。命名實(shí)體識(shí)別一直是國(guó)內(nèi)外專家學(xué)者的研究熱點(diǎn)之一。中文語(yǔ)言不同于其他語(yǔ)言,對(duì)于中文語(yǔ)言的處理需要考慮中文語(yǔ)言的相應(yīng)特性。當(dāng)前大多數(shù)中文命名實(shí)體識(shí)別模型按照對(duì)語(yǔ)言處理基本單元的選擇大致可以劃分為兩類:基于字符的模型和基于詞的模型�；谧址哪Ｐ椭苯訉⒅形木渥忧蟹譃橐粋�(gè)字符序列,然后在這個(gè)字符序列上提取命名實(shí)體�；谠~的模型需要先通過(guò)一個(gè)分詞模型將中文句子切分為一個(gè)詞序列,然后在這個(gè)詞序列上提取命名實(shí)體。但是,基于字符的模型無(wú)法利用詞的豐富的內(nèi)在信息來(lái)完成命名實(shí)體的提取,基于詞的模型無(wú)法消除分詞模型按照不同的分詞標(biāo)準(zhǔn)切分的詞序列中詞的歧義。針對(duì)以上兩類模型存在的問(wèn)題,現(xiàn)有研究通過(guò)整合一個(gè)預(yù)定義的詞典來(lái)自動(dòng)適配中文句子中的詞,并將適配到的詞信息反饋回命名實(shí)體識(shí)別模型,通過(guò)這種方式可以使命名... 

【文章來(lái)源】：西南大學(xué)重慶市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：60 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

線性鏈條件隨機(jī)場(chǎng)模型

第2章相關(guān)理論與技術(shù)11卷積網(wǎng)絡(luò)（FCN）作為主要結(jié)構(gòu)，它是一種隱藏層的長(zhǎng)度與輸入層、輸出層一樣的網(wǎng)絡(luò)結(jié)構(gòu)。為了實(shí)現(xiàn)第二個(gè)原則，GTCN使用了因果卷積技術(shù)，因果卷積在t時(shí)刻的輸出只與在t時(shí)刻之前的元素有關(guān)聯(lián)，與t時(shí)刻之后的元素?zé)o關(guān)聯(lián)。一維全卷積網(wǎng)絡(luò)構(gòu)建的序列模型在需要獲取更大范圍的輸入數(shù)據(jù)的歷史信息時(shí)，可以通過(guò)以下兩種方式：增加網(wǎng)絡(luò)的層數(shù)和設(shè)置更大的過(guò)濾器。這兩種方式計(jì)算量過(guò)大，結(jié)構(gòu)復(fù)雜，一開(kāi)始并不能很好的獲取大范圍的數(shù)據(jù)信息。一個(gè)簡(jiǎn)單的因果卷積只能看到在一個(gè)卷積網(wǎng)絡(luò)層上一定范圍內(nèi)的序列數(shù)據(jù)，這限制了因果卷積處理序列數(shù)據(jù)的能力。膨脹卷積可以解決這一問(wèn)題，它跳躍式的收集序列中不同元素的信息。一般而言，對(duì)于一個(gè)一維輸入序列X,X∈R和一個(gè)過(guò)濾器f:{0,…,k1}→R,對(duì)于序列上的元素s而言，膨脹卷積操作F被描述為公式（2-1）。如公式（2-1）所示，d表示膨脹因子，k表示過(guò)濾器的大小，sdi指示從前至后處理輸入序列數(shù)據(jù)的方向，即過(guò)去的時(shí)間依賴性。當(dāng)d等于1時(shí)，一維膨脹卷積轉(zhuǎn)變?yōu)閭鹘y(tǒng)的卷積操作。使用膨脹卷積可以使網(wǎng)絡(luò)看到更多在序列遠(yuǎn)處的信息，擴(kuò)大了序列信息提取的范圍。F(s)=∑()（2-1）圖2-2GTCN網(wǎng)絡(luò)結(jié)構(gòu)GTDN的網(wǎng)絡(luò)結(jié)構(gòu)如圖2-2所示，輸入一條序列結(jié)構(gòu)的數(shù)據(jù)x,…,x，對(duì)這條序列結(jié)構(gòu)數(shù)據(jù)執(zhí)行一維膨脹卷積等相關(guān)操作之后，得到對(duì)應(yīng)的輸出y,…,y，中間的隱藏層使用膨脹卷積，d是膨脹卷積因子，d隨著層數(shù)的增加而增加。通用時(shí)序卷積網(wǎng)絡(luò)采用從左至右的卷積滑動(dòng)策略，每次只向右滑動(dòng)一步，在左邊添加zero-padding塊來(lái)保證對(duì)齊。

西南大學(xué)碩士學(xué)位論文12圖2-3卷積塊操作GTCN使用殘差連接方法連接神經(jīng)網(wǎng)絡(luò)相鄰的層。GTCN需要處理序列結(jié)構(gòu)的數(shù)據(jù)，對(duì)序列結(jié)構(gòu)數(shù)據(jù)的每一項(xiàng)數(shù)據(jù)元素在執(zhí)行一維卷積操作之后再執(zhí)行殘差連接操作。一個(gè)殘差連接操作由兩部分元素組成：原始輸入x與一系列轉(zhuǎn)換F(x)。殘差連接操作如公式（2-2）所示。o=Activation(x+F(x))（2-2）如公式（2-2）所示，Activation是激活函數(shù)，o是殘差操作的結(jié)果。F(x)是一系列轉(zhuǎn)換操作的集合，如圖2-3所示，一個(gè)卷積塊操作內(nèi)部所包含的轉(zhuǎn)換依次為膨脹卷積、權(quán)重歸一化、ReLU激活函數(shù)、抑制過(guò)擬合（Dropout）操作。在經(jīng)過(guò)F(x)操作之后，將初始輸入x與F(x)直接相加則得到一次卷積塊操作的輸出結(jié)果。2.4注意力機(jī)制注意力機(jī)制借鑒了人類的視覺(jué)注意力機(jī)制，視覺(jué)注意力機(jī)制是人類大腦特有的處理視覺(jué)信號(hào)的機(jī)制。人眼在識(shí)別成像過(guò)程中，首先快速掃描全局環(huán)境，獲得需要重點(diǎn)關(guān)注的目標(biāo)區(qū)域，即注意力焦點(diǎn)，然后對(duì)這一注意力焦點(diǎn)區(qū)域進(jìn)行更加細(xì)致的掃描，以獲取該區(qū)域更多的細(xì)節(jié)信息，忽略掉其它無(wú)關(guān)信息。這一機(jī)制是人類進(jìn)化出來(lái)的一種用于快速篩選出高價(jià)值信息的方法，極大的提高了人類處理視覺(jué)信息的效率和準(zhǔn)確性。注意力機(jī)制（Attention）最早出現(xiàn)在對(duì)人類視覺(jué)的研究工作中。2014年，Volodymy提出了一個(gè)加入了注意力機(jī)制的RNN模型用于圖像分類，取得了不錯(cuò)的分類效果[28]。Kelvin提出了一個(gè)基于注意力機(jī)制的自動(dòng)識(shí)別圖像內(nèi)容的圖像識(shí)別模型[29]。在自然語(yǔ)言處理任務(wù)中，機(jī)器翻譯任務(wù)是最早引入注意力機(jī)制的研究領(lǐng)域。Bahdanau最早提出了一個(gè)用于提升神經(jīng)機(jī)器翻譯模型性能的注意力模型[30]。

【參考文獻(xiàn)】：
期刊論文
[1]基于CRF和規(guī)則相結(jié)合的地理命名實(shí)體識(shí)別方法[J]. 何炎祥,羅楚威,胡彬堯.  計(jì)算機(jī)應(yīng)用與軟件. 2015(01)



本文編號(hào)：3340123