發(fā)布時間：2022-02-15 13:38

　　隨著信息時代到來,互聯(lián)網(wǎng)平臺產(chǎn)生了大量文本信息資源。這些文本信息資源蘊(yùn)含了巨大的商業(yè)價值,如何有效地組織、管理和挖掘這些信息資源一直是工業(yè)界和學(xué)術(shù)界研究的重要問題。自動文本分類（Automatic Text Classification,ATC）技術(shù)被認(rèn)為是管理這些文本信息資源的重要技術(shù)手段。傳統(tǒng)的文本分類模型大多使用獨(dú)熱編碼（One-hot Coding）方式編碼樣本標(biāo)簽。該向量表示是一種純粹的符號表示,本身不具備任何語義信息。在這種情況下,標(biāo)簽信息未能在模型中得到充分利用。為此,研究人員嘗試用標(biāo)簽的低維嵌入表示（Label Embedding）來編碼標(biāo)簽的語義信息。本文主要研究標(biāo)簽嵌入表示在文本分類任務(wù)中的學(xué)習(xí)和應(yīng)用問題。文章第一部分工作利用輸入文本和標(biāo)簽之間的關(guān)聯(lián)來學(xué)習(xí)標(biāo)簽的嵌入表示,文章第二部分工作將聯(lián)合圖卷積網(wǎng)絡(luò)（Graph Convolutional Neural Network,GCN）和標(biāo)簽嵌入來完成文本分類任務(wù)。在先前的研究中,標(biāo)簽嵌入學(xué)習(xí)算法大多利用標(biāo)簽的輔助信息（Side Infor-mation）學(xué)習(xí)標(biāo)簽嵌入表示,如標(biāo)簽描述文本、標(biāo)簽屬性集合等。通常,獲取這些標(biāo)... 

【文章來源】：中國科學(xué)技術(shù)大學(xué)安徽省211工程院校985工程院校

【文章頁數(shù)】：68 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２．１標(biāo)簽層級結(jié)構(gòu)示意圖，圖片來源于論文??

?第２章相關(guān)工作???類（Ｈｉｅｒａｒｃｈｉｃａｌ?Ｍｕｌｔｉ－ｌａｂｅ丨?Ｔｅｘｔ?Ｃｌａｓｓｉｆｉｃａｔｉｏｎ，?ＨＭＴＣ）任務(wù)中。他們?yōu)闃?biāo)簽層級中??的每層標(biāo)簽都學(xué)習(xí)標(biāo)簽嵌入表示，然后用它們來構(gòu)造層級感知的文本表示。??ｘ－＾Ｗｖ??—?．’２?？?ｙ??（ａ）?Ｔｒａｄｉｔｉｏｎａｌ?ｍｅｔｈｏｄ??ｘ」＾ｖ??＾￣??．．１．１．１．?１?ＧＭ￣￣ｇ）Ｌ??｜．；ｖ．：｜－：ｌ?Ｉ?ｆ??ｙ?—￣？?ｃ?ｊ０??ＪＪ?Ｇ??圖２．２基于標(biāo)簽嵌入的注意力機(jī)制，圖片來源于論文??上述兩個工作都是利用標(biāo)簽的嵌入表示來構(gòu)造更好的文本向量表示，還有??一些研宄人員試圖將標(biāo)簽嵌入學(xué)習(xí)應(yīng)用到多任務(wù)學(xué)習(xí)（Ｍｕｌｔｉ－ｔａｓｋ?Ｌｅａｒｎｉｎｇ，ＭＴＬ）??中。Ｚｈａｎｇ等［３２１發(fā)現(xiàn)先前的工作大多使用ｈｈｏｔ編碼方式編碼標(biāo)簽表示，在這種??情況下，這些任務(wù)的標(biāo)簽向量表示是相互獨(dú)立的。這種方式不利于發(fā)掘多個任??務(wù)中標(biāo)簽之間的聯(lián)系，他們希望通過學(xué)習(xí)標(biāo)簽嵌入表示來關(guān)聯(lián)多個任務(wù)，從而提??升模型性能。據(jù)此，他們提出多任務(wù)標(biāo)簽嵌入模型（Ｍｕｌｔｉ－ｔａｓｋ?Ｌａｂｅｌ?Ｅｍｂｅｄｄｉｎｇ，??ＭＴＬＥ）。該模型通過同一個標(biāo)簽編碼器將多個分類任務(wù)中的標(biāo)簽編碼到同一個??向量空間中，然后通過公式２．４聯(lián)合訓(xùn)練多個分類任務(wù)：??ｉ?４?Ｚ?（２－４）??＊＝１?ｉ＝ｉ?ｊ＝ｉ??其中，尺代表任務(wù)個數(shù)，七為每個任務(wù)的訓(xùn)練損失權(quán)重。通過這種方式，模型??能夠?qū)W習(xí)到多個任務(wù)中標(biāo)簽之間的聯(lián)系，使得分類模型具有更好的遷移性能。??２．２圖卷積網(wǎng)絡(luò)??在現(xiàn)實(shí)生活中，數(shù)據(jù)可以分為歐幾里得結(jié)構(gòu)數(shù)據(jù)（Ｅｕｃｌｉｄｅａｎ?

?第２章相關(guān)工作???可以用從左到右、從上至下等方位名詞來描述每個點(diǎn)的位置。而圖２．３（ｂ）所示的??非歐幾里得結(jié)構(gòu)的數(shù)據(jù)中，節(jié)點(diǎn)沒有明確的位置信息（圖中節(jié)點(diǎn)編號是為了方便??解釋，這些節(jié)點(diǎn)實(shí)際上并沒有編號）。其次，在歐幾里得結(jié)構(gòu)數(shù)據(jù)中，每個節(jié)點(diǎn)??的鄰居個數(shù)是確定的，這意味著每個點(diǎn)都有相同的領(lǐng)域結(jié)構(gòu)。而非歐幾里得結(jié)構(gòu)??的數(shù)據(jù)中，鄰居節(jié)點(diǎn)的個數(shù)未知，譬如節(jié)點(diǎn)４有３個鄰居，而節(jié)點(diǎn)６只有１個鄰??居。換言之，非歐幾里得結(jié)構(gòu)數(shù)據(jù)沒有確定的鄰域結(jié)構(gòu)。??ｍｍｒ?ｍ??（ａ）?（ｂ）??圖２．３歐幾里得和非歐幾里得結(jié)構(gòu)數(shù)據(jù)??傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ，?ＣＮＮ）在處理歐幾里得??結(jié)構(gòu)數(shù)據(jù)上有較為出色的性能。以圖２．３（ａ）中的圖片數(shù)據(jù)為例，圖片數(shù)據(jù)是由像??素點(diǎn)排列而成的規(guī)則矩陣，以圖像中的任意一個像素點(diǎn)為中心，模型都可以獲取??相同的局部結(jié)構(gòu)。因此，卷積神經(jīng)網(wǎng)絡(luò)可以定義全局共享的卷積核來提取圖像的??局部信息，學(xué)習(xí)圖像的語義表示。然而，非歐數(shù)據(jù)并沒有確定的鄰域結(jié)構(gòu)，傳統(tǒng)??的卷積神經(jīng)網(wǎng)絡(luò)并不適用于這類數(shù)據(jù)。如何定義圖結(jié)構(gòu)上的卷積操作是一個富??有挑戰(zhàn)的工作�，F(xiàn)有的圖卷積神經(jīng)網(wǎng)絡(luò)可以分為空間方法（Ｓｐａｔｉａｌ?Ｄｏｍａｉｎ）和譜??方法（Ｓｐｅｃｔｒａｌ?Ｄｏｍａｉｎ）兩大類�？臻g方法通過定義規(guī)范化框架和節(jié)點(diǎn)特征聚合函??數(shù)來更新圖中節(jié)點(diǎn)狀態(tài)，譜方法則基于圖譜理論定義出圖上的卷積操作來更新??節(jié)點(diǎn)表示。接下來，我們將簡要介紹這兩類方法的相關(guān)工作。??２．２．１?空域方法??基于空域的圖卷積模型希望通過每個頂點(diǎn)的鄰域來提取圖上的空間特征。但??是，在圖結(jié)構(gòu)數(shù)據(jù)


本文編號：3626726