知識(shí)圖譜表示學(xué)習(xí)也稱知識(shí)圖譜嵌入,旨在挖掘知識(shí)圖譜中涵蓋的有效信息并轉(zhuǎn)變?yōu)橄蛄勘硎?從而更方便地被應(yīng)用于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型之中,并應(yīng)用于檢索、推薦、推理等目的。提高知識(shí)圖譜表示學(xué)習(xí)模型的表達(dá)能力主要從兩方面入手。1)知識(shí)圖譜表示學(xué)習(xí)模型的改進(jìn)。在傳統(tǒng)知識(shí)圖譜表示模型的基礎(chǔ)上結(jié)合卷積神經(jīng)網(wǎng)絡(luò)模型、注意力機(jī)制以及目前備受關(guān)注的圖神經(jīng)網(wǎng)絡(luò)等模型的優(yōu)勢(shì)針對(duì)模型架構(gòu)設(shè)計(jì)進(jìn)行優(yōu)化。2)擴(kuò)充知識(shí)庫(kù)。由于只通過(guò)知識(shí)圖譜的結(jié)構(gòu)數(shù)據(jù)無(wú)法對(duì)圖譜信息進(jìn)行完整建模,因而試圖通過(guò)一些外部的知識(shí)庫(kù)信息來(lái)擴(kuò)充知識(shí)圖譜,并設(shè)計(jì)相應(yīng)的知識(shí)增強(qiáng)模型來(lái)充分挖掘知識(shí)圖譜的內(nèi)容信息,從而達(dá)到提升性能的目的。本文主要研究?jī)?nèi)容包括:1)針對(duì)上述兩個(gè)方面對(duì)知識(shí)圖譜表示學(xué)習(xí)算法進(jìn)行優(yōu)化,提出了基于圖注意網(wǎng)絡(luò)的文本增強(qiáng)知識(shí)圖譜表示學(xué)習(xí)模型TGAT,并基于WN18RR和FB15K-237數(shù)據(jù)集驗(yàn)證了TGAT模型在鏈接預(yù)測(cè)任務(wù)上的性能表現(xiàn);2)為了驗(yàn)證算法在真實(shí)場(chǎng)景中的表現(xiàn),我們結(jié)合保險(xiǎn)行業(yè)的核保任務(wù)場(chǎng)景,構(gòu)建了保險(xiǎn)醫(yī)療知識(shí)圖譜數(shù)據(jù)集MI225,驗(yàn)證了TGAT模型在MI225數(shù)據(jù)集上的性能表現(xiàn);3)為了研究知識(shí)表示模型和深度學(xué)習(xí)模型的有機(jī)... 

【文章來(lái)源】：華東師范大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：90 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

知識(shí)圖譜可視化示例

。然而，知識(shí)圖譜的研究應(yīng)用還尚處于初級(jí)階段，一方面，知識(shí)圖譜遭受缺失實(shí)體和關(guān)系的不完整性的困擾；另一方面，知識(shí)圖譜中蘊(yùn)含的的信息沒(méi)有被充分挖掘和利用；導(dǎo)致知識(shí)圖譜應(yīng)用于信息抽娶關(guān)系預(yù)測(cè)、搜索推薦、大數(shù)據(jù)分析等任務(wù)中還面臨著決策能力欠佳等劣勢(shì)。知識(shí)表示研究是為了利用計(jì)算符號(hào)來(lái)表示人腦中的知識(shí)，利用符號(hào)運(yùn)算模擬知識(shí)推理的過(guò)程，通過(guò)學(xué)習(xí)到更好的表示策略從而更好的服務(wù)于下游應(yīng)用。因此激起了許多研究者對(duì)知識(shí)圖譜表示學(xué)習(xí)的相關(guān)研究。知識(shí)表示主要分為基于離散符號(hào)和基于連續(xù)向量的知識(shí)表示模型。如圖1-2所示，基于離散符號(hào)表示的方法通過(guò)構(gòu)建數(shù)據(jù)模型并制定一些規(guī)則來(lái)描述一條知識(shí)，視力下降是糖尿病的并發(fā)癥，這樣一條知識(shí)被預(yù)定義好的數(shù)據(jù)模型表示并存儲(chǔ)。而基于連續(xù)向量表示的方法將實(shí)體以及關(guān)系表示為分布式向量或張量。圖1-2知識(shí)的離散符號(hào)表示以及連續(xù)向量表示圖示基于離散符號(hào)的知識(shí)表示模型包括資源描述框架(ResourceDescriptionFramework,RDF)、網(wǎng)絡(luò)本體語(yǔ)言(WebOntologyLanguage,OWL)以及查詢語(yǔ)言(SPARQL)�；谶B續(xù)向量的知識(shí)表示模型也稱知識(shí)圖譜表示學(xué)習(xí)或者知識(shí)圖譜嵌入，主要是把知識(shí)圖譜中稀疏的的實(shí)體、關(guān)系表示映射為低維稠密的向量表示，經(jīng)典的方法例如TransE[4]、ComplEx[5]、SME[6]等。雖然基于離散符號(hào)的表示方法能夠顯式的表達(dá)知識(shí)，并具備可解釋性，但其高稀疏性、高計(jì)算復(fù)雜性以及不能直接對(duì)接神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)工具導(dǎo)致其應(yīng)用局限；而基于連續(xù)向量的知識(shí)表示具有較弱的邏輯約束，通過(guò)將實(shí)體和關(guān)系轉(zhuǎn)換為連續(xù)的向量，簡(jiǎn)化操作的同時(shí)保

華東師范大學(xué)碩士學(xué)位論文基于圖注意網(wǎng)絡(luò)的文本增強(qiáng)知識(shí)圖譜表示學(xué)習(xí)5AttentionNetwork,GAT)[26]。圖注意網(wǎng)絡(luò)模型通過(guò)分配給!跳鄰域中不同實(shí)體不同權(quán)重，從而全面捕獲了多跳鄰域中的實(shí)體和關(guān)系特征以及語(yǔ)義相似的關(guān)系。1.3本文的章節(jié)安排本文的工作主要是研究并改進(jìn)知識(shí)圖譜表示學(xué)習(xí)算法；在經(jīng)典公開(kāi)數(shù)據(jù)集上（如FreeBase、WordNet）對(duì)經(jīng)典任務(wù)（鏈接預(yù)測(cè)）進(jìn)行驗(yàn)證；針對(duì)模型不同層進(jìn)行消融實(shí)驗(yàn)研究；結(jié)合應(yīng)用場(chǎng)景構(gòu)建知識(shí)圖譜數(shù)據(jù)集并驗(yàn)證模型性能；同時(shí)為了讓知識(shí)表示模型賦能深度學(xué)習(xí)任務(wù)，我們?cè)O(shè)計(jì)了基于知識(shí)表示的深度學(xué)習(xí)模型，從而將知識(shí)圖譜表示模型賦能下游應(yīng)用。本文的工作安排如下：圖1-3章節(jié)安排框架第一章主要介紹了知識(shí)圖譜的概念、發(fā)展、應(yīng)用以及知識(shí)圖譜表示學(xué)習(xí)的研究背景、研究現(xiàn)狀和研究意義。在此基礎(chǔ)上通過(guò)對(duì)知識(shí)圖譜表示學(xué)習(xí)算法進(jìn)行調(diào)研總結(jié)，形成國(guó)內(nèi)外在知識(shí)圖譜表示學(xué)習(xí)領(lǐng)域的研究現(xiàn)狀分析，最后引出全文的章節(jié)安排。第二章為知識(shí)圖譜表示學(xué)習(xí)模型算法研究。本章通過(guò)將多種不同的知識(shí)圖譜表示學(xué)習(xí)算法進(jìn)行歸類，分別針對(duì)平移距離模型、語(yǔ)義匹配模型以及基于卷積神


本文編號(hào)：3335503