社交網(wǎng)絡(luò),知識(shí)圖譜等在大數(shù)據(jù)時(shí)代都變得至關(guān)重要,然而,與圖片和視頻等歐幾里得式數(shù)據(jù)不同,交錯(cuò)復(fù)雜的非歐幾里得式結(jié)構(gòu)數(shù)據(jù)面始終具有特征提取困難的問(wèn)題,復(fù)雜的數(shù)據(jù)交互形式和龐大的數(shù)據(jù)體量,使得對(duì)網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)的挖掘和分析變得相對(duì)困難。傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)挖掘通常采用表示學(xué)習(xí)方法,即將網(wǎng)絡(luò)中的節(jié)點(diǎn)和關(guān)系獲得嵌入向量,向量的方向和模長(zhǎng)均具有表示意義。另外,隨著強(qiáng)化學(xué)習(xí)方法的興起,出現(xiàn)了將強(qiáng)化學(xué)習(xí)模型應(yīng)用于網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)處理數(shù)據(jù)挖掘任務(wù)。本文面向知識(shí)圖譜以強(qiáng)化學(xué)習(xí)視角對(duì)數(shù)據(jù)分析與挖掘,其中一個(gè)主要問(wèn)題是知識(shí)圖譜實(shí)體補(bǔ)全問(wèn)題。因此,本文以知識(shí)圖譜補(bǔ)全任務(wù)入手,其任務(wù)表述為給定初始實(shí)體和該實(shí)體相關(guān)的關(guān)系,補(bǔ)全出關(guān)系對(duì)應(yīng)的目標(biāo)實(shí)體,構(gòu)成完整的（頭實(shí)體,關(guān)系,尾實(shí)體）三元組。該任務(wù)可應(yīng)用于知識(shí)圖譜補(bǔ)全,問(wèn)答系統(tǒng),推薦等諸多下游任務(wù)。本文將補(bǔ)全任務(wù)過(guò)程形式化定義為馬爾科夫過(guò)程,采用強(qiáng)化學(xué)習(xí)思想學(xué)習(xí)解決補(bǔ)全問(wèn)題,其中的網(wǎng)絡(luò)特征提取與策略學(xué)習(xí)方法能夠適應(yīng)多種任務(wù)。首先,本文詳細(xì)定義了知識(shí)圖譜補(bǔ)全任務(wù)的馬爾科夫過(guò)程,明確了過(guò)程四要素即狀態(tài)空間、動(dòng)作空間、轉(zhuǎn)移函數(shù)和回報(bào)函數(shù),進(jìn)而使得該過(guò)程能夠以強(qiáng)化學(xué)習(xí)方式對(duì)任務(wù)目標(biāo)學(xué)... 

【文章來(lái)源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：50 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

應(yīng)用強(qiáng)化學(xué)習(xí)算法的AlphaGo在圍棋上與人類頂尖棋手對(duì)抗

第2章相關(guān)工作11圖2.2循環(huán)神經(jīng)網(wǎng)絡(luò)RNN和長(zhǎng)短期記憶模型LSTM內(nèi)部結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork,RNN）是一類以序列（sequence）數(shù)據(jù)為輸入，在序列的演進(jìn)方向進(jìn)行遞歸（recursion）且所有節(jié)點(diǎn)（循環(huán)單元）按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)（recursiveneuralnetwork），不同于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的層結(jié)構(gòu)，循環(huán)神經(jīng)網(wǎng)絡(luò)中不包含隱藏層，其基本結(jié)構(gòu)可以稱為循環(huán)細(xì)胞或循環(huán)單元，序列化的輸入將在不同的時(shí)間步輸入該循環(huán)單元，可以形象表示為鏈?zhǔn)浇Y(jié)構(gòu)，每一步的輸入和前一步的循環(huán)單元輸出共同組成下一步的輸入。因此循環(huán)神經(jīng)網(wǎng)絡(luò)具有處理先前輸入的功能，并且通過(guò)每一時(shí)間步的篩選和記憶，保留重要信息傳遞給下一個(gè)時(shí)間步。RNN模型通過(guò)隱狀態(tài)來(lái)實(shí)現(xiàn)對(duì)序列中已經(jīng)出現(xiàn)的歷史信息的記憶,然而循環(huán)的梯度累積容易產(chǎn)生梯度消失的問(wèn)題。長(zhǎng)短期記憶模型（LSTM）[45]則在一定程度上解決了梯度消失問(wèn)題，其具有更加復(fù)雜的循環(huán)細(xì)胞單元，增加了貫穿整個(gè)時(shí)間步的細(xì)胞狀態(tài)，并且能更好的實(shí)現(xiàn)長(zhǎng)期記憶。隨后GRU[46]的提出簡(jiǎn)化了LSTM模型，提升了訓(xùn)練速度，使得循環(huán)模型在序列問(wèn)題的處理上占了絕對(duì)的主導(dǎo)地位。然而，隨后也涌現(xiàn)利用卷積網(wǎng)絡(luò)用于序列相關(guān)工作，比如Wavenet[47]模型采用空洞因果卷積處理序列化的音頻數(shù)據(jù)，GatedCNN[48]模型提出一種新的門控機(jī)制，結(jié)合CNN做自然語(yǔ)言語(yǔ)言處理等。輸出輸出輸入中間隱藏層中間隱藏層中間隱藏層圖2.3因果卷積結(jié)構(gòu)

第6章實(shí)驗(yàn)結(jié)果31圖7.1Policy-UCT搜索在各個(gè)數(shù)據(jù)集上的正回報(bào)率（c=1.96）圖7.2Policy-UCT搜索在各個(gè)數(shù)據(jù)集上的平均耗時(shí)（c=1.96）6.3.2任務(wù)實(shí)驗(yàn)結(jié)果表7.1NELL995中十個(gè)關(guān)系的預(yù)測(cè)結(jié)果（采用MAP方法，括號(hào)中為標(biāo)準(zhǔn)差）任務(wù)（MAP）GAM-walkMINERVADeepPathPRATransETransRAthletePlaysForTeam85.2(0.8)84.7(1.3)82.7(0.8)72.1(1.2)54.762.767.3AthletePlaysInLeague97.9(0.4)97.8（0.2）95.2(0.8)92.7(5.3)84.177.391.2AthleteHomeStadium91.7(0.1)91.9（0.1）92.8（0.1）84.6(0.8)85.971.872.2AthletePlaysSport96.4(0.2)98.3（0.1）98.6(0.1)91.7(4.1)47.487.696.3TeamPlaySports87.5(0.2)88.4（1.8）87.5(0.5)69.6(6.7)79.176.181.4OrgHeadquaterCity95.4(0.3)95.0（0.7）94.5(0.3)79.0(0.0)81.162.065.7BornLocation82.5(0.1)81.2（0.0）78.2(0.0)75.5(0.5)66.871.281.2WorksFor83.8(0.4)84.2（0.6）82.7(0.5)69.9(0.3)68.167.769.2PersonLeadsOrg88.2(1.3)88.8（0.5）83.0(2.6)79.0(1.0)70.075.177.2OrgHiredPerson90.1(0.7)88.8（0.6）87.0(0.3)73.8(1.9)59.971.973.7Overall89.989.987.678.869.772.377.5


本文編號(hào)：3543011