隨著我國法治進(jìn)程不斷推進(jìn),民眾法律意識(shí)逐步提升,基層司法機(jī)構(gòu)與法律從業(yè)人員的工作量達(dá)到了前所未有的高度。法律內(nèi)容問答涉及廣大基層群眾的生活,具有普適意義。但由于法律咨詢專業(yè)性較強(qiáng),并且價(jià)格不菲,普通民眾很難享受到高質(zhì)量的法律問答咨詢服務(wù)。法律咨詢的群眾需求量大、人力成本高。因此,研發(fā)自動(dòng)化法律問答模型具有極強(qiáng)的應(yīng)用價(jià)值與現(xiàn)實(shí)意義。法律問答面臨的難點(diǎn)為專業(yè)性強(qiáng)、數(shù)據(jù)量少。法律行業(yè)由法律法規(guī)、判決文書等書面文件進(jìn)行規(guī)范,代表了行業(yè)統(tǒng)一的邏輯標(biāo)準(zhǔn)和實(shí)踐原則。然而當(dāng)前的法律問答系統(tǒng)多采用關(guān)鍵詞模型或簡(jiǎn)單深度模型,忽視了行業(yè)知識(shí)。引入法律知識(shí)圖譜能增強(qiáng)問答過程中的法律專業(yè)性。同時(shí),法律問答相比開放領(lǐng)域具有真實(shí)數(shù)據(jù)少、標(biāo)注成本高的特點(diǎn),深度模型在少樣本條件下面臨著訓(xùn)練難、效果差的問題。使用遷移學(xué)習(xí)能夠使模型快速訓(xùn)練并達(dá)到良好效果。因此,本文基于法律知識(shí)圖譜,結(jié)合遷移學(xué)習(xí),對(duì)法律問答進(jìn)行研究,主要研究?jī)?nèi)容包括:1.提出基于知識(shí)圖譜的法律行業(yè)問答模型:針對(duì)問答模型對(duì)法律專業(yè)知識(shí)利用不足的問題,構(gòu)建了基于案由與案情要素的法律知識(shí)圖譜,表達(dá)法律行業(yè)的邏輯知識(shí),在模型中通過注意力機(jī)制將法律知識(shí)圖譜上的案情要... 

【文章來源】：中國科學(xué)院大學(xué)(中國科學(xué)院深圳先進(jìn)技術(shù)研究院)廣東省

【文章頁數(shù)】：77 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

自動(dòng)化問答Figure1.1Questionanswering

基于知識(shí)圖譜的深度法律內(nèi)容問答模型對(duì)打分函數(shù)的最優(yōu)選擇：=∑∑(;,;,)(2.5)鑒于模型總體架構(gòu)的不同，答案選擇模型可以從三個(gè)不同的角度進(jìn)行分類[24]：表達(dá)式模型與交互式模型表達(dá)式模型定義了較為復(fù)雜的與，通過深度學(xué)習(xí)網(wǎng)絡(luò)單獨(dú)實(shí)現(xiàn)對(duì)問題與答案的特征刻畫。而交互式模型則引入了(,)，旨在直接描述問題與回答間的交互信息與語義關(guān)聯(lián)。圖2.1表達(dá)式模型與交互式模型示意圖Figure2.1Representation-focusedmodelandinteraction-focusedmodel單粒度模型與多粒度模型模型的粒度分為兩種，即語義的粒度和特征的粒度（如圖2.2）。多語義粒度模型將語句或文檔視為不同層次片段的結(jié)合，分別對(duì)詞級(jí)別信息、短語級(jí)別信息、句子級(jí)別信息甚至段落級(jí)別信息進(jìn)行處理。多特征粒度模型則是盡可能將深度網(wǎng)絡(luò)每一層抽象出的特征進(jìn)行考慮和保留，避免因某一層信息抽取失效而導(dǎo)致后續(xù)模型性能降低。對(duì)稱模型與非對(duì)稱模型對(duì)稱模型對(duì)問題與回答使用相同的特征抽取函數(shù)(=)。非對(duì)稱模型則反之(≠)。其它排序問題（例如檢索問題中），一個(gè)長(zhǎng)篇文檔中可能只有某一個(gè)段落與檢索詞強(qiáng)烈相關(guān)。在這樣的場(chǎng)景下，模型更傾向于對(duì)文檔進(jìn)行特殊的模型設(shè)計(jì)（如采用分片處理），即采用非對(duì)稱模型(≠)。14

第2章法律內(nèi)容問答相關(guān)技術(shù)圖2.2多特征粒度模型與多語義粒度模型示意圖Figure2.2Multi-granularityarchitectures表2.1深度答案選擇模型結(jié)構(gòu)分類表Table2.1Overviewofexistingdeeplearningmethodstoanswerselection模型表達(dá)式/交互式單粒度/多粒度對(duì)稱/非對(duì)稱訓(xùn)練方式QA-LSTM[25]表達(dá)式單粒度對(duì)稱逐對(duì)QA-LSTM-CNN[25]表達(dá)式單粒度對(duì)稱逐對(duì)QA-LSTM-attention[25]交互式單粒度非對(duì)稱逐對(duì)CNN[11]交互式多粒度對(duì)稱逐點(diǎn)AP-CNN/LSTM[15]交互式單粒度非對(duì)稱逐對(duì)LDC[26]交互式單粒度非對(duì)稱逐點(diǎn)Pairwise[27]交互式單粒度對(duì)稱逐對(duì)BiMPM[21]交互式多粒度對(duì)稱逐點(diǎn)Dynamic-Clip[23]交互式單粒度對(duì)稱逐列HyperQA[22]表達(dá)式單粒度對(duì)稱逐對(duì)KAN[19]交互式多粒度非對(duì)稱逐點(diǎn)如表2.1所示，深度答案選擇模型在訓(xùn)練方式上主要采用逐對(duì)訓(xùn)練與逐點(diǎn)訓(xùn)練。由于交互式的網(wǎng)絡(luò)結(jié)構(gòu)能夠更好地使問題根據(jù)回答的不同信息在語義上針對(duì)句子的不同部分進(jìn)行加權(quán)，因而越來越多模型使用交互式結(jié)構(gòu)。模型特征粒度也越發(fā)趨于使用多粒度的模型從而防止特征信息的損失。答案選擇的場(chǎng)景中，問題信息與答案信息一般采用相同的網(wǎng)絡(luò)進(jìn)行提取，即采用對(duì)稱網(wǎng)絡(luò)結(jié)構(gòu)。15


本文編號(hào)：2973906