基于案情描述的法律判決預(yù)測(cè)任務(wù)是指通過(guò)給定的刑事法律文書(shū)中的案情描述部分對(duì)裁判文書(shū)進(jìn)行判決預(yù)測(cè),這不僅可為司法人員提供參考從而有效提高司法效率,也有利于司法的公開(kāi)和公正。其中罪名預(yù)測(cè)和法條推薦是法律判決預(yù)測(cè)的2個(gè)重要子任務(wù),彼此密切相關(guān)、相互影響,但傳統(tǒng)方法常常將其當(dāng)做獨(dú)立的任務(wù)分開(kāi)處理,無(wú)法捕獲到子任務(wù)間的關(guān)系,從而導(dǎo)致預(yù)測(cè)性能不佳。該任務(wù)的另一難點(diǎn)在于難以從案情文本中提取到能夠區(qū)分案情描述相似度較高的易混淆罪名的相關(guān)特征。為了解決這些問(wèn)題,本文利用深度學(xué)習(xí)技術(shù)提出了一個(gè)基于模型融合的多任務(wù)學(xué)習(xí)模型,主要研究?jī)?nèi)容如下:（1）為了捕捉罪名預(yù)測(cè)和法條推薦間的邏輯依賴關(guān)系,本文采用多任務(wù)學(xué)習(xí)的模型結(jié)構(gòu)。在該結(jié)構(gòu)中,特征提取模塊提取案情描述中的關(guān)鍵語(yǔ)義信息、罪名關(guān)鍵詞表示和全局案情描述表示,并送入多任務(wù)預(yù)測(cè)模塊;多任務(wù)預(yù)測(cè)模塊將獲得的表示特征進(jìn)行拼接,對(duì)罪名預(yù)測(cè)和法條推薦任務(wù)進(jìn)行聯(lián)合建模學(xué)習(xí),采用多個(gè)二元分類同時(shí)預(yù)測(cè)罪名和法條。這種多任務(wù)學(xué)習(xí)的模型結(jié)構(gòu)通過(guò)共享表示,不但在學(xué)習(xí)多個(gè)相關(guān)任務(wù)時(shí)具有相當(dāng)?shù)膬?yōu)勢(shì),而且提升了模型的泛化能力。（2）為了充分提取案情文本特征,本文采用分別構(gòu)建模型的方式,對(duì)... 

【文章來(lái)源】：華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：61 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

BERT與GPT、ELMO模型的對(duì)比[35]

第二章相關(guān)知識(shí)綜述9圖2-1word2vec模型圖2-2BERT與GPT、ELMO模型的對(duì)比[35]從初期的專家規(guī)則到九十年代的特征工程再到如今的深度學(xué)習(xí)。文本分類早期的方法主要是基于知識(shí)工程的，是在領(lǐng)域?qū)＜业闹R(shí)基礎(chǔ)上手工設(shè)計(jì)一系列規(guī)則來(lái)構(gòu)建分類器。這種方法不但費(fèi)時(shí)費(fèi)力，而且覆蓋的范圍和準(zhǔn)確率都十分有限。到上世紀(jì)九十年代，伴隨著統(tǒng)計(jì)學(xué)習(xí)方法的發(fā)展，特別是互聯(lián)網(wǎng)可用訓(xùn)練數(shù)據(jù)的大量增長(zhǎng)和機(jī)器學(xué)習(xí)學(xué)科的日漸興起，文本分類問(wèn)題的處理過(guò)程就逐漸演變成了特征工程和淺層分類相結(jié)合的建模流程，特征工程又可拆分為文本預(yù)處理、文本表示以及特征選擇三個(gè)部分，文本分類的流程圖如圖2-3所示。對(duì)于中文文本來(lái)說(shuō)，文本預(yù)處理是對(duì)訓(xùn)練集中的文本進(jìn)行分詞、去停用詞、數(shù)據(jù)清洗等操作，并對(duì)文本進(jìn)行去噪處理。傳統(tǒng)的分詞算法主要有基于字符串匹配的正向、逆向、雙向最大匹配方法[52]，基于統(tǒng)計(jì)的n-gram、隱馬爾可夫模型（HMM）、條件隨機(jī)場(chǎng)（CRF）方法[53]以及基于理解的句法語(yǔ)義分析消歧方法等。而去停用詞是把文本中的代詞、連詞、介詞等高頻卻對(duì)文本分類無(wú)幫助的詞清除掉，以避免它們對(duì)文本分類結(jié)果a)CBOW模型b)Skip-gram模型

華南理工大學(xué)碩士學(xué)位論文10圖2-3文本分類流程圖產(chǎn)生干擾。文本表示是將文本轉(zhuǎn)換為計(jì)算機(jī)可理解的方式，是決定文本質(zhì)量最重要的部分，具體研究?jī)?nèi)容已描述在2.1部分。對(duì)于大部分文本分類來(lái)說(shuō)，文本表示的特征集會(huì)表現(xiàn)出高維稀疏、特征項(xiàng)繁雜冗余的特點(diǎn)，這會(huì)對(duì)文本分類的性能造成很不好的影響。因此需要使用特征選擇方法來(lái)篩選出更具有區(qū)分性和代表性的詞，用來(lái)表示文本。特征選擇不僅在一定程度上緩解維度災(zāi)難問(wèn)題，還在去除不相關(guān)特征的同時(shí)，降低了文本分類的難度。根據(jù)特征選擇的形式可將特征選擇的方法分為三種：過(guò)濾式、包裹式和嵌入式特征選擇。具體地，過(guò)濾式特征選擇是先采用卡方檢驗(yàn)法（CHI）、TF-IDF[18]、信息增益（IG）等指標(biāo)計(jì)算方式對(duì)文本數(shù)據(jù)進(jìn)行特征選擇，然后再訓(xùn)練分類器；包裹式特征選擇主要是采用遞歸特征消除法，直接將最終使用的分類器性能作為特征選擇的評(píng)價(jià)準(zhǔn)則；而嵌入式特征選擇是將特征選擇過(guò)程和分類器訓(xùn)練過(guò)程融為一體，在分類器訓(xùn)練過(guò)程中得到了各個(gè)特征的權(quán)重系數(shù)，根據(jù)系數(shù)從大到小選擇特征。在定義并抽取到任務(wù)相關(guān)特征后，通過(guò)樸素貝葉斯（NB）、支持向量機(jī)（SVM）、決策樹(shù)（DecisionTree）等分類器的訓(xùn)練，學(xué)習(xí)到相關(guān)特征的權(quán)重系數(shù)，完成從特征向量到類別空間的映射。然而，將特征工程與分類器相結(jié)合的方法是由人類經(jīng)驗(yàn)和知識(shí)驅(qū)動(dòng)的，模型的性能很大程度上取決于更有效的特征設(shè)計(jì)，這需要在領(lǐng)域?qū)＜业闹R(shí)基礎(chǔ)上精心設(shè)計(jì)一系列特征。對(duì)于文本分類的簡(jiǎn)單任務(wù)而言，精心設(shè)計(jì)的特征通常就可以實(shí)現(xiàn)良好的分類性能。但是對(duì)于法律判決預(yù)測(cè)這種較困難的任務(wù)來(lái)說(shuō)，輸入空間到標(biāo)簽空間之間復(fù)雜的映射關(guān)系需要與之對(duì)應(yīng)復(fù)雜的啟發(fā)式特征，這種特征的設(shè)計(jì)是極其艱難且不現(xiàn)實(shí)的。因此基于特征工程的方法對(duì)于這種困難的文本

【參考文獻(xiàn)】：
期刊論文
[1]融入罪名關(guān)鍵詞的法律判決預(yù)測(cè)多任務(wù)學(xué)習(xí)模型[J]. 劉宗林,張梅山,甄冉冉,公佐權(quán),余南,付國(guó)宏.  清華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2019(07)
[2]基于混合深度神經(jīng)網(wǎng)絡(luò)模型的司法文書(shū)智能化處理[J]. 王文廣,陳運(yùn)文,蔡華,曾彥能,楊慧宇.  清華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2019(07)
[3]我國(guó)司法人工智能建設(shè)的問(wèn)題與應(yīng)對(duì)[J]. 程凡卿.  東方法學(xué). 2018(03)
[4]人工智能時(shí)代的制度安排與法律規(guī)制[J]. 吳漢東.  法律科學(xué)(西北政法大學(xué)學(xué)報(bào)). 2017(05)
[5]基于字符串匹配的中文分詞算法的研究[J]. 常建秋,沈煒.  工業(yè)控制計(jì)算機(jī). 2016(02)
[6]一種改進(jìn)的TFIDF網(wǎng)頁(yè)關(guān)鍵詞提取方法[J]. 李靜月,李培峰,朱巧明.  計(jì)算機(jī)應(yīng)用與軟件. 2011(05)

碩士論文
[1]基于深度學(xué)習(xí)的法律智能研究與應(yīng)用[D]. 李小鵬.河南大學(xué) 2019
[2]基于統(tǒng)計(jì)方法的中文文本分類[D]. 殷越.華中師范大學(xué) 2017



本文編號(hào)：3597774