基于BERT詞向量和Attention-CNN的智能司法研究
發(fā)布時間:2021-04-13 22:04
如今人工智能發(fā)展火熱,其中智能司法是人工智能的重要應(yīng)用領(lǐng)域。一方面,深度學(xué)習(xí)領(lǐng)域的迅速發(fā)展為智能司法研究提供了技術(shù)支持。另一方面,大量公開的裁判文書解決了智能司法研究的大數(shù)據(jù)需求。在智能司法建設(shè)中,利用人工智能實(shí)現(xiàn)罪名預(yù)測和相關(guān)法條預(yù)測,可以輔助法官進(jìn)行判決并且節(jié)省大量資源,對于智能司法建設(shè)有著重大意義。本文通過解決罪名和相關(guān)法條多標(biāo)簽文本分類任務(wù),進(jìn)而實(shí)現(xiàn)罪名和相關(guān)法條預(yù)測。本文使用CAIL2018-Small數(shù)據(jù)集,針對單人多罪名多法條的刑事案件展開研究。數(shù)據(jù)集中的數(shù)據(jù)均來源于“中國裁判文書網(wǎng)”上的公開刑事案件裁判文書。數(shù)據(jù)集的所有數(shù)據(jù)均只有一個罪犯。數(shù)據(jù)集共包括202項(xiàng)罪名、183則法條,一條數(shù)據(jù)可能包含多項(xiàng)罪名和多則法條。本文利用微平均F1值(F1micro)和宏平均F1值(F1macro)作為評價指標(biāo)。本文使用F1micro和F1macro平均值的100倍作為每項(xiàng)任務(wù)的score。本文的主要研究工作如下:(1)對比了三種平均詞向量模型,包括平均word2vec詞向量模型、平均BERT詞向量模型、平均BERT-word2vec詞向量模型。相較于兩種單一詞向量模型,融合不同詞向量...
【文章來源】:大連理工大學(xué)遼寧省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:63 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景
1.2 研究現(xiàn)狀
1.2.1 智能司法研究現(xiàn)狀
1.2.2 智能司法倫理研究
1.3 本文主要工作
1.4 本文組織結(jié)構(gòu)
2 相關(guān)理論與技術(shù)
2.1 文本分類技術(shù)
2.2 分詞技術(shù)
2.3 詞向量技術(shù)
2.3.1 預(yù)訓(xùn)練詞向量
2.3.2 預(yù)訓(xùn)練語言模型
2.4 本章小結(jié)
3 數(shù)據(jù)預(yù)處理
3.1 數(shù)據(jù)集介紹與分析
3.1.1 數(shù)據(jù)集介紹
3.1.2 數(shù)據(jù)集分析
3.2 數(shù)據(jù)預(yù)處理流程
3.3 預(yù)訓(xùn)練詞向量
3.3.1 word2vec詞向量
3.3.2 BERT詞向量
3.4 本章小結(jié)
4 模型設(shè)計與訓(xùn)練方法
4.1 任務(wù)分析與評價指標(biāo)
4.1.1 任務(wù)分析
4.1.2 評價指標(biāo)
4.2 預(yù)測結(jié)果閾值設(shè)置
4.3 模型設(shè)計
4.3.1 平均詞向量
4.3.2 CNN
4.3.3 Attention-CNN
4.3.4 BERT-ACNN
4.4 超參數(shù)設(shè)置與模型訓(xùn)練方法
4.5 本章小結(jié)
5 實(shí)驗(yàn)與分析
5.1 實(shí)驗(yàn)環(huán)境
5.2 實(shí)驗(yàn)設(shè)計與結(jié)果分析
5.2.1 參與對比的RNN模型
5.2.2 模型對比實(shí)驗(yàn)
5.3 模型性能提升
5.3.1 過采樣
5.3.2 增加卷積層數(shù)
5.3.3 模型性能提升實(shí)驗(yàn)
5.4 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表學(xué)術(shù)論文情況
致謝
【參考文獻(xiàn)】:
期刊論文
[1]我國司法人工智能建設(shè)的問題與應(yīng)對[J]. 程凡卿. 東方法學(xué). 2018(03)
[2]人工智能時代的制度安排與法律規(guī)制[J]. 吳漢東. 法律科學(xué)(西北政法大學(xué)學(xué)報). 2017(05)
本文編號:3136088
【文章來源】:大連理工大學(xué)遼寧省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:63 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景
1.2 研究現(xiàn)狀
1.2.1 智能司法研究現(xiàn)狀
1.2.2 智能司法倫理研究
1.3 本文主要工作
1.4 本文組織結(jié)構(gòu)
2 相關(guān)理論與技術(shù)
2.1 文本分類技術(shù)
2.2 分詞技術(shù)
2.3 詞向量技術(shù)
2.3.1 預(yù)訓(xùn)練詞向量
2.3.2 預(yù)訓(xùn)練語言模型
2.4 本章小結(jié)
3 數(shù)據(jù)預(yù)處理
3.1 數(shù)據(jù)集介紹與分析
3.1.1 數(shù)據(jù)集介紹
3.1.2 數(shù)據(jù)集分析
3.2 數(shù)據(jù)預(yù)處理流程
3.3 預(yù)訓(xùn)練詞向量
3.3.1 word2vec詞向量
3.3.2 BERT詞向量
3.4 本章小結(jié)
4 模型設(shè)計與訓(xùn)練方法
4.1 任務(wù)分析與評價指標(biāo)
4.1.1 任務(wù)分析
4.1.2 評價指標(biāo)
4.2 預(yù)測結(jié)果閾值設(shè)置
4.3 模型設(shè)計
4.3.1 平均詞向量
4.3.2 CNN
4.3.3 Attention-CNN
4.3.4 BERT-ACNN
4.4 超參數(shù)設(shè)置與模型訓(xùn)練方法
4.5 本章小結(jié)
5 實(shí)驗(yàn)與分析
5.1 實(shí)驗(yàn)環(huán)境
5.2 實(shí)驗(yàn)設(shè)計與結(jié)果分析
5.2.1 參與對比的RNN模型
5.2.2 模型對比實(shí)驗(yàn)
5.3 模型性能提升
5.3.1 過采樣
5.3.2 增加卷積層數(shù)
5.3.3 模型性能提升實(shí)驗(yàn)
5.4 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士學(xué)位期間發(fā)表學(xué)術(shù)論文情況
致謝
【參考文獻(xiàn)】:
期刊論文
[1]我國司法人工智能建設(shè)的問題與應(yīng)對[J]. 程凡卿. 東方法學(xué). 2018(03)
[2]人工智能時代的制度安排與法律規(guī)制[J]. 吳漢東. 法律科學(xué)(西北政法大學(xué)學(xué)報). 2017(05)
本文編號:3136088
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3136088.html
最近更新
教材專著