基于BERT詞向量和Attention-CNN的智能司法研究
發(fā)布時間:2021-04-13 22:04
如今人工智能發(fā)展火熱,其中智能司法是人工智能的重要應用領(lǐng)域。一方面,深度學習領(lǐng)域的迅速發(fā)展為智能司法研究提供了技術(shù)支持。另一方面,大量公開的裁判文書解決了智能司法研究的大數(shù)據(jù)需求。在智能司法建設中,利用人工智能實現(xiàn)罪名預測和相關(guān)法條預測,可以輔助法官進行判決并且節(jié)省大量資源,對于智能司法建設有著重大意義。本文通過解決罪名和相關(guān)法條多標簽文本分類任務,進而實現(xiàn)罪名和相關(guān)法條預測。本文使用CAIL2018-Small數(shù)據(jù)集,針對單人多罪名多法條的刑事案件展開研究。數(shù)據(jù)集中的數(shù)據(jù)均來源于“中國裁判文書網(wǎng)”上的公開刑事案件裁判文書。數(shù)據(jù)集的所有數(shù)據(jù)均只有一個罪犯。數(shù)據(jù)集共包括202項罪名、183則法條,一條數(shù)據(jù)可能包含多項罪名和多則法條。本文利用微平均F1值(F1micro)和宏平均F1值(F1macro)作為評價指標。本文使用F1micro和F1macro平均值的100倍作為每項任務的score。本文的主要研究工作如下:(1)對比了三種平均詞向量模型,包括平均word2vec詞向量模型、平均BERT詞向量模型、平均BERT-word2vec詞向量模型。相較于兩種單一詞向量模型,融合不同詞向量...
【文章來源】:大連理工大學遼寧省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:63 頁
【學位級別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景
1.2 研究現(xiàn)狀
1.2.1 智能司法研究現(xiàn)狀
1.2.2 智能司法倫理研究
1.3 本文主要工作
1.4 本文組織結(jié)構(gòu)
2 相關(guān)理論與技術(shù)
2.1 文本分類技術(shù)
2.2 分詞技術(shù)
2.3 詞向量技術(shù)
2.3.1 預訓練詞向量
2.3.2 預訓練語言模型
2.4 本章小結(jié)
3 數(shù)據(jù)預處理
3.1 數(shù)據(jù)集介紹與分析
3.1.1 數(shù)據(jù)集介紹
3.1.2 數(shù)據(jù)集分析
3.2 數(shù)據(jù)預處理流程
3.3 預訓練詞向量
3.3.1 word2vec詞向量
3.3.2 BERT詞向量
3.4 本章小結(jié)
4 模型設計與訓練方法
4.1 任務分析與評價指標
4.1.1 任務分析
4.1.2 評價指標
4.2 預測結(jié)果閾值設置
4.3 模型設計
4.3.1 平均詞向量
4.3.2 CNN
4.3.3 Attention-CNN
4.3.4 BERT-ACNN
4.4 超參數(shù)設置與模型訓練方法
4.5 本章小結(jié)
5 實驗與分析
5.1 實驗環(huán)境
5.2 實驗設計與結(jié)果分析
5.2.1 參與對比的RNN模型
5.2.2 模型對比實驗
5.3 模型性能提升
5.3.1 過采樣
5.3.2 增加卷積層數(shù)
5.3.3 模型性能提升實驗
5.4 本章小結(jié)
結(jié)論
參考文獻
攻讀碩士學位期間發(fā)表學術(shù)論文情況
致謝
【參考文獻】:
期刊論文
[1]我國司法人工智能建設的問題與應對[J]. 程凡卿. 東方法學. 2018(03)
[2]人工智能時代的制度安排與法律規(guī)制[J]. 吳漢東. 法律科學(西北政法大學學報). 2017(05)
本文編號:3136088
【文章來源】:大連理工大學遼寧省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:63 頁
【學位級別】:碩士
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景
1.2 研究現(xiàn)狀
1.2.1 智能司法研究現(xiàn)狀
1.2.2 智能司法倫理研究
1.3 本文主要工作
1.4 本文組織結(jié)構(gòu)
2 相關(guān)理論與技術(shù)
2.1 文本分類技術(shù)
2.2 分詞技術(shù)
2.3 詞向量技術(shù)
2.3.1 預訓練詞向量
2.3.2 預訓練語言模型
2.4 本章小結(jié)
3 數(shù)據(jù)預處理
3.1 數(shù)據(jù)集介紹與分析
3.1.1 數(shù)據(jù)集介紹
3.1.2 數(shù)據(jù)集分析
3.2 數(shù)據(jù)預處理流程
3.3 預訓練詞向量
3.3.1 word2vec詞向量
3.3.2 BERT詞向量
3.4 本章小結(jié)
4 模型設計與訓練方法
4.1 任務分析與評價指標
4.1.1 任務分析
4.1.2 評價指標
4.2 預測結(jié)果閾值設置
4.3 模型設計
4.3.1 平均詞向量
4.3.2 CNN
4.3.3 Attention-CNN
4.3.4 BERT-ACNN
4.4 超參數(shù)設置與模型訓練方法
4.5 本章小結(jié)
5 實驗與分析
5.1 實驗環(huán)境
5.2 實驗設計與結(jié)果分析
5.2.1 參與對比的RNN模型
5.2.2 模型對比實驗
5.3 模型性能提升
5.3.1 過采樣
5.3.2 增加卷積層數(shù)
5.3.3 模型性能提升實驗
5.4 本章小結(jié)
結(jié)論
參考文獻
攻讀碩士學位期間發(fā)表學術(shù)論文情況
致謝
【參考文獻】:
期刊論文
[1]我國司法人工智能建設的問題與應對[J]. 程凡卿. 東方法學. 2018(03)
[2]人工智能時代的制度安排與法律規(guī)制[J]. 吳漢東. 法律科學(西北政法大學學報). 2017(05)
本文編號:3136088
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3136088.html
最近更新
教材專著