隨著以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)的快速發(fā)展,司法領(lǐng)域正在向智能化、自動化方向邁進(jìn)。作為司法審判中的重要環(huán)節(jié),罪名預(yù)測任務(wù)直接關(guān)系到整個案件的裁決與性質(zhì)。目前基于犯罪事實描述的單標(biāo)簽罪名預(yù)測研究工作已經(jīng)相對成熟,但在實際應(yīng)用場景中,“一人多罪”、“數(shù)罪并罰”的情況也同時存在,這就需要進(jìn)行多標(biāo)簽罪名預(yù)測任務(wù)的研究工作。傳統(tǒng)基于犯罪事實描述的多標(biāo)簽罪名預(yù)測方法,大多利用閾值神經(jīng)網(wǎng)絡(luò)框架,即在罪名概率向量的基礎(chǔ)上手動設(shè)置先驗閾值,按照單標(biāo)簽多分類的方式來完成預(yù)測任務(wù)。還有一些研究工作利用問題轉(zhuǎn)換方法,將多標(biāo)簽罪名預(yù)測任務(wù)轉(zhuǎn)化為并行的單標(biāo)簽罪名預(yù)測任務(wù),通過在每個罪名標(biāo)簽上構(gòu)造分類模型并進(jìn)行訓(xùn)練,然后集成元分類模型最終實現(xiàn)多標(biāo)簽罪名預(yù)測。此類方法雖然計算邏輯簡單,但沒有考慮到罪名之間的邏輯關(guān)聯(lián),如販賣毒品罪與容留他人吸毒罪等,導(dǎo)致在預(yù)測有內(nèi)在犯罪關(guān)聯(lián)的案例時召回率指標(biāo)下降,并且在樣本標(biāo)簽空間特別大的情況下模型復(fù)雜度就會升高,不便于在實際場景中使用。在分析前人相關(guān)研究工作的基礎(chǔ)上,本研究一方面通過將多標(biāo)簽罪名預(yù)測任務(wù)轉(zhuǎn)換為罪名序列生成任務(wù),從機(jī)器翻譯的角度將罪名之間的邏輯關(guān)聯(lián)融入到模型中,即... 

【文章來源】：山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：60 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖１－１?ＣＣ模型訓(xùn)練流程??“”

???Ｃｉ?Ｓｉ?ｍｒｎ＾?ｙｉ?Ｊ????／?＼?ｆ???ｆ?????ｗｉ?ｖ?—?Ｃ２?？？?Ｓ２?■■■？?Ｉ??ｒｎ?、?＞?■?—??ｗ２?＝?＾?，￣￣??〇?Ｖ－?３?－／?｜?Ｃ３?＿?Ｓ３?—ｆ?＿ｙ３??…?穿?ｊ?〇?｜???？?＇??ｗｍ?＾?Ｊ?ＨＪ?ＥＩＫＥＤ－＾Ｅ］????Ｖ???ｔ?????輸入?編碼器?注意力?Ｃｎ?Ｓｎ?ｙ？??機(jī)制???１?Ｌ＿＿Ｊ??解碼器??圖１－２序列生成模型結(jié)構(gòu)圖??此類方法將多標(biāo)簽分類問題轉(zhuǎn)換為序列生成任務(wù)，增強(qiáng)了模型泛化能力，但是??基于循環(huán)神經(jīng)網(wǎng)絡(luò)單元的解碼器因其序列性特征，容易出現(xiàn)梯度消失問題，當(dāng)標(biāo)簽??序列較長時模型效果變差。在實際解碼過程中，原始文本信息會隨著解碼器時間步??的延長而丟失，為解決這個問題Ｙａｎｇ等人在模型中增加了注意力機(jī)制？，解碼器??在每個時間步都從原始文本中獲得信息補(bǔ)充，緩解了標(biāo)簽序列過長帶來的信息丟??失問題。同時，為了規(guī)避模型在實際預(yù)測過程中出現(xiàn)標(biāo)簽重復(fù)預(yù)測的問題，Ｙａｎｇ??等人還在解碼器中設(shè)置了外部記憶單元？這種特殊的計算結(jié)構(gòu)，通過降低已預(yù)測??標(biāo)簽的影響權(quán)重并提升待預(yù)測標(biāo)簽的權(quán)重，緩解了標(biāo)簽重復(fù)預(yù)測的問題。??此外，Ｍａ等人［１４］從文本信息、引導(dǎo)標(biāo)簽信息和待預(yù)測標(biāo)簽信息三者之間的關(guān)??系框架出發(fā)，提出了一種多步多分類模型ＭｓＣｏａ以完成多標(biāo)簽預(yù)測任務(wù)，通過在??鏈?zhǔn)侥Ｐ屠碚摰幕A(chǔ)上增加協(xié)同注意力機(jī)制和特征差分和級聯(lián)操作，進(jìn)一步緩解??了原始文本信息丟失、解碼錯誤累計等問題，在多標(biāo)簽分類任務(wù)上取得了不錯的效??果。ＭｓＣｏａ模型結(jié)構(gòu)

合?ｊ??ｊ?｜??特征差分?Ｉ??特征融合：ｉ?（?Ａ１?Ｉ??模塊?丨?Ｉ?＾—?Ｉ??除醻＿ｊｊ＾Ｌ？入序列）?前雜簽?）??ｊ：………?…丁……＇??ｉ?Ｉ?ＢｉＬＳＴＭ?｜??特征提取丨?．丨－Ｔ．１??模塊?Ｉ?？?ｉ?ｉ?Ｊ?Ｊ?Ｊ?？?ｉ］?ｆ?ｉ?）?＊?，＊?ｓｊ??？詞嵌入—？？??｜｜?Ｊ?１?丨刪辱，Ｌｉｕｄ?；??ｌ－—」：．．ｎｉｍｉ舅＇?？？？■￥＊？？？?平?’??文本序列」?前導(dǎo)標(biāo)簽｜｜??圖１－３?ＭｓＣｏａ模型結(jié)構(gòu)圖??Ｙａｎｇ等人［１６］則是在解碼器中加入了基于全鏈接神經(jīng)網(wǎng)絡(luò)的重排機(jī)制（Ｒｅｔｈｉｎｋｉｎｇ??Ｓｔｒｕｃｔｕｒｅ），重排機(jī)制多用于機(jī)器翻譯任務(wù)中，這種方法可以降低循環(huán)神經(jīng)網(wǎng)絡(luò)單??元在解碼過程中因單步預(yù)測錯誤而對后面解碼過程所產(chǎn)生的影響，從而有效提髙??模型的預(yù)測精度。這些研宄工作都是在序列到序列（Ｓｅｑ２Ｓｅｑ）框架下進(jìn)行的，因為??天然的鏈?zhǔn)接嬎闾卣鳎沟媚Ｐ褪チ似叫杏嬎愕臋C(jī)會。在Ｓｅｑ２Ｓｅｑ框架下未來的??研宄工作仍有很大的提升潛力，或者突破框架限制，利用新的計算邏輯來實現(xiàn)多標(biāo)??簽分類任務(wù)。??１．３本文主要研究內(nèi)容及主要貢獻(xiàn)??１．３．１本文主要研究內(nèi)容??本文的主要研究內(nèi)容包括以下三個方面：??（１）對多標(biāo)簽罪名預(yù)測任務(wù)和多標(biāo)簽文本分類框架進(jìn)行了深入研究，分析??并對比當(dāng)前多標(biāo)簽罪名預(yù)測研究工作的亮點(diǎn)與存在的問題，對多標(biāo)簽文本分類基??礎(chǔ)模型進(jìn)行了比較。通過總結(jié)歸納，結(jié)合深度學(xué)習(xí)技術(shù)剖析多標(biāo)簽罪名預(yù)測任務(wù)的??特點(diǎn)，提出針對的模型理論假設(shè)。??５??


本文編號：2989334