發(fā)布時(shí)間：2021-08-05 13:44

　　隨著人工智能的發(fā)展,重復(fù)勞動(dòng)可以交由機(jī)器自動(dòng)完成。在法律文件自動(dòng)解析和閱讀領(lǐng)域,研究對(duì)于合同文件的內(nèi)容解析和簡(jiǎn)單審核,可以減輕人工審核合同負(fù)擔(dān)。本文以住房租賃合同為例,進(jìn)行合同條款完整性檢測(cè)。在此過(guò)程中,主要完成工作可以概括為3點(diǎn):（1）收集合同模板數(shù)據(jù)訓(xùn)練多類分類模型。針對(duì)卷積神經(jīng)網(wǎng)絡(luò)方法使用全詞表,訓(xùn)練參數(shù)多的問(wèn)題,對(duì)TF-IDF算法進(jìn)行改進(jìn),提取類別關(guān)鍵詞初始化嵌入層,減少其訓(xùn)練參數(shù)。實(shí)驗(yàn)結(jié)果表明,經(jīng)過(guò)優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò),在合同模板數(shù)據(jù)集上,訓(xùn)練參數(shù)更少,分類性能較原來(lái)方法略有提升,且優(yōu)于傳統(tǒng)分類方法。（2）使用半監(jiān)督方法將合同模板中文本段進(jìn)行條款類型標(biāo)注�；跀�(shù)據(jù)互連接和回譯來(lái)增強(qiáng)文本段數(shù)據(jù),使用預(yù)訓(xùn)練的BERT（Bidirectional Encoder Representations from Transformers）完成半監(jiān)督學(xué)習(xí)中的模型訓(xùn)練工作,經(jīng)過(guò)迭代篩選,完成住房租賃合同的條款數(shù)據(jù)集構(gòu)建。（3）使用條款數(shù)據(jù)集訓(xùn)練條款識(shí)別模型,用于檢測(cè)合同中已有條款,從而推導(dǎo)缺失條款。針對(duì)基于神經(jīng)網(wǎng)絡(luò)的模型中,多標(biāo)簽分類模型常忽視標(biāo)簽相關(guān)性的問(wèn)題,使用GCN（Graph Conv... 

【文章來(lái)源】：西南科技大學(xué)四川省

【文章頁(yè)數(shù)】：56 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

GCN半監(jiān)督學(xué)習(xí)節(jié)點(diǎn)分類網(wǎng)絡(luò)[47]

4合同條款識(shí)別方法研究與設(shè)計(jì)25型構(gòu)建標(biāo)簽的隱式相關(guān)關(guān)系。4.3.1基于GCN的標(biāo)簽相關(guān)性建模CNN結(jié)構(gòu)能夠?qū)τ谂帕姓R的矩陣結(jié)構(gòu)數(shù)據(jù)提取特征，但是對(duì)于拓?fù)浣Y(jié)構(gòu)數(shù)據(jù)，由于每個(gè)頂點(diǎn)相鄰節(jié)點(diǎn)數(shù)目不一致，無(wú)法使用同一尺寸卷積核進(jìn)行運(yùn)算。GCN網(wǎng)絡(luò)解決了這個(gè)問(wèn)題。GCN網(wǎng)絡(luò)發(fā)展到第四代時(shí)，可以多層疊加，如圖4-2所示是Kipf[47]使用2層GCN網(wǎng)絡(luò)進(jìn)行半監(jiān)督學(xué)習(xí)節(jié)點(diǎn)分類。圖4-2GCN半監(jiān)督學(xué)習(xí)節(jié)點(diǎn)分類網(wǎng)絡(luò)[47]圖中網(wǎng)絡(luò)傳播關(guān)系可以由以下公式表示：(0)(1)Y=f(X,A)=softmax(ARelu(AXW)W)（4-4）X為輸入矩陣；1122AD(AI)D=+且()iiijjD=A+I；W(0)，W(1)表示GCN網(wǎng)絡(luò)待訓(xùn)練的權(quán)重，上標(biāo)用于區(qū)別不同層中，待訓(xùn)練的權(quán)重不同；I是單位矩陣，用于增加節(jié)點(diǎn)與其自身的聯(lián)系；相關(guān)系數(shù)矩陣A，則是提前構(gòu)建好的包含節(jié)點(diǎn)關(guān)系的鄰接矩陣。在ML-GCN中，針對(duì)相關(guān)系數(shù)矩陣，采用計(jì)算標(biāo)簽對(duì)的條件概率進(jìn)行構(gòu)建，標(biāo)簽對(duì)的條件概率如圖4-3所示。圖4-3標(biāo)簽之間的條件概率圖4-3中僅僅展示了2個(gè)標(biāo)簽互相影響的概率，即在bop標(biāo)簽出現(xiàn)的情況下，earn標(biāo)簽出現(xiàn)概率為0.2；反之，在earn標(biāo)簽出現(xiàn)的情況下，bop標(biāo)簽出現(xiàn)的概率是0.6。標(biāo)簽之間的先驗(yàn)概率通過(guò)統(tǒng)計(jì)計(jì)算，這種統(tǒng)計(jì)計(jì)算的結(jié)果更貼近現(xiàn)實(shí)。標(biāo)簽與其他標(biāo)簽的條件概率呈現(xiàn)長(zhǎng)尾分布，為了避免部分關(guān)系是噪聲，采用閾值

5格式合同風(fēng)險(xiǎn)預(yù)估模型設(shè)計(jì)與分析35模型訓(xùn)練中，先使用互連接增強(qiáng)的數(shù)據(jù)微調(diào)BERT，然后在最終模型訓(xùn)練中使用微調(diào)后的BERT模型進(jìn)行再訓(xùn)練。4）分類識(shí)別模塊本部分模塊由全連接層構(gòu)成，采用Sigmoid作為激活函數(shù)，輸出各標(biāo)簽的預(yù)測(cè)概率。同時(shí)在半監(jiān)督訓(xùn)練中，將預(yù)測(cè)標(biāo)簽的預(yù)測(cè)概率均值作為置信度，參與置信度排序。在半監(jiān)督訓(xùn)練時(shí)由于只需要考慮精確分類，給無(wú)標(biāo)簽數(shù)據(jù)標(biāo)注標(biāo)簽，因此并未通過(guò)其他方法設(shè)定各個(gè)標(biāo)簽的分類閾值，而是通過(guò)設(shè)定高閾值來(lái)進(jìn)行篩眩通過(guò)設(shè)定閾值對(duì)標(biāo)簽進(jìn)行定性時(shí)發(fā)現(xiàn)，經(jīng)由Sigmoid激活方法得到的模型輸出結(jié)果，即使將閾值設(shè)為0.99，也存在將部分?jǐn)?shù)據(jù)判錯(cuò)類別的情況，在最大值為1的情況下，區(qū)分度較低�？紤]到Sigmoid函數(shù)特性，因此決定延遲Sigmoid函數(shù)到達(dá)界限值的情況，期望能夠獲得更為廣泛的取值區(qū)間，從而使得能夠設(shè)定不同閾值時(shí)，能夠?qū)?shù)據(jù)有所區(qū)分。新的Sigmoid函數(shù)如下：1()1axSigmoidxe=+（5-1）其中a決定新Sigmoid函數(shù)的曲線變化情況。具體如圖5-4所示。圖5-4Sigmoid函數(shù)曲線由圖中我們可以發(fā)現(xiàn)，當(dāng)a取值由1減小為0.5時(shí)，興奮邊界大致由[-5,5]擴(kuò)展為[-10,10]。更廣闊的興奮邊界可以增加閾值的區(qū)分度。5.2.3實(shí)現(xiàn)過(guò)程整體風(fēng)險(xiǎn)預(yù)估流程實(shí)現(xiàn)主要分為合同分類實(shí)現(xiàn)以及條款識(shí)別實(shí)現(xiàn)，針對(duì)這2部分實(shí)現(xiàn)過(guò)程，進(jìn)行闡述。1）合同分類實(shí)現(xiàn)

【參考文獻(xiàn)】：
期刊論文
[1]基于TF-IDF的卷積神經(jīng)網(wǎng)絡(luò)新聞文本分類優(yōu)化[J]. 張波,黃曉芳.  西南科技大學(xué)學(xué)報(bào). 2020(01)
[2]利用拼音特征的深度學(xué)習(xí)文本分類模型[J]. 趙博軒,房寧,趙群飛,張朋柱.  高技術(shù)通訊. 2017(07)
[3]隨機(jī)森林模型在分類與回歸分析中的應(yīng)用[J]. 李欣海.  應(yīng)用昆蟲學(xué)報(bào). 2013(04)
[4]數(shù)據(jù)挖掘中的新方法——支持向量機(jī)[J]. 羅娜.  軟件導(dǎo)刊. 2008(10)



本文編號(hào)：3323856