將一連串的字段根據(jù)一定的規(guī)律分成一個(gè)個(gè)獨(dú)立的、可識(shí)別的字段就是中文分詞過(guò)程。因?yàn)橹形氖怯梢粋�(gè)個(gè)漢字組成,沒(méi)有便于切分漢字之間的分隔符,所以中文分詞是自然語(yǔ)言處理的第一步,是不可避免的基本步驟,分詞處理結(jié)果是否理想直接決定了最后的結(jié)果是否理想化。在知識(shí)更新迭代變化快的今天,對(duì)分詞處理方法的靈活性和科學(xué)性有了更多、更高的要求�；ヂ�(lián)網(wǎng)的普及讓大量的新詞匯不斷涌現(xiàn),這些新詞匯的產(chǎn)生不僅是互聯(lián)網(wǎng)進(jìn)步的一個(gè)反應(yīng),同時(shí)也對(duì)詞典分詞發(fā)起了新的挑戰(zhàn),如何高效迅速的處理這些包含新詞匯的文本是文本詞典的重點(diǎn)研究對(duì)象。目前的分詞系統(tǒng)中主要使用詞典分詞或者機(jī)器學(xué)習(xí)分詞完成分詞任務(wù)。而詞典分詞雖然可控性好、分詞速度快,但是其對(duì)未登錄詞無(wú)法正確切分。雖然機(jī)器學(xué)習(xí)模型CRF能夠很好解決未登錄詞問(wèn)題,但訓(xùn)練CRF需要人工設(shè)計(jì)很多特征,且需要花費(fèi)很多時(shí)間來(lái)驗(yàn)證特征的有效性�；谏疃葘W(xué)習(xí)的自然語(yǔ)言處理算法逐漸興起之后,在序列標(biāo)注任務(wù)上使得模型能夠自動(dòng)的抽取特征成為可能,大大減少了人工設(shè)計(jì)特征的工作量。雖然基于模型的分詞能夠很好的解決未登錄詞問(wèn)題,但是其可控性沒(méi)有詞典分詞好,對(duì)于一個(gè)未解決的新詞模型,詞典分詞可以快速的人工添... 

【文章來(lái)源】：廣西師范大學(xué)廣西壯族自治區(qū)

【文章頁(yè)數(shù)】：57 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

CDWS結(jié)構(gòu)圖

圖 1.1 CDWS 結(jié)構(gòu)圖北航提出 CASS 漢語(yǔ)自動(dòng)分詞系統(tǒng)，如下圖所示。該系統(tǒng)采用嵌套的方最大匹配法（ASM），從而能夠識(shí)別出多種多義切分語(yǔ)料。同時(shí) CASS 系用的是首字索引的結(jié)構(gòu)方式，通過(guò)可變長(zhǎng)記錄的鍵值文件實(shí)現(xiàn)節(jié)省存儲(chǔ)相對(duì)于 CDWS 效率提高了十幾倍，達(dá)到了 200 字/秒，分詞準(zhǔn)確率也相對(duì)

圖 1.3 ABWS 系統(tǒng)結(jié)構(gòu)圖北京師范大學(xué)是首個(gè)將中文分詞系統(tǒng)完整的引進(jìn)到專(zhuān)家系統(tǒng)方法中，而且該理機(jī)和知識(shí)庫(kù)互不干涉，相互獨(dú)立，其詞典采用首字索引的數(shù)據(jù)結(jié)構(gòu)。實(shí)驗(yàn)顯示系統(tǒng)在封閉語(yǔ)料下的切分準(zhǔn)確率高達(dá) 99.94%，對(duì)開(kāi)放語(yǔ)料的切分精度也達(dá)到 99速度約為 200 字/秒左右。清華大學(xué)先后提出 SEG 系統(tǒng)和 SEGTAG 系統(tǒng)，SEG 分詞系統(tǒng)[7]是從用戶(hù)的角度戶(hù)可以任選合適的切分算法，靈活應(yīng)對(duì)。該系統(tǒng)自帶雙向最大匹配、全切分-評(píng)法、正向以及反向算法[8]。針對(duì)文本語(yǔ)料存在的多種問(wèn)題，該系統(tǒng)都有對(duì)應(yīng)的算比如：正向或者反向最大匹配法可以解決歧義較少的語(yǔ)料問(wèn)題。全切分-評(píng)價(jià)算在于，隨著切分的多次進(jìn)行，精度會(huì)不斷提高，甚至?xí)_(dá)到 99%左右。SEGTAG 系的對(duì)象更為繁雜多樣，將所獲得的信息進(jìn)行綜合，盡可能的提高切分的準(zhǔn)確度。用 DAG（有向圖）來(lái)收集信息，并且有自己的切分標(biāo)志，系統(tǒng)可根據(jù)切分標(biāo)志和實(shí)現(xiàn)全切分。資料顯示，該系統(tǒng)切分準(zhǔn)確度在 99%左右，切分速度約 30 字/秒。


本文編號(hào)：3306965