本文關(guān)鍵詞：藏語(yǔ)分詞與詞性標(biāo)注研究，由筆耕文化傳播整理發(fā)布。

【摘要】：藏語(yǔ)信息處理技術(shù)經(jīng)過二十多年的發(fā)展，無(wú)論是在藏文信息處理研究及其相關(guān)標(biāo)準(zhǔn)制定方面，還是在藏語(yǔ)信息處理應(yīng)用開發(fā)方面，都取得了不少成績(jī)。藏語(yǔ)信息處理技術(shù)也逐步邁入到語(yǔ)言信息處理層面。雖然藏語(yǔ)信息處理研究在技術(shù)上緊跟著英漢語(yǔ)等之后，但作為信息處理研究基礎(chǔ)的語(yǔ)料資源相對(duì)貧乏。公開的藏語(yǔ)語(yǔ)料庫(kù)都是未標(biāo)注的生語(yǔ)料庫(kù)，其應(yīng)用價(jià)值非常有限。由于對(duì)藏語(yǔ)的本體研究不夠深入，許多對(duì)藏語(yǔ)信息處理有價(jià)值的屬性未能挖掘和描述出來，因而限制了藏語(yǔ)信息處理技術(shù)的發(fā)展和應(yīng)用范圍。針對(duì)以上問題，本文采用了多種統(tǒng)計(jì)模型和方法來進(jìn)行藏語(yǔ)分詞和詞性標(biāo)注研究，并取得了以下幾個(gè)方面的主要成果： 一、提出了基于詞位的藏語(yǔ)分詞方法，在國(guó)內(nèi)外較早地將藏語(yǔ)黏寫形式的特征融合到藏語(yǔ)分詞研究當(dāng)中。 我們采用了基于詞位的統(tǒng)計(jì)方法來處理藏語(yǔ)分詞問題，將藏語(yǔ)分詞轉(zhuǎn)化為序列標(biāo)注問題，實(shí)現(xiàn)了一個(gè)藏語(yǔ)分詞系統(tǒng)。該系統(tǒng)采用條件隨機(jī)場(chǎng)模型，針對(duì)藏語(yǔ)黏寫形式的語(yǔ)法特征，將漢語(yǔ)分詞中常用的四詞位標(biāo)簽集改進(jìn)為更適合藏語(yǔ)特點(diǎn)的六詞位標(biāo)簽集，并使用100萬(wàn)余經(jīng)人工反復(fù)校對(duì)的語(yǔ)料對(duì)模型進(jìn)行訓(xùn)練。經(jīng)實(shí)驗(yàn)測(cè)試，在大規(guī)模真實(shí)語(yǔ)料的測(cè)試中，系統(tǒng)的開放測(cè)試F值達(dá)到了91%，分詞性能基本上令人滿意。在進(jìn)一步的研究中，我們經(jīng)分析發(fā)現(xiàn)分詞精度主要受到了藏語(yǔ)黏寫形式識(shí)別結(jié)果的限制�？紤]到黏寫形式的復(fù)雜多樣，我們?cè)诳偨Y(jié)前人的研究成果的基礎(chǔ)上，加入了基于規(guī)則的后處理環(huán)節(jié)，最終的測(cè)試結(jié)果F值達(dá)到了95%以上，已能滿足藏語(yǔ)語(yǔ)料庫(kù)建設(shè)的實(shí)際需求。 二、在藏語(yǔ)分詞研究的基礎(chǔ)上，根據(jù)藏族人名特征探討了藏語(yǔ)人名識(shí)別方法。 通過研究藏語(yǔ)人名的特點(diǎn)，我們總結(jié)了藏語(yǔ)人名識(shí)別的多種策略并最終選擇了基于統(tǒng)計(jì)的方法來實(shí)現(xiàn)藏語(yǔ)人名的識(shí)別。我們基于條件隨機(jī)場(chǎng)模型，通過使用名字邊界、前后綴、上下文等特征，給出了藏文人名識(shí)別的一種方法。最終實(shí)驗(yàn)系統(tǒng)在開放測(cè)試中取得的F值達(dá)到了91.26%。雖然未能進(jìn)一步發(fā)掘名字與普通詞語(yǔ)同形這一極易導(dǎo)致歧義現(xiàn)象的特征，導(dǎo)致系統(tǒng)識(shí)別性能未能達(dá)到十分理想的效果，但可以通過對(duì)特征標(biāo)簽集進(jìn)行調(diào)整，同時(shí)優(yōu)化特征模板集，進(jìn)一步提高識(shí)別效果。 三、綜合使用了多種統(tǒng)計(jì)模型實(shí)現(xiàn)了藏語(yǔ)詞性標(biāo)注研究，，在國(guó)內(nèi)外首次采用最大熵結(jié)合條件隨機(jī)場(chǎng)模型實(shí)現(xiàn)了藏語(yǔ)的詞性標(biāo)注方法。 通過對(duì)藏語(yǔ)詞性的研究，在滿足基本的詞法分析的需求下，我們將藏語(yǔ)詞類標(biāo)記集精簡(jiǎn)到統(tǒng)計(jì)模型切實(shí)可用的規(guī)模，然后選擇最大熵模型構(gòu)建了一個(gè)藏語(yǔ)詞性標(biāo)注系統(tǒng)，并采用小規(guī)模的語(yǔ)料進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果顯示，在小規(guī)模語(yǔ)料訓(xùn)練下，基于最大熵的詞性標(biāo)注系統(tǒng)達(dá)到了87.76%的準(zhǔn)確率，已基本接近詞法分析可用的要求。 在最大熵模型的基礎(chǔ)上，我們提出了基于條件隨機(jī)場(chǎng)的修正模型。該模型在最大熵模型的輸出結(jié)果上進(jìn)行訓(xùn)練，從而可以將最大熵模型中次優(yōu)結(jié)果和再次優(yōu)結(jié)果中的正確標(biāo)注挑選出來，提高詞性標(biāo)注的準(zhǔn)確率。實(shí)驗(yàn)證明，采用同樣規(guī)模的訓(xùn)練語(yǔ)料和測(cè)試語(yǔ)料，最大熵結(jié)合條件隨機(jī)場(chǎng)的詞性標(biāo)注模型達(dá)到了89.12%的準(zhǔn)確率，已接近同類漢語(yǔ)詞性標(biāo)注系統(tǒng)的水平。 四、實(shí)現(xiàn)了一種基于條件隨機(jī)場(chǎng)的藏語(yǔ)分詞標(biāo)注一體化模型，將分詞和詞性標(biāo)注整合到一個(gè)統(tǒng)一的系統(tǒng)中，為藏語(yǔ)詞法分析提供了新的解決途徑。 我們充分利用了分詞與詞性標(biāo)注間更深層次的依賴關(guān)系，在一體化模型中利用詞性信息來處于分詞過程中遇到的歧義問題。在較小的訓(xùn)練語(yǔ)料規(guī)模下，藏語(yǔ)分詞標(biāo)注一體化模型在開放測(cè)試中分詞結(jié)果的F值達(dá)到了89.0%，這表明一體化模型將詞位信息和所屬詞的詞性信息很好的結(jié)合起來，能更有效的提高分詞精度，其分詞效果已基本可以滿足語(yǔ)料庫(kù)對(duì)自動(dòng)分詞的需求。一體化模型的詞性標(biāo)注準(zhǔn)確率也達(dá)到了85.35%，雖然還稍稍落后于獨(dú)立的詞性標(biāo)注模型，但通過擴(kuò)大模型的訓(xùn)練語(yǔ)料規(guī)模，詞性標(biāo)注性能應(yīng)該可以取得一定程度的提升。
【關(guān)鍵詞】：藏語(yǔ)黏寫形式 藏語(yǔ)分詞 條件隨機(jī)場(chǎng)模型 藏語(yǔ)人名識(shí)別 藏語(yǔ)詞性標(biāo)注 最大熵模型 分詞標(biāo)注一體化
【學(xué)位授予單位】：上海師范大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2014
【分類號(hào)】：H214
【目錄】：

• 中文摘要4-6
• Abstract6-10
• 表格目錄10-11
• 插圖目錄11-12
• 第一章 緒論12-21
• 1.1 研究背景與意義12-13
• 1.2 研究歷史和現(xiàn)狀13-19
• 1.3 研究?jī)?nèi)容和方法19-21
• 第二章 藏語(yǔ)概述21-28
• 2.1 藏族語(yǔ)言和文字21-22
• 2.2 藏語(yǔ)文本特點(diǎn)22-28
• 第三章 藏語(yǔ)分詞研究28-53
• 3.1 引言28
• 3.2 藏語(yǔ)分詞的難點(diǎn)28-31
• 3.3 藏語(yǔ)分詞規(guī)范研究31-40
• 3.4 基于詞位的藏語(yǔ)分詞方法40-52
• 3.5 本章小結(jié)52-53
• 第四章 藏語(yǔ)人名識(shí)別研究53-63
• 4.1 引言53
• 4.2 藏族人名的結(jié)構(gòu)及特點(diǎn)53-55
• 4.3 藏語(yǔ)人名的識(shí)別策略55-57
• 4.4 基于詞位的藏語(yǔ)人名識(shí)別方法57-61
• 4.5 本章小結(jié)61-63
• 第五章 藏語(yǔ)詞性標(biāo)注研究63-85
• 5.1 引言63
• 5.2 藏語(yǔ)詞類標(biāo)記集研究63-66
• 5.3 基于最大熵模型的藏語(yǔ)詞性標(biāo)注66-77
• 5.4 最大熵結(jié)合條件隨機(jī)場(chǎng)的藏語(yǔ)詞性標(biāo)注77-84
• 5.5 本章小結(jié)84-85
• 第六章 藏語(yǔ)分詞標(biāo)注一體化研究85-95
• 6.1 分詞標(biāo)注一體化的理論基礎(chǔ)85-86
• 6.2 基于統(tǒng)計(jì)的分詞標(biāo)注一體化研究86-94
• 6.3 本章小結(jié)94-95
• 第七章 結(jié)語(yǔ)95-100
• 7.1 取得的主要成果95-97
• 7.2 進(jìn)一步的工作與展望97-100
• 后記100-102
• 參考文獻(xiàn)102-108
• 攻讀學(xué)位期間的研究成果108

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 竇嶸;加羊吉;黃偉;;統(tǒng)計(jì)與規(guī)則相結(jié)合的藏文人名自動(dòng)識(shí)別研究[J];長(zhǎng)春工程學(xué)院學(xué)報(bào)(自然科學(xué)版);2010年02期

2 孫茂松,鄒嘉彥;漢語(yǔ)自動(dòng)分詞研究評(píng)述[J];當(dāng)代語(yǔ)言學(xué);2001年01期

3 朱聰慧;趙鐵軍;鄭德權(quán);;基于無(wú)向圖序列標(biāo)注模型的中文分詞詞性標(biāo)注一體化系統(tǒng)[J];電子與信息學(xué)報(bào);2010年03期

4 扎西多杰;安見才讓;;基于HMM藏文詞性標(biāo)注的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2012年12期

5 劉群,張華平,俞鴻魁,程學(xué)旗;基于層疊隱馬模型的漢語(yǔ)詞法分析[J];計(jì)算機(jī)研究與發(fā)展;2004年08期

6 洪銘材;張闊;唐杰;李涓子;;基于條件隨機(jī)場(chǎng)(CRFs)的中文詞性標(biāo)注方法[J];計(jì)算機(jī)科學(xué);2006年10期

7 佟曉筠;宋國(guó)龍;劉強(qiáng);張俐;姜偉;;中文分詞及詞性標(biāo)注一體化模型研究[J];計(jì)算機(jī)科學(xué);2007年09期

8 張華平,劉群;基于角色標(biāo)注的中國(guó)人名自動(dòng)識(shí)別研究[J];計(jì)算機(jī)學(xué)報(bào);2004年01期

9 王敏;鄭家恒;;基于改進(jìn)的隱馬爾科夫模型的漢語(yǔ)詞性標(biāo)注[J];計(jì)算機(jī)應(yīng)用;2006年S2期

10 邱莎;段玻;申浩如;丁海燕;;基于條件隨機(jī)場(chǎng)的中文人名識(shí)別研究[J];昆明學(xué)院學(xué)報(bào);2011年06期

  本文關(guān)鍵詞：藏語(yǔ)分詞與詞性標(biāo)注研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：338761