【摘要】：經過對大量維吾爾文網站的調查與分析,該文從多語種混合網頁中針對維吾爾文網頁識別進行了研究,這對維吾爾語信息處理工作起著關鍵作用。首先該文探討了維吾爾文不規(guī)范網頁的字符編碼轉換規(guī)則及原理,以此對不規(guī)范維吾爾文字符進行了相應的處理,之后介紹了基于修改的N-Gram方法和基于維吾爾語常用詞特征向量的兩種方法,其中后者融合了維吾爾文常用候選詞語料庫及向量空間模型(Vector Space Model)。使用三種不同類型的維吾爾文網頁文本作為本研究的數(shù)據集,在此基礎上驗證了該文提出的網頁識別方法,以及采用不同的方法進行了網頁識別的實驗。實驗結果表明,基于N-Gram的方法對正文較長的新聞或論壇網頁的識別性能最佳,反而基于常用詞特征向量的方法對短文本的網頁識別性能優(yōu)越N-Gram。所提方法對維吾爾文網頁識別的整體性能達到90%以上,并驗證了這兩種方法的有效性。
【作者單位】： 中國科學院新疆理化技術研究所;新疆民族語音語言信息處理重點實驗室;中國科學院大學;新疆師范大學計算機科學技術學院;
【基金】：國家自然科學基金(61662081) 新疆維吾爾自治區(qū)青年科技創(chuàng)新人才培養(yǎng)工程項目—面向維漢機器翻譯的維吾爾語命名實體識別研究(2014711006);新疆維吾爾自治區(qū)青年科技創(chuàng)新人才培養(yǎng)工程項目—維漢機器翻譯模型關鍵技術研究(2014721032) 新疆維吾爾自治區(qū)自然科學基金—基于多特征融合的復雜形態(tài)語言建模研究(2015211B034) 中科院戰(zhàn)略性先導科技專項—新疆少數(shù)民族信息處理(XDA06030400)
【分類號】：TP391

【參考文獻】

相關期刊論文 前5條

1 艾孜爾古麗;努爾艾合買提;玉素甫·艾白都拉;;現(xiàn)代維吾爾語常用詞統(tǒng)計關鍵技術研究[J];中文信息學報;2014年05期

2 艾孜爾古麗;齊向衛(wèi);玉素甫·艾白都拉;;基于網站用詞調查的現(xiàn)代維吾爾語詞干提取和應用研究[J];計算機應用與軟件;2012年03期

3 艾孜爾古麗;艾山江·阿不力孜;玉素甫·艾白都拉;;現(xiàn)代維吾爾文網絡媒體用詞研究[J];計算機應用與軟件;2012年02期

4 龐景安;;Web文本特征提取方法的研究與發(fā)展[J];情報理論與實踐;2006年03期

5 樊興華;孫茂松;;一種高性能的兩類中文文本分類方法[J];計算機學報;2006年01期

相關碩士學位論文 前1條

1 圖爾妮薩古麗·賽麥提;基于N-gram的維吾爾文文本分類研究與系統(tǒng)實現(xiàn)[D];新疆大學;2014年

【共引文獻】

相關期刊論文 前10條

1 李滿榮;趙宏安;董文靜;耿國華;周明全;;基于優(yōu)先權過濾的自動摘要抽取算法[J];西北大學學報(自然科學版);2017年03期

2 阿斯古力·艾山;艾孜爾古麗;玉素甫·艾白都拉;;現(xiàn)代維吾爾語動詞詞匯語義詞典構建研究[J];電腦知識與技術;2017年08期

3 馬慧芳;周汝南;吉余崗;魯小勇;;融合詞語類別特征和語義的短文本分類方法[J];計算機工程與科學;2017年02期

4 阿力木·木拉提;艾孜爾古麗;楊雅婷;李曉;;基于多策略的維吾爾文網頁識別方法[J];中文信息學報;2017年01期

5 程光洋;廉彬;;基于AdaBoost算法的養(yǎng)老信息篩選及應用[J];計算機與現(xiàn)代化;2016年12期

6 依不拉音·烏斯曼;王悅;;面向維吾爾跨文字搜索引擎的統(tǒng)一轉換機制設計[J];計算機科學;2016年S2期

7 彭杰;石永革;高勝保;;基于對話內容的交互型文本會話主題挖掘[J];電信科學;2016年09期

8 劉錦文;邢凱;芮偉康;張利萍;周慧;;基于信息關聯(lián)拓撲的互聯(lián)網社交關系挖掘[J];計算機應用;2016年07期

9 李廣麗;陳婧琳;劉斌;殷依;張紅斌;;基于Tag-rank和典型相關性分析的在線商品跨媒體檢索研究[J];科學技術與工程;2016年14期

10 阿力木·木拉提;艾孜爾古麗;玉素甫·艾拜都拉;;維吾爾語網站識別方法[J];計算機工程與設計;2016年05期

【二級參考文獻】

相關期刊論文 前10條

1 艾孜爾古麗;李曉;玉素甫·艾白都拉;;中小學維吾爾語文教材用詞數(shù)據分析方法研究[J];計算機工程與應用;2014年03期

2 艾孜爾古麗;阿里木·木拉提;蘇國平;;現(xiàn)代維吾爾語語言資源監(jiān)測中數(shù)據分析技術研究[J];計算機應用與軟件;2013年04期

3 玉素甫·艾白都拉;艾孜爾古麗;祖麗皮亞;;基于網站用詞調查的現(xiàn)代維吾爾語詞長研究[J];計算機應用與軟件;2012年05期

4 玉素甫·艾白都拉;艾孜爾古麗;;基于網站用詞調查的現(xiàn)代維吾爾語詞尾切分和應用研究[J];計算機應用與軟件;2012年04期

5 艾孜爾古麗;齊向衛(wèi);玉素甫·艾白都拉;;基于網站用詞調查的現(xiàn)代維吾爾語詞干提取和應用研究[J];計算機應用與軟件;2012年03期

6 艾孜爾古麗;艾山江·阿不力孜;玉素甫·艾白都拉;;現(xiàn)代維吾爾文網絡媒體用詞研究[J];計算機應用與軟件;2012年02期

7 玉素甫·艾白都拉;張海軍;艾孜爾古麗;;信息處理用現(xiàn)代維吾爾語詞干詞類標記集研究[J];信息技術與標準化;2011年06期

8 蘇新春;楊爾弘;;2005年度漢語詞匯統(tǒng)計的分析與思考[J];廈門大學學報(哲學社會科學版);2006年06期

9 張鵬飛,李峗,劉建毅,鐘義信;基于相對詞頻的文本特征抽取方法[J];計算機應用研究;2005年04期

10 唐曉文;基于本體論的文本特征提取[J];電腦與信息技術;2005年01期

相關碩士學位論文 前10條

1 艾海麥提江·阿布來提;維吾爾文文本分類研究及系統(tǒng)開發(fā)[D];新疆大學;2012年

2 馬鵬飛;中文文本分類算法研究[D];南京理工大學;2012年

3 王飛;文本分類相關算法的研究與實現(xiàn)[D];哈爾濱工程大學;2012年

4 林少波;中文文本分類特征提取方法的研究與實現(xiàn)[D];重慶大學;2011年

5 陳雅芳;中文文本分類方法研究[D];浙江大學;2010年

6 李保秀;中文文本分類技術研究[D];南昌大學;2010年

7 閆晨;KNN文本分類研究[D];燕山大學;2010年

8 趙小華;KNN文本分類中特征詞權重算法的研究[D];太原理工大學;2010年

9 周登;基于N-Gram模型的藏文文本分類技術研究[D];西北民族大學;2010年

10 梅君;中文文本分類的研究與應用[D];南昌大學;2010年

【相似文獻】

相關期刊論文 前10條

1 王萌,何婷婷,張偉;基于概念向量空間模型的中文自動文摘系統(tǒng)[J];計算機工程與應用;2005年01期

2 張玉連;張敏;張波;;一種擴展的向量空間模型-隱含語義索引模型研究[J];燕山大學學報;2006年01期

3 李雪峰;劉魯;張f，

本文編號：2540948