【摘要】：詞語(yǔ)權(quán)重計(jì)算是自然語(yǔ)言處理中的重要問(wèn)題,是文檔語(yǔ)義表示的重要實(shí)現(xiàn)手段.詞語(yǔ)的權(quán)重主要由兩部分決定,一部分是詞語(yǔ)在文檔中的重要性度量,另一部分是基于統(tǒng)計(jì)方法所得的詞語(yǔ)在區(qū)分不同文檔能力上的度量即詞語(yǔ)全局權(quán)重.本文就針對(duì)有相對(duì)穩(wěn)定性的詞語(yǔ)全局權(quán)重計(jì)算方法分析比較了現(xiàn)有的幾種詞語(yǔ)全局權(quán)重計(jì)算方法,并在此基礎(chǔ)上提出了一種新的組合詞語(yǔ)全局權(quán)重計(jì)算方法,實(shí)驗(yàn)證明本文提出的新方法能夠有效地提高了系統(tǒng)的性能.
[Abstract]:Word weight calculation is an important problem in natural language processing and an important means of document semantic representation. The weight of words is mainly determined by two parts, one is the measurement of the importance of words in the document, the other is the measure of words' ability to distinguish different documents, that is, the global weight of words, which is based on the statistical method. This paper analyzes and compares several existing global weight calculation methods for words with relative stability, and proposes a new method for calculating global weight of words combined. Experiments show that the proposed new method can effectively improve the performance of the system.
【作者單位】： 哈爾濱工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;
【基金】：哈爾濱工業(yè)大學(xué)科研創(chuàng)新基金(HIT.NSRIF.2010045)
【分類號(hào)】：H087

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 陸玉昌,魯明羽,李凡,周立柱;向量空間法中單詞權(quán)重函數(shù)的分析和構(gòu)造[J];計(jì)算機(jī)研究與發(fā)展;2002年10期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李文斌;劉椿年;陳嶷瑛;;基于特征信息增益權(quán)重的文本分類算法[J];北京工業(yè)大學(xué)學(xué)報(bào);2006年05期

2 顧益軍,樊孝忠,王建華,汪濤,黃維金;中文停用詞表的自動(dòng)選取[J];北京理工大學(xué)學(xué)報(bào);2005年04期

3 程澤凱,陸小藝;文本分類中的特征選擇方法[J];安徽工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年03期

4 魯明羽,張紅,付克明,陸玉昌;Web ME——一個(gè)大型網(wǎng)絡(luò)挖掘環(huán)境系統(tǒng)[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);2004年09期

5 劉濤,吳功宜,陳正;一種高效的用于文本聚類的無(wú)監(jiān)督特征選擇算法[J];計(jì)算機(jī)研究與發(fā)展;2005年03期

6 尚文倩;黃厚寬;劉玉玲;林永民;瞿有利;董紅斌;;文本分類中基于基尼指數(shù)的特征選擇算法研究[J];計(jì)算機(jī)研究與發(fā)展;2006年10期

7 石志偉,劉濤,吳功宜;一種快速高效的文本分類方法[J];計(jì)算機(jī)工程與應(yīng)用;2005年29期

8 李國(guó)臣,段建勇;基于語(yǔ)法語(yǔ)義信息量化模型的語(yǔ)素字再分類[J];計(jì)算機(jī)工程;2004年11期

9 楊廣翔,俞寧,諶莉;搜索引擎結(jié)果的重排序方法[J];計(jì)算機(jī)應(yīng)用;2005年02期

10 董小國(guó);甘立國(guó);;基于句子重要度的特征項(xiàng)權(quán)重計(jì)算方法[J];計(jì)算機(jī)與數(shù)字工程;2006年08期

相關(guān)會(huì)議論文 前1條

1 趙燕平;李超;;網(wǎng)絡(luò)安全信息挖掘中的特征選擇與專利分析研究[A];2004年中國(guó)管理科學(xué)學(xué)術(shù)會(huì)議論文集[C];2004年

相關(guān)博士學(xué)位論文 前6條

1 黃定軒;企業(yè)核心能力智能挖掘應(yīng)用基礎(chǔ)研究[D];西南交通大學(xué);2005年

2 張友華;面向智能服務(wù)的Web內(nèi)容計(jì)算研究與應(yīng)用[D];中國(guó)科學(xué)技術(shù)大學(xué);2006年

3 王秀娟;文本檢索中若干問(wèn)題研究[D];北京郵電大學(xué);2006年

4 席運(yùn)江;組織知識(shí)的網(wǎng)絡(luò)表示模型及分析方法[D];大連理工大學(xué);2007年

5 尚文倩;文本分類及其相關(guān)技術(shù)研究[D];北京交通大學(xué);2007年

6 馬暉男;信息檢索中淺層語(yǔ)義模型的研究[D];大連理工大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 王明燕;基于WEB頁(yè)面的關(guān)鍵詞與關(guān)鍵概念提取技術(shù)[D];北京工業(yè)大學(xué);2003年

2 胡蓉;中文Web文檔傾向性自動(dòng)分類研究[D];四川大學(xué);2003年

3 翟靜;可擴(kuò)展的文本分類系統(tǒng)的核心API的設(shè)計(jì)與實(shí)現(xiàn)[D];四川大學(xué);2003年

4 劉鋼;基于神經(jīng)網(wǎng)絡(luò)的文本分類系統(tǒng)NNTCS的設(shè)計(jì)和實(shí)現(xiàn)[D];中國(guó)科學(xué)院研究生院（軟件研究所）;2003年

5 段建勇;現(xiàn)代漢語(yǔ)詞性細(xì)分類標(biāo)注研究[D];山西大學(xué);2004年

6 徐愛(ài)華;面向文本分類的中文文本挖掘技術(shù)研究及實(shí)現(xiàn)[D];武漢理工大學(xué);2004年

7 吳福英;面向用戶的信息過(guò)濾研究與實(shí)現(xiàn)[D];江西師范大學(xué);2004年

8 萬(wàn)中英;基于投影尋蹤中文網(wǎng)頁(yè)自動(dòng)分類[D];江西師范大學(xué);2004年

9 吳艷玲;基于SVM的網(wǎng)頁(yè)分類器的研究[D];吉林大學(xué);2004年

10 吳娟;軍用信息自動(dòng)分類的研究與實(shí)現(xiàn)[D];南京理工大學(xué);2004年

【相似文獻(xiàn)】

相關(guān)會(huì)議論文 前1條

1 丁政建;張路;;基于本體的語(yǔ)義檢索研究[A];全國(guó)第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2009）暨全國(guó)第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2009年

相關(guān)重要報(bào)紙文章 前10條

1 ;整合信息資源 提升服務(wù)能力[N];中國(guó)計(jì)算機(jī)報(bào);2005年

2 記者 劉安;“全國(guó)檔案報(bào)刊文獻(xiàn)及科技成果信息檢索系統(tǒng)”通過(guò)鑒定[N];中國(guó)檔案報(bào);2002年

3 清華大學(xué)計(jì)算機(jī)系智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室 張敏 金奕江;尋“寶”有術(shù)[N];計(jì)算機(jī)世界;2003年

4 本報(bào)記者 武天敏邋包國(guó)俊 本報(bào)特約記者 郭瑞宏;在浩瀚信息海洋“導(dǎo)航”[N];解放軍報(bào);2007年

5 徐蓮芝;24團(tuán) 農(nóng)企聯(lián)手打造無(wú)公害農(nóng)產(chǎn)品基地[N];農(nóng)民日?qǐng)?bào);2008年

6 李立紅;承鋼持續(xù)推進(jìn)多項(xiàng)信息化建設(shè)與應(yīng)用[N];中國(guó)冶金報(bào);2008年

7 王偉 史忠植;通用與專業(yè)[N];計(jì)算機(jī)世界;2006年

8 張建華;淄博局企業(yè)備案實(shí)現(xiàn)100%[N];中國(guó)國(guó)門(mén)時(shí)報(bào);2008年

9 通訊員 陳班雄　鄒俊 本報(bào)記者 于莘明;通向科技巔峰的無(wú)名臺(tái)階[N];科技日?qǐng)?bào);2009年

10 葉靜;站內(nèi)檢索力助網(wǎng)站信息整合[N];人民郵電;2001年

相關(guān)博士學(xué)位論文 前1條

1 龍柏;并行計(jì)算平臺(tái)上的數(shù)據(jù)索引技術(shù)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 岳俊英;蒙古文信息檢索系統(tǒng)中檢索單元選取方法的研究[D];內(nèi)蒙古大學(xué);2011年

2 胡朝義;索引構(gòu)建與搜索算法的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

3 辛強(qiáng);基于共現(xiàn)距離與查詢擴(kuò)展的蒙古文信息檢索系統(tǒng)[D];內(nèi)蒙古大學(xué);2011年

4 孫紅雨;基于本體的醫(yī)學(xué)信息獲取技術(shù)研究[D];山東科技大學(xué);2008年

5 高敏;基于本體的語(yǔ)義查詢擴(kuò)展研究[D];山東科技大學(xué);2008年

6 董錦霞;基于菱形思維的概念檢索模型研究[D];大連理工大學(xué);2011年

7 周新;情境感知的物聯(lián)網(wǎng)信息檢索技術(shù)研究[D];大連海事大學(xué);2011年

8 王芳芳;基于Agent的網(wǎng)絡(luò)信息檢索[D];沈陽(yáng)工業(yè)大學(xué);2011年

9 范先爽;基于個(gè)性化服務(wù)的汽車信息搜索引擎的研究[D];武漢理工大學(xué);2011年

10 任豪棟;基于Web日志挖掘的原型系統(tǒng)研究與實(shí)現(xiàn)[D];西華大學(xué);2011年

，

本文編號(hào)：2326856