【摘要】：文本的向量表示方法對(duì)文本主題聚合、聚類、信息檢索及推薦系統(tǒng)等研究具有重要意義。在傳統(tǒng)的文本表示模型中,向量空間模型(VSM)相對(duì)簡(jiǎn)單,且應(yīng)用較為廣泛。但該模型假設(shè)特征詞相互獨(dú)立,這在一定程度上會(huì)影響聚類效果。而共現(xiàn)潛在語(yǔ)義向量空間模型(CLSVSM)則是在VSM基礎(chǔ)上,利用共現(xiàn)分析深入挖掘文本信息中特征詞之間的潛在語(yǔ)義關(guān)系,并利用共現(xiàn)相對(duì)強(qiáng)度來(lái)估計(jì)這種關(guān)系,最終估計(jì)文獻(xiàn)與特征詞的相似性。通過(guò)實(shí)驗(yàn)可證明CLSVSM聚類精度要高于VSM。本文以共現(xiàn)潛在語(yǔ)義向量空間模型為基礎(chǔ),對(duì)模型進(jìn)行拓展及降維研究�；诓紶枡�(quán)重的局限,利用詞頻統(tǒng)計(jì)量重新估計(jì)模型,構(gòu)建詞頻共現(xiàn)潛在語(yǔ)義向量空間模型(FCLSVSM);為使CLSVSM能充分提取文獻(xiàn)的潛在語(yǔ)義信息,進(jìn)一步引入三元共現(xiàn),通過(guò)研究三元共現(xiàn)表示,三元共現(xiàn)頻次及三元共現(xiàn)相對(duì)強(qiáng)度的計(jì)算,最終建立三元共現(xiàn)潛在語(yǔ)義向量空間模型(T-CLSVSM)。但隨著文本數(shù)量的增加,表達(dá)模型的維度會(huì)越來(lái)越高,計(jì)算量也會(huì)相應(yīng)增加,最終導(dǎo)致模型應(yīng)用的邊際效應(yīng)降低。因此考慮利用懲罰性矩陣分解(PMD)方法進(jìn)行降維優(yōu)化,具體方法包括:計(jì)算K-秩近似及提取核心特征詞。實(shí)驗(yàn)中,選擇擴(kuò)展數(shù)據(jù)集驗(yàn)證FCLSVSM,利用基礎(chǔ)數(shù)據(jù)集來(lái)驗(yàn)證T-CLSVSM及PMD算法,并利用公共數(shù)據(jù)集來(lái)檢驗(yàn)?zāi)Ｐ偷倪m用范圍。最終得到如下結(jié)論:選擇詞頻統(tǒng)計(jì)量來(lái)估計(jì)模型,可以顯著提高聚類效果。在所選評(píng)價(jià)指標(biāo)(純度,熵值,F_1值)下,T-CLSVSM的聚類精度要優(yōu)于VSM與CLSVSM。PMD算法中,提取核心特征詞與計(jì)算K-秩近似兩種方法均可有效實(shí)現(xiàn)降維,與基于CLSVSM構(gòu)建的語(yǔ)義核函數(shù)(CLSVSM_K)相比,聚類精度更高,降維效果更好。本文對(duì)于共現(xiàn)潛在語(yǔ)義向量空間模型作出改進(jìn),包括基于詞頻信息的模型重建,三元共現(xiàn)潛在語(yǔ)義向量空間模型的構(gòu)建以及利用PMD算法對(duì)模型進(jìn)行降維。最終證明,改進(jìn)后的模型可以提高聚類精度,降低計(jì)算復(fù)雜度,節(jié)約成本。模型的改進(jìn)為文本表示提供了新的選擇,同時(shí)也為文獻(xiàn)聚合中的相似性度量、文獻(xiàn)檢索、分類等研究提供了參考。
【學(xué)位授予單位】：山西大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：F224

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 康耀紅;;基于詞相依性的向量空間模型[J];情報(bào)學(xué)報(bào);1989年03期

2 韓美靈;楊勇;;一種面向語(yǔ)義檢索的向量空間模型改進(jìn)方法[J];農(nóng)業(yè)網(wǎng)絡(luò)信息;2012年10期

3 孟海濱;向量空間模型法用于網(wǎng)上衛(wèi)生裝備信息資源自動(dòng)搜集技術(shù)研究[J];醫(yī)療衛(wèi)生裝備;2002年05期

4 康耀紅;情報(bào)檢索的向量空間模型[J];情報(bào)理論與實(shí)踐;1989年03期

5 王萌,何婷婷,張偉;基于概念向量空間模型的中文自動(dòng)文摘系統(tǒng)[J];計(jì)算機(jī)工程與應(yīng)用;2005年01期

6 唐國(guó)瑜;夏云慶;張民;鄭方;;基于跨語(yǔ)言廣義向量空間模型的跨語(yǔ)言文檔聚類方法[J];中文信息學(xué)報(bào);2012年02期

7 夏云慶;楊瑩;張鵬洲;劉宇飛;;基于情感向量空間模型的歌詞情感分析[J];中文信息學(xué)報(bào);2010年01期

8 程艷;許維勝;楊繼君;何一文;;基于本體興趣特征向量空間模型的社區(qū)自組織算法[J];系統(tǒng)工程;2009年05期

9 姚玉開(kāi);王燁;盧翠榮;;向量空間模型的信息檢索技術(shù)[J];價(jià)值工程;2013年13期

10 烏慶敏;楊思春;;概念向量空間模型在智能答疑系統(tǒng)中的應(yīng)用[J];安徽工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年02期

相關(guān)會(huì)議論文 前10條

1 夏云慶;楊瑩;張鵬洲;;基于情感向量空間模型的歌詞情感分析[A];中國(guó)計(jì)算機(jī)語(yǔ)言學(xué)研究前沿進(jìn)展（2007-2009）[C];2009年

2 唐國(guó)瑜;夏云慶;張民;鄭方;;基于跨語(yǔ)言廣義向量空間模型的跨語(yǔ)言文檔聚類方法[A];中國(guó)計(jì)算語(yǔ)言學(xué)研究前沿進(jìn)展（2009-2011）[C];2011年

3 石敏;康耀紅;;關(guān)于廣義向量空間模型中布爾運(yùn)算的修正[A];第二屆全國(guó)信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議（NCIRCS-2005）論文集[C];2005年

4 劉巍巍;張衛(wèi)強(qiáng);劉加;;基于鑒別性向量空間模型的語(yǔ)種識(shí)別[A];需將論文集名稱修改為“第十二屆全國(guó)人機(jī)語(yǔ)音通訊學(xué)術(shù)會(huì)議（NCMMSC2013）論文集[C];2013年

5 曹晶;孫鐵利;楊柳;;基于概念向量空間模型的信息檢索方法[A];2006年全國(guó)理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2006年

6 鄧妍;張衛(wèi)強(qiáng);劉加;;基于區(qū)分性向量空間模型的語(yǔ)種識(shí)別[A];2009年中國(guó)智能自動(dòng)化會(huì)議論文集（第七分冊(cè)）[南京理工大學(xué)學(xué)報(bào)（增刊）][C];2009年

7 蘇貴洋;王永成;馬穎華;;信息自動(dòng)獲取的結(jié)構(gòu)模型[A];第一屆學(xué)生計(jì)算語(yǔ)言學(xué)研討會(huì)論文集[C];2002年

8 姚遠(yuǎn);張蕙;郝群;徐世東;;基于本體的用戶畫像構(gòu)建方法[A];中國(guó)計(jì)算機(jī)用戶協(xié)會(huì)網(wǎng)絡(luò)應(yīng)用分會(huì)2018年第二十二屆網(wǎng)絡(luò)新技術(shù)與應(yīng)用年會(huì)論文集[C];2018年

9 張寶艷;王慶輝;;中文文本聚類的研究與實(shí)現(xiàn)[A];第一屆學(xué)生計(jì)算語(yǔ)言學(xué)研討會(huì)論文集[C];2002年

10 陳浩;何婷婷;代玲;;基于向量空間模型的無(wú)導(dǎo)詞義消歧[A];第二屆全國(guó)學(xué)生計(jì)算語(yǔ)言學(xué)研討會(huì)論文集[C];2004年

相關(guān)重要報(bào)紙文章 前2條

1 清華大學(xué)計(jì)算機(jī)系智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室 張敏 金奕江;尋“寶”有術(shù)[N];計(jì)算機(jī)世界;2003年

2 中國(guó)科學(xué)院計(jì)算技術(shù)研究所 王 斌;內(nèi)容為王[N];計(jì)算機(jī)世界;2004年

相關(guān)博士學(xué)位論文 前4條

1 李芳;文本挖掘若干關(guān)鍵技術(shù)研究[D];北京化工大學(xué);2010年

2 姬波;信息瓶頸方法的特征權(quán)重研究[D];鄭州大學(xué);2013年

3 高茂庭;文本聚類分析若干問(wèn)題研究[D];天津大學(xué);2007年

4 Amjad Mahmood;半監(jiān)督進(jìn)化集成及其在網(wǎng)絡(luò)視頻分類中的應(yīng)用[D];西南交通大學(xué);2015年

相關(guān)碩士學(xué)位論文 前10條

1 王世昌;三元共現(xiàn)潛在語(yǔ)義向量空間模型及降維研究[D];山西大學(xué);2019年

2 姜春峰;基于DNN及向量空間模型的中文微博情感分析[D];東北大學(xué);2015年

3 張翠翠;基于雙向遍歷空間模型的主觀題評(píng)判算法設(shè)計(jì)和閱卷系統(tǒng)實(shí)現(xiàn)[D];合肥工業(yè)大學(xué);2018年

4 劉兵;基于交叉度的多級(jí)話題聚類研究[D];云南大學(xué);2017年

5 王正方;基于層次向量空間模型的個(gè)性化服裝推薦研究[D];浙江理工大學(xué);2018年

6 王萌;基于概念向量空間模型的中文自動(dòng)文摘研究[D];華中師范大學(xué);2005年

7 周昆;基于改進(jìn)向量空間模型的中文文本分類研究[D];北京理工大學(xué);2015年

8 劉志為;基于N層向量空間模型的網(wǎng)絡(luò)信息檢索平臺(tái)[D];天津大學(xué);2005年

9 鄧?yán)?一個(gè)基于向量空間模型的個(gè)性化推薦系統(tǒng)[D];華東交通大學(xué);2009年

10 周義;質(zhì)譜數(shù)據(jù)處理算法的研究與應(yīng)用設(shè)計(jì)[D];寧波大學(xué);2017年

本文編號(hào)：2767665