發(fā)布時(shí)間：2018-04-23 18:55

  本文選題：觀點(diǎn)挖掘 + LDA模型��； 參考：《華中師范大學(xué)》2016年碩士論文

【摘要】：隨著互聯(lián)網(wǎng)的高速發(fā)展,當(dāng)今社會(huì)進(jìn)入了“互聯(lián)網(wǎng)+”和大數(shù)據(jù)時(shí)代。電子商務(wù)和網(wǎng)絡(luò)社交媒體的空前繁榮使得人們有了更多在網(wǎng)絡(luò)上發(fā)表評(píng)論信息的機(jī)會(huì),在線評(píng)論中包含著許多有價(jià)值的信息,這些信息能很好地服務(wù)商家、用戶和政府部門。但面對(duì)互聯(lián)網(wǎng)公司在日常運(yùn)營中累積的用戶網(wǎng)絡(luò)行為所生成的海量在線評(píng)論數(shù)據(jù),僅靠人工的方式根本無法有效地提取出關(guān)鍵信息。在這種大環(huán)境下,觀點(diǎn)挖掘技術(shù)的誕生為解決以上問題提供了新的思路,而細(xì)粒度觀點(diǎn)挖掘由于能為用戶提供更具體有效的信息,從而獲得國內(nèi)外研究人員的廣泛關(guān)注。觀點(diǎn)挖掘的三大主要任務(wù)分別是：情感分類、觀點(diǎn)抽取和觀點(diǎn)分析,為了完成以上任務(wù),研究人員提出了很多的方法,它們可以被簡單歸納為基于規(guī)則的方法和基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法。早期的觀點(diǎn)挖掘使用的大都是基于規(guī)則的方法,需要人工定義領(lǐng)域特征詞和詞的提取規(guī)則,雖然在一定程度上滿足了觀點(diǎn)挖掘的需要,但工作量大、適應(yīng)性差的特點(diǎn)使得該方法不適合于海量數(shù)據(jù)的觀點(diǎn)挖掘。而以主題模型為代表的基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的觀點(diǎn)挖掘方法,以其領(lǐng)域適應(yīng)性和無監(jiān)督性得到了研究人員的認(rèn)可,逐漸替代了基于規(guī)則的方法。LDA模型是一種無監(jiān)督的統(tǒng)計(jì)主題模型,它將文檔表示為若干詞語的集合,類似于一個(gè)詞袋,其中的詞語相互獨(dú)立沒有關(guān)聯(lián),然后根據(jù)變分推斷、EM算法、吉布斯采樣等方法對(duì)文檔-主題分布和主題-單詞分布進(jìn)行近似推理求解,從而得到文章中的相關(guān)觀點(diǎn)。而文檔中,詞語的位置和語義關(guān)系對(duì)觀點(diǎn)表達(dá)有著重要的影響,要想獲取更準(zhǔn)確和有價(jià)值的觀點(diǎn)信息,需要對(duì)傳統(tǒng)LDA模型進(jìn)行改進(jìn)后才能用于細(xì)粒度觀點(diǎn)挖掘。此外,自然語言存在多義性和相關(guān)性,導(dǎo)致評(píng)論的觀點(diǎn)挖掘和建模存在不確定性：一方面進(jìn)行定性概念描述時(shí)存在界限的模糊性；另一方面模型的定量表示又具有隨機(jī)性。目前的LDA模型用于觀點(diǎn)挖掘時(shí),僅考慮了定量的隨機(jī)性而忽視了定性概念的模糊性。為解決以上問題,本文引入最大熵模型和云模型理論對(duì)標(biāo)準(zhǔn)LDA模型進(jìn)行改進(jìn),用于在線評(píng)論的細(xì)粒度觀點(diǎn)挖掘。首先,在LDA模型中加入最大熵模型,充分利用詞語的位置和語義信息,對(duì)文檔中的詞進(jìn)行更細(xì)致的劃分；其次,將云模型理論用于最大熵LDA模型中,用云模型對(duì)文檔中具有不確定性的情感進(jìn)行定性定量轉(zhuǎn)換建模,在此基礎(chǔ)上提出情感修正算法,通過貼近度和云期望曲線實(shí)現(xiàn)全局情感和主題情感的相似度計(jì)算,進(jìn)而完成對(duì)情感偏差的校正,有效提升了觀點(diǎn)挖掘的精確度。本文最后進(jìn)行了仿真實(shí)驗(yàn),并對(duì)實(shí)驗(yàn)相關(guān)結(jié)果進(jìn)行了可視化。實(shí)驗(yàn)的結(jié)果印證了本文所提出理論的有效性。本文內(nèi)容主要分為五章,第一章給出了本文的研究背景和意義,分析了當(dāng)前國內(nèi)外觀點(diǎn)挖掘領(lǐng)域的研究現(xiàn)狀。第二章介紹了觀點(diǎn)挖掘的理論基礎(chǔ),同時(shí)列出了文中所涉及到的數(shù)學(xué)和建模理論基礎(chǔ)。第三章對(duì)基于云模型理論的LDA最大熵模型進(jìn)行了詳細(xì)介紹,給出相關(guān)建模思想和理論推導(dǎo),在此基礎(chǔ)上提出情感修正算法。第四章主要介紹了仿真實(shí)驗(yàn)過程和相關(guān)結(jié)果分析,并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了可視化,驗(yàn)證了本文理論的有效性。第五章對(duì)相關(guān)研究課題進(jìn)行了總結(jié)和展望。
[Abstract]:With the rapid development of the Internet, today's society entered the era of big data and Internet plus ". The unprecedented prosperity of e-commerce and social media network makes people have more opportunities to comment on the information on the Internet, online reviews contain many valuable information, this information can better service users and businesses Zheng But in the face of the massive online review data generated by the user network behavior accumulated by the Internet Co in the daily operation, the key information can not be extracted by the artificial way. In this environment, the birth of the viewpoint mining technology provides a new way of thinking to solve the above problems, and the fine grained view is excavated from the point of view. In order to provide more specific and effective information for the users, the researchers at home and abroad have received extensive attention. The three main tasks of view mining are: emotional classification, viewpoint extraction and viewpoint analysis. In order to accomplish the above tasks, researchers have put forward a lot of methods, which can be simply summed up as rules based methods and Based on the method of statistical machine learning. Early view mining is mostly based on rule based method. It needs to define the extraction rules of domain feature words and words manually. Although it satisfies the need of view mining to a certain extent, the workload is large and the characteristics of poor adaptability make the method unfit for the view mining of mass data. The method of point mining based on statistical machine learning, represented by the topic model, is recognized by the researchers in terms of its domain adaptability and unsupervised nature, and gradually replaced the rule based.LDA model as an unsupervised statistical theme model, which represents a document as a collection of words, similar to a word bag. The words and expressions are independent and independent of each other. Then according to the variational inference, EM algorithm, Gibbs sampling and other methods to approximate the document theme distribution and the topic word distribution, the relevant views in the article are obtained. In the document, the position and semantic relation of words have an important influence on the opinion expression, and want to get more accurate. The exact and valuable information of view needs to be improved for the traditional LDA model. In addition, the nature language has the ambiguity and correlation, which leads to the uncertainty of the view mining and modeling. On the one hand, the ambiguity in the boundary is stored in the qualitative concept description; on the other hand, the model is quantified. In order to solve the above problems, this paper introduces the maximum entropy model and cloud model to improve the standard LDA model, and uses the maximum entropy model and cloud model theory to mine the fine grained viewpoint of online comments. First, add the LDA model to the LDA model. In the maximum entropy model, we make full use of the position and semantic information of words to make a more detailed division of the words in the document. Secondly, the cloud model theory is used in the maximum entropy LDA model, and the cloud model is used to model the qualitative and quantitative transformation of the uncertain emotion in the document. On this basis, the emotion correction algorithm is proposed and the close degree is adopted. And the cloud expectation curve realizes the similarity calculation of the global emotion and theme emotion, then completes the correction of the emotional deviation, effectively improves the accuracy of the viewpoint mining. Finally, the simulation experiment is carried out, and the experimental results are visualized. The results of the experiment confirm the validity of the proposed theory. This paper is the main content of this paper. The first chapter is divided into five chapters. The first chapter gives the background and significance of the study, analyzes the current status of the research in the field of viewpoint mining at home and abroad. The second chapter introduces the theoretical basis of the viewpoint mining, and lists the mathematical and modeling theoretical basis involved in the article. The third chapter is detailed on the LDA maximum entropy model based on the cloud model theory. In the fourth chapter, the simulation experiment process and the analysis of related results are introduced, and the results of the experiment are visualized, and the validity of the theory is verified. The fifth chapter is a summary and Prospect of the related research subjects.

【學(xué)位授予單位】：華中師范大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.1

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 徐揚(yáng);;基于最大熵模型的漢語隱喻現(xiàn)象識(shí)別[J];計(jì)算機(jī)工程與科學(xué);2007年04期

2 王素格;楊軍玲;張武;;基于最大熵模型與投票法的漢語動(dòng)詞與動(dòng)詞搭配識(shí)別[J];小型微型計(jì)算機(jī)系統(tǒng);2007年07期

3 李濟(jì)洪;王瑞波;王凱華;李國臣;;基于最大熵模型的中文閱讀理解問題回答技術(shù)研究[J];中文信息學(xué)報(bào);2008年06期

4 謝法奎;張全;;基于最大熵模型的語義塊切分[J];計(jì)算機(jī)工程與應(yīng)用;2009年26期

5 樊娜;蔡皖東;趙煜;;基于最大熵模型的觀點(diǎn)句主觀關(guān)系提取[J];計(jì)算機(jī)工程;2010年02期

6 葛斌;封孝生;譚文堂;肖衛(wèi)東;;基于多層最大熵模型的句子主干分析[J];計(jì)算機(jī)科學(xué);2010年12期

7 方明;劉培玉;;基于最大熵模型的評(píng)價(jià)搭配識(shí)別[J];計(jì)算機(jī)應(yīng)用研究;2011年10期

8 陸銘;康雨潔;俞能海;;簡約語法規(guī)則和最大熵模型相結(jié)合的混合實(shí)體識(shí)別[J];小型微型計(jì)算機(jī)系統(tǒng);2012年03期

9 董曉凱;莫蘇寧;李博;陸偉;;基于最大熵模型下復(fù)合特征模板的產(chǎn)品屬性挖掘研究[J];蘇州科技學(xué)院學(xué)報(bào)(自然科學(xué)版);2012年01期

10 高燕;張維維;張艷紅;謝燕萍;蘇凝;;最大熵模型在最長地點(diǎn)實(shí)體識(shí)別中的應(yīng)用[J];廣東石油化工學(xué)院學(xué)報(bào);2012年04期

相關(guān)會(huì)議論文 前10條

1 趙偉;趙法興;王東海;韓達(dá)奇;;一種基于改進(jìn)的最大熵模型的漢語詞性自動(dòng)標(biāo)注的新方法[A];第二十三屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2006年

2 王素格;張武;李德玉;楊軍玲;彭其偉;;基于最大熵模型的漢語動(dòng)詞與動(dòng)詞搭配識(shí)別[A];中文信息處理前沿進(jìn)展——中國中文信息學(xué)會(huì)二十五周年學(xué)術(shù)會(huì)議論文集[C];2006年

3 林紅;胡欣;;最大熵模型的應(yīng)用[A];新世紀(jì)氣象科技創(chuàng)新與大氣科學(xué)發(fā)展——中國氣象學(xué)會(huì)2003年年會(huì)“地球氣候和環(huán)境系統(tǒng)的探測與研究”分會(huì)論文集[C];2003年

4 李濟(jì)洪;王凱華;王瑞波;;基于最大熵模型的中文閱讀理解技術(shù)研究[A];第四屆全國學(xué)生計(jì)算語言學(xué)研討會(huì)會(huì)議論文集[C];2008年

5 李軍輝;朱巧明;李培峰;;一個(gè)基于最大熵模型的文本分類方法[A];第二屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議（NCIRCS-2005）論文集[C];2005年

6 谷波;劉開瑛;;決策樹模型和最大熵模型在文本分類中的比較研究[A];全國第八屆計(jì)算語言學(xué)聯(lián)合學(xué)術(shù)會(huì)議（JSCL-2005）論文集[C];2005年

7 朱江濤;趙麗奎;蔡?hào)|風(fēng);;基于最大熵模型的中文姓名識(shí)別方法初探[A];第二屆全國學(xué)生計(jì)算語言學(xué)研討會(huì)論文集[C];2004年

8 劉方舟;施勤;陶建華;;基于最大熵模型的多音字消歧[A];第九屆全國人機(jī)語音通訊學(xué)術(shù)會(huì)議論文集[C];2007年

9 王凱華;李濟(jì)洪;張國華;王瑞波;;基于最大熵模型的中文閱讀理解問答系統(tǒng)技術(shù)研究[A];內(nèi)容計(jì)算的研究與應(yīng)用前沿——第九屆全國計(jì)算語言學(xué)學(xué)術(shù)會(huì)議論文集[C];2007年

10 游斕;周雅倩;黃萱菁;吳立德;;基于最大熵模型的QA系統(tǒng)置信度評(píng)分算法[A];語言計(jì)算與基于內(nèi)容的文本處理——全國第七屆計(jì)算語言學(xué)聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2003年

相關(guān)博士學(xué)位論文 前1條

1 孫承杰;基于判別式模型的生物醫(yī)學(xué)文本挖掘相關(guān)問題研究[D];哈爾濱工業(yè)大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 王夢;基于主題情感紡一最大熵模型的觀點(diǎn)挖掘研究[D];華中師范大學(xué);2015年

2 周明震;最大熵模型的T-S模糊化[D];遼寧科技大學(xué);2016年

3 李杰駿;數(shù)據(jù)挖掘方法在評(píng)論分類中的應(yīng)用研究[D];廣東工業(yè)大學(xué);2016年

4 王煦祥;面向問答的問句關(guān)鍵詞提取技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2016年

5 司琪;基于云模型理論的LDA最大熵模型觀點(diǎn)挖掘研究[D];華中師范大學(xué);2016年

6 楊振磊;基于最大熵模型的智能提問系統(tǒng)研究[D];天津大學(xué);2008年

7 賈麗潔;基于最大熵模型的分詞技術(shù)研究[D];山東師范大學(xué);2007年

8 劉大保;基于最大熵的智能提問系統(tǒng)及其在審計(jì)中的應(yīng)用[D];哈爾濱工程大學(xué);2013年

9 付琳;利用非廣延最大熵模型進(jìn)行文本分類[D];天津大學(xué);2009年

10 步�；�;基于最大熵模型的中文姓名識(shí)別研究[D];山東大學(xué);2006年

，

本文編號(hào)：1793185