發(fā)布時(shí)間：2024-02-07 01:29

　　針對(duì)新聞內(nèi)容復(fù)雜多樣的特性和目前傳統(tǒng)的新聞搜索對(duì)用戶的需求結(jié)果不能完全把控的問(wèn)題,本文的主要工作是研究常用的新聞文本挖掘算法和文本類搜索召回算法的效果和規(guī)律,通過(guò)分析用戶在搜索行為中的搜索詞語(yǔ)和新聞文本本身的特性,探索將用戶的搜索詞語(yǔ)和新聞的文本信息定義并且抽象化為特征的形式,將傳統(tǒng)的新聞搜索轉(zhuǎn)化為用戶和新聞機(jī)器人的對(duì)話模式,為進(jìn)一步提高對(duì)用戶搜索結(jié)果的精準(zhǔn)度和使用的滿意度提供支撐。為了實(shí)現(xiàn)對(duì)話形式的智能新聞搜索,首先,選取合適的新聞數(shù)據(jù)源,編寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)爬取新聞,本文旨在為用戶提供熱點(diǎn)新聞,所以爬蟲(chóng)爬取的是網(wǎng)站每日熱榜新聞。本文對(duì)比了四家主流新聞網(wǎng)站,最終選取新浪新聞網(wǎng)站為系統(tǒng)提供數(shù)據(jù)。然后,將谷歌提出的基于 Transformer 的雙向編碼器表征(Bidirectional Encoder Representations from Transformers,BERT)與基于條件隨機(jī)場(chǎng)和雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的命名實(shí)體識(shí)別方法結(jié)合作為命名實(shí)體識(shí)別模型的構(gòu)建方法,并用BERT優(yōu)化TextRank的特征抽取和向量化的過(guò)程,實(shí)現(xiàn)新聞主題和摘要的抽取。用戶進(jìn)行智能對(duì)話時(shí),命名實(shí)體識(shí)別模型識(shí)別...

【文章頁(yè)數(shù)】：79 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖３．１?ＢＥＲＴ算法模型結(jié)構(gòu)??Ｆｉｇｕｒｅ?３．１?ＢＥＲＴ?ａｌｇｏｒｉｔｈｍ?ｍｏｄｅｌ?ｓｔｒｕｃｔｕｒｅ??

設(shè)計(jì)??３．１．１?ＢＥＲＴ算法概述??ＢＥＲＴ模型是由谷歌發(fā)布的一種用來(lái)對(duì)語(yǔ)言表征進(jìn)行預(yù)訓(xùn)練的模型，它是基于雙??向Ｔｒａｎｓｆｏｒｍｅｒ結(jié)構(gòu)來(lái)實(shí)現(xiàn)對(duì)大規(guī)模有監(jiān)督語(yǔ)料進(jìn)行預(yù)訓(xùn)練，然后獲得理解語(yǔ)義的一??種數(shù)學(xué)模型，可以應(yīng)用在ＮＬＰ自然語(yǔ)言處理中，比如聊天機(jī)器人、智能問(wèn)答、自動(dòng)?....

圖３．３關(guān)鍵詞標(biāo)注數(shù)據(jù)??Ｆｉｇｕｒｅ?３．３?Ｋｅｙｗｏｒｄ?ａｎｎｏｔａｔｉｏｎ?ｄａｔａ??（２）數(shù)據(jù)集的處理??首先從本文采用的實(shí)驗(yàn)數(shù)據(jù)源中獲�。担埃埃捌侣剶�(shù)據(jù)，采樣方式以體育，財(cái)經(jīng)，??

?３新聞信息提取算法設(shè)計(jì)與優(yōu)化???合本文的算法設(shè)計(jì)的驗(yàn)證方法，中國(guó)科學(xué)文獻(xiàn)數(shù)據(jù)集涉及的領(lǐng)域比較廣泛，含有各個(gè)??領(lǐng)域的文本，對(duì)于本文抽取新聞本文的文本類型和意圖也相吻合，因此確定用此數(shù)據(jù)??集合作為本文的賣(mài)驗(yàn)數(shù)振集合。如圖３．２和３．３分別為數(shù)據(jù)集合的摘要標(biāo)注數(shù)據(jù)和關(guān)??鍵詞標(biāo)....

圖３．５摘要抽取結(jié)果??Ｆｉｇｕｒｅ?３．５?Ａｂｓｔｒａｃｔ?ｅｘｔｒａｃｔｉｏｎ?ｒｅｓｕｌｔｓ??

?錄于文本挖掘技術(shù)的．網(wǎng)絡(luò)熱點(diǎn)＿新＿聞系統(tǒng)的研建???計(jì)算抽取出來(lái)的文章摘要結(jié)果。??圖３．４關(guān)鍵詞權(quán)重計(jì)算結(jié)果??Ｆｉｇｕｒｅ?３．４?Ｋｅｙｗｏｒｄ?ｗｅｉｇｈｔ?ｃａｌｃｕｌａｔｉｏｎ?ｒｅｓｕｌｔｓ??圖３．５摘要抽取結(jié)果??Ｆｉｇｕｒｅ?３．５?Ａｂｓｔｒａｃｔ?ｅｘｔ....

圖３．４關(guān)鍵詞權(quán)重計(jì)算結(jié)果??Ｆｉｇｕｒｅ?３．４?Ｋｅｙｗｏｒｄ?ｗｅｉｇｈｔ?ｃａｌｃｕｌａｔｉｏｎ?ｒｅｓｕｌｔｓ??

?錄于文本挖掘技術(shù)的．網(wǎng)絡(luò)熱點(diǎn)＿新＿聞系統(tǒng)的研建???計(jì)算抽取出來(lái)的文章摘要結(jié)果。??圖３．４關(guān)鍵詞權(quán)重計(jì)算結(jié)果??Ｆｉｇｕｒｅ?３．４?Ｋｅｙｗｏｒｄ?ｗｅｉｇｈｔ?ｃａｌｃｕｌａｔｉｏｎ?ｒｅｓｕｌｔｓ??圖３．５摘要抽取結(jié)果??Ｆｉｇｕｒｅ?３．５?Ａｂｓｔｒａｃｔ?ｅｘｔ....

本文編號(hào)：3896530