本文選題：Web網(wǎng)頁 + 網(wǎng)站自動摘要��； 參考：《計算機工程》2017年04期

【摘要】：近年來自動摘要方面的研究大多是關(guān)于多文檔和Web網(wǎng)頁的,而對網(wǎng)站自動摘要的研究較少。為此,基于主題模型隱含狄利克雷分布(LDA)和網(wǎng)站層次結(jié)構(gòu)提出一個可以自動生成網(wǎng)站摘要的算法。該算法可獲取整個網(wǎng)站內(nèi)的網(wǎng)頁信息并進行整合,根據(jù)提出的句子權(quán)重公式計算句子權(quán)重,選取權(quán)重最高的句子作為網(wǎng)站摘要。以20個商業(yè)和學術(shù)網(wǎng)站作為實驗對象,使用ROUGE評測標準,結(jié)果表明,與僅使用主題模型LDA獲取的網(wǎng)站摘要相比,不帶停用詞的ROUGE-1和ROUGE-L提高0.32,帶停用詞的ROUGE-1提高0.39,ROUGE-L提高0.38。與網(wǎng)站首頁摘要相比,不帶停用詞的ROUGE-1提高0.03,ROUGE-L提高0.06,帶停用詞的ROUGE-1提高0.08,ROUGE-L提高0.07。
[Abstract]:In recent years, the research on automatic summary is mostly about multi-document and Web pages, but the research on automatic summary of Web site is less. For this reason, an algorithm for automatically generating web abstracts is proposed based on the implicit Delikley distribution (LDAs) and the hierarchical structure of the web site. The algorithm can obtain and integrate the web page information of the whole website, calculate the sentence weight according to the proposed sentence weight formula, and select the sentence with the highest weight as the summary of the website. Using 20 commercial and academic websites as experimental subjects and using ROUGE evaluation criteria, the results show that the ROUGE-1 and ROUGE-L without deactivating words and ROUGE-1 with deactivated words are 0.32 and 0.39% higher than those obtained by using LDA only, and 0.39% of ROUGE-1 with deactivated words are increased by 0.38. Compared with the first page summary of the website, the ROUGE-1 without deactivation words increased 0.03% ROUGE-L increased 0.06%, the ROUGE-1 with deactivated words increased 0.08% ROUGE-L increased 0.07%.
【作者單位】： 華東師范大學計算機科學技術(shù)系;
【基金】：國家科技支撐計劃項目(2015BAH01F02) 上海張江國家自主創(chuàng)新示范區(qū)專項發(fā)展資金計劃項目(201411-JA-B108-002)
【分類號】：TP391.1;TP393.092

【相似文獻】

相關(guān)期刊論文 前10條

1 沈洲,王永成,許一震,吳芳芳;一種面向新聞文獻的自動摘要系統(tǒng)的研究與實踐[J];計算機工程;2000年09期

2 沈洲,王永成,韓客松;一種基于主題敏感辭分析的新聞文獻自動摘要系統(tǒng)的研究與實踐[J];高技術(shù)通訊;2001年09期

3 張雷生,萬紹俊,許鵬文;簡單中文自動摘要系統(tǒng)研究[J];裝備指揮技術(shù)學院學報;2004年03期

4 王建會;周水庚;胡運發(fā);;基于聚類的自動摘要[J];模式識別與人工智能;2004年03期

5 黃水清;李志燕;梁剛;;面向計算機類文獻的自動摘要系統(tǒng)的研究與實現(xiàn)[J];圖書與情報;2006年03期

6 陳珂;殷凡;;中文自動摘要綜述[J];福建電腦;2007年02期

7 李念峰;;基于自動摘要的網(wǎng)絡情報收集系統(tǒng)研究[J];現(xiàn)代情報;2007年11期

8 郭琳虹;張小松;;文本自動摘要的方法研究[J];福建電腦;2008年06期

9 龍華;何中市;伍星;李雙慶;;基于依存內(nèi)容單元的金字塔自動摘要評估[J];計算機工程;2009年13期

10 洪田玉;陳志剛;;一種跨語言的自動摘要技術(shù)[J];電腦與信息技術(shù);2009年04期

相關(guān)會議論文 前8條

1 章彥星;張銘;鄧志鴻;;基于特征的用戶評論自動摘要[A];第26屆中國數(shù)據(jù)庫學術(shù)會議論文集（B輯）[C];2009年

2 吳中勤;黃萱菁;吳立德;;基于有監(jiān)督分類技術(shù)的文本自動摘要研究[A];第二屆全國信息檢索與內(nèi)容安全學術(shù)會議（NCIRCS-2005）論文集[C];2005年

3 王暉;馬軍;;面向Web論壇的多文檔摘要方法[A];第五屆全國信息檢索學術(shù)會議論文集[C];2009年

4 張奇;黃萱菁;吳立德;;一種新的句子相似度度量及其在文本自動摘要中的應用[A];NCIRCS2004第一屆全國信息檢索與內(nèi)容安全學術(shù)會議論文集[C];2004年

5 李芳;何婷婷;;面向查詢的多模式自動摘要研究[A];第五屆全國青年計算語言學研討會論文集[C];2010年

6 劉娜;肖智博;路瑩;唐曉君;肖鵬;;自適應主題融合的多文檔自動摘要算法[A];2013年中國智能自動化學術(shù)會議論文集（第五分冊）[C];2013年

7 王荀;李素建;宋濤;姜伯平;;服務于內(nèi)容側(cè)面發(fā)現(xiàn)的框架識別[A];中國計算語言學研究前沿進展（2009-2011）[C];2011年

8 楊瀟;馬軍;楊同峰;杜言琦;邵海敏;;基于主題模型LDA的多文檔自動摘要[A];第五屆全國信息檢索學術(shù)會議論文集[C];2009年

相關(guān)博士學位論文 前2條

1 劉娜;文本自動摘要和信息抽取方法及其應用研究[D];大連海事大學;2012年

2 耿煥同;范例推理與互聯(lián)網(wǎng)文本信息處理研究[D];中國科學技術(shù)大學;2006年

相關(guān)碩士學位論文 前10條

1 王馨;網(wǎng)絡新聞熱點發(fā)現(xiàn)研究[D];河北大學;2015年

2 李子健;專題摘要自動生成技術(shù)研究[D];浙江大學;2015年

3 熊嬌;基于詞項—句子—文檔三層圖模型的多文檔自動摘要[D];江西師范大學;2015年

4 程園;輿情分析中維吾爾文文本自動摘要研究[D];新疆大學;2015年

5 梁入文;基于文本意見挖掘的煙臺大學教學評價系統(tǒng)設計與實現(xiàn)[D];電子科技大學;2015年

6 楊瑞;在線網(wǎng)絡中文本自動摘要系統(tǒng)研究和實現(xiàn)[D];南京航空航天大學;2014年

7 唐亞娟;基于文本挖掘的糧食情報分析技術(shù)與系統(tǒng)實現(xiàn)[D];河南工業(yè)大學;2015年

8 董非;基于圖的主觀性多文本自動摘要方法研究和實現(xiàn)[D];上海交通大學;2015年

9 程娟;中文文檔自動摘要技術(shù)[D];山東大學;2006年

10 周凱;中文突發(fā)事件新聞自動摘要的研究[D];上海交通大學;2008年

，

本文編號：1821401