本文關(guān)鍵詞：智能Web新聞文本采集方法研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：Web技術(shù)的革新使其逐漸成為網(wǎng)絡(luò)內(nèi)容生產(chǎn)和消費的平臺,互聯(lián)網(wǎng)上充斥著無數(shù)以網(wǎng)頁形式存在的信息源,隨著搜索引擎、網(wǎng)絡(luò)監(jiān)控和新聞推送等應用和研究工作的深入發(fā)展,使得互聯(lián)網(wǎng)新聞文本采集成為國內(nèi)外相關(guān)人士研究的熱點。Web頁面中不僅包含用戶關(guān)注的正文內(nèi)容,還包含大量噪聲信息,如廣告、導航和相關(guān)推薦信息等,使得智能化提取網(wǎng)頁正文文本成為新聞文本采集的難題之一。傳統(tǒng)的基于模版的網(wǎng)頁正文提取不僅需要人工的配置各網(wǎng)站的解析模版,而且模版不能實時的適應網(wǎng)頁結(jié)構(gòu)的變化,使得后期維護成本較大。Web網(wǎng)頁的異構(gòu)特點對現(xiàn)有的基于規(guī)則學習的包裝器網(wǎng)頁解析技術(shù)也提出了新的挑戰(zhàn)。本文將著重對新聞網(wǎng)頁正文的智能化解析技術(shù)展開研究,結(jié)合新聞網(wǎng)頁結(jié)構(gòu)特點、新聞文本標簽特點以及Web新聞文本采集的需求,提出能夠智能適應網(wǎng)頁結(jié)構(gòu)變化和通用于各門戶新聞網(wǎng)頁的正文提取方法。本文主要貢獻如下：(1)提出基于文本標簽特征挖掘的網(wǎng)頁正文提取方法。該方法主要挖掘網(wǎng)頁樹結(jié)構(gòu)特性、正文標簽的中心性、正文標簽連續(xù)性、正文標簽層次性和Html修飾標簽特征等特點,運用層次聚類算法對標簽進行聚類,對標簽簇進行權(quán)值計算及經(jīng)驗性調(diào)整確定最終的網(wǎng)頁正文標簽簇,然后為實現(xiàn)新聞文本采集過程中盡可能多的采集新聞網(wǎng)頁的文本信息,在文本標簽特征挖掘的網(wǎng)頁正文提取方法中增加一種適用于新聞文本采集的非新聞網(wǎng)頁自識別方法：最后再通過正文標簽簇提取網(wǎng)頁正文。(2)提出基于智能模版的新聞網(wǎng)頁正文提取方法。該方法避免人工配置網(wǎng)頁解析模版的過程,而是根據(jù)各個門戶新聞網(wǎng)頁結(jié)構(gòu)的特點,運用上文文本標簽特征挖掘方法對站內(nèi)大量新聞網(wǎng)頁進行特征學習,進而自動學習出網(wǎng)頁解析模版參數(shù),最后根據(jù)模版信息對該網(wǎng)站內(nèi)網(wǎng)頁進行正文提取。綜上所述,運用實際網(wǎng)頁對本文提出的網(wǎng)頁正文提取方法進行實驗,實驗結(jié)果不僅驗證了本文提出的方法在Web新聞文本采集中的可行性和高準確率,也驗證了本文方法在網(wǎng)頁正文提取方面的通用性和智能化。
【關(guān)鍵詞】：網(wǎng)頁正文提取 標簽特征 非新聞網(wǎng)頁自識別 智能模版 機器學習
【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP393.092;TP391.1
【目錄】：

• 摘要5-6
• ABSTRACT6-13
• 主要術(shù)語對照表13-14
• 第一章 緒論14-18
• 1.1 研究背景及意義14-15
• 1.2 研究現(xiàn)狀15-16
• 1.3 本文研究內(nèi)容16
• 1.4 本文章節(jié)安排16-18
• 第二章 新聞文本采集相關(guān)技術(shù)18-28
• 2.1 網(wǎng)絡(luò)爬蟲相關(guān)技術(shù)18-21
• 2.1.1 網(wǎng)絡(luò)爬蟲策略18-20
• 2.1.2 網(wǎng)絡(luò)爬蟲分類20-21
• 2.2 新聞網(wǎng)頁正文提取技術(shù)21-26
• 2.3 非新聞網(wǎng)頁自識別技術(shù)26-27
• 2.4 本章小結(jié)27-28
• 第三章 基于文本標簽特征挖掘的網(wǎng)頁正文提取方法28-61
• 3.1 方法思想及流程介紹28-30
• 3.2 網(wǎng)頁源碼預處理及修復30-34
• 3.2.1 HTML語言標準及特點分析30-31
• 3.2.2 文本標簽預處理31-33
• 3.2.3 標簽修復及轉(zhuǎn)義字符處理33-34
• 3.3 文本標簽特征選取及標簽聚類34-43
• 3.3.1 文本標簽特征工程34-36
• 3.3.2 文本標簽特征提取方法36-39
• 3.3.3 文本標簽特征向量及權(quán)重選擇39-40
• 3.3.4 文本標簽挖掘算法及選擇40-43
• 3.4 正文簇選擇及標簽經(jīng)驗性調(diào)整43-49
• 3.4.1 初選正文簇選擇策略43-45
• 3.4.2 正文簇經(jīng)驗性調(diào)整45-49
• 3.5 非新聞網(wǎng)頁自識別及文本提取49-54
• 3.5.1 非新聞網(wǎng)頁自識別方法49-52
• 3.5.2 非新聞網(wǎng)頁自識別方法實驗及分析52-53
• 3.5.3 正文簇標簽文本提取53-54
• 3.6 實驗及方法性能評估54-60
• 3.6.1 性能評估指標與實驗數(shù)據(jù)集54-55
• 3.6.2 正文提取效果展示55-57
• 3.6.3 實驗結(jié)果及評估分析57-60
• 3.7 本章小節(jié)60-61
• 第四章 基于智能模版的新聞網(wǎng)頁正文提取方法61-74
• 4.1 方法思想及流程介紹61-63
• 4.2 網(wǎng)頁解析模版自動生成方法63-67
• 4.2.1 網(wǎng)頁源碼結(jié)構(gòu)分析63-64
• 4.2.2 網(wǎng)頁正文標簽塊信息挖掘64-65
• 4.2.3 模版參數(shù)獲取65-67
• 4.3 基于模版參數(shù)解析網(wǎng)頁67-69
• 4.4 實驗及性能評估69-73
• 4.4.1 實驗及數(shù)據(jù)集簡介69-70
• 4.4.2 實驗測評標準70-71
• 4.4.3 實驗結(jié)果與分析71-73
• 4.5 本章小結(jié)73-74
• 第五章 總結(jié)與展望74-76
• 5.1 工作總結(jié)74-75
• 5.2 工作的不足與展望75-76
• 致謝76-77
• 參考文獻77-79
• 攻讀碩士學位期間取得的研究成果79

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 孫發(fā)友;;簡論新聞文本的消費[J];當代傳播;2008年05期

2 譚志紅;李鐵錘;;新聞文本的特性分析[J];傳媒觀察;2009年08期

3 張振華;;新聞文本的“熟悉”特性[J];新聞愛好者;2010年06期

4 覃嵐;;解釋學視野中新聞文本的存在態(tài)勢[J];當代傳播;2011年06期

5 喻國偉;新聞文本空白研究[J];柳州師專學報;1996年03期

6 信險峰;;新聞界理應明晰的兩個概念:新聞與新聞文本[J];南方電視學刊;2014年01期

7 楊保軍;新聞文本的價值屬性[J];當代傳播;2003年06期

8 閻智凱;;淺析網(wǎng)絡(luò)新聞文本的構(gòu)型[J];新聞傳播;2003年05期

9 楊保軍;新聞文本的個性特征[J];當代傳播;2004年02期

10 賀建平;新聞文本的多義性解讀[J];當代傳播;2004年02期

中國重要會議論文全文數(shù)據(jù)庫 前2條

1 賀春祿;;報紙科技新聞文本的受眾解讀[A];中國科技新聞學會第九次學術(shù)年會論文集[C];2007年

2 陶建杰;;臺灣主流報紙對“嫦娥一號”的報道研究——以新聞文本框架建構(gòu)為視角[A];中國傳媒大學第二屆全國新聞學與傳播學博士生學術(shù)研討會論文集[C];2008年

中國重要報紙全文數(shù)據(jù)庫 前1條

1 董天策 暨南大學新聞學院教授;多研讀新聞文本[N];中華新聞報;2005年

中國博士學位論文全文數(shù)據(jù)庫 前1條

1 孫發(fā)友;新聞文本顯性狀態(tài)及其潛在張力[D];華中科技大學;2007年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 陳[V川;論客觀性與傾向性統(tǒng)一的新聞文本建構(gòu)策略[D];西北師范大學;2015年

2 于暢;BBC新聞文本漢譯復雜句式重構(gòu)實踐報告[D];遼寧師范大學;2015年

3 侯中熙;融合新聞要素的漢—泰雙語新聞文本相似度計算方法研究[D];昆明理工大學;2016年

4 陳西安;智能Web新聞文本采集方法研究[D];電子科技大學;2016年

5 傅茜;新聞文本歧視研究[D];中央民族大學;2010年

6 張仕東;新聞文本的“熟悉”特性分析[D];河北大學;2005年

7 韓青芩;新聞文本的詩性特征探究[D];西南大學;2015年

8 黃璀;意義的建構(gòu)與流通：基于新聞文本的網(wǎng)絡(luò)流行語研究[D];暨南大學;2010年

9 尤建清;中文新聞文本傾向性分析研究[D];北京信息科技大學;2015年

10 李瑞芳;框架與新聞文本之建構(gòu)[D];江西師范大學;2007年

  本文關(guān)鍵詞：智能Web新聞文本采集方法研究，由筆耕文化傳播整理發(fā)布。

本文編號：454817