本文關(guān)鍵詞：智能Web新聞文本采集方法研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：Web技術(shù)的革新使其逐漸成為網(wǎng)絡(luò)內(nèi)容生產(chǎn)和消費(fèi)的平臺(tái),互聯(lián)網(wǎng)上充斥著無數(shù)以網(wǎng)頁形式存在的信息源,隨著搜索引擎、網(wǎng)絡(luò)監(jiān)控和新聞推送等應(yīng)用和研究工作的深入發(fā)展,使得互聯(lián)網(wǎng)新聞文本采集成為國內(nèi)外相關(guān)人士研究的熱點(diǎn)。Web頁面中不僅包含用戶關(guān)注的正文內(nèi)容,還包含大量噪聲信息,如廣告、導(dǎo)航和相關(guān)推薦信息等,使得智能化提取網(wǎng)頁正文文本成為新聞文本采集的難題之一。傳統(tǒng)的基于模版的網(wǎng)頁正文提取不僅需要人工的配置各網(wǎng)站的解析模版,而且模版不能實(shí)時(shí)的適應(yīng)網(wǎng)頁結(jié)構(gòu)的變化,使得后期維護(hù)成本較大。Web網(wǎng)頁的異構(gòu)特點(diǎn)對現(xiàn)有的基于規(guī)則學(xué)習(xí)的包裝器網(wǎng)頁解析技術(shù)也提出了新的挑戰(zhàn)。本文將著重對新聞網(wǎng)頁正文的智能化解析技術(shù)展開研究,結(jié)合新聞網(wǎng)頁結(jié)構(gòu)特點(diǎn)、新聞文本標(biāo)簽特點(diǎn)以及Web新聞文本采集的需求,提出能夠智能適應(yīng)網(wǎng)頁結(jié)構(gòu)變化和通用于各門戶新聞網(wǎng)頁的正文提取方法。本文主要貢獻(xiàn)如下：(1)提出基于文本標(biāo)簽特征挖掘的網(wǎng)頁正文提取方法。該方法主要挖掘網(wǎng)頁樹結(jié)構(gòu)特性、正文標(biāo)簽的中心性、正文標(biāo)簽連續(xù)性、正文標(biāo)簽層次性和Html修飾標(biāo)簽特征等特點(diǎn),運(yùn)用層次聚類算法對標(biāo)簽進(jìn)行聚類,對標(biāo)簽簇進(jìn)行權(quán)值計(jì)算及經(jīng)驗(yàn)性調(diào)整確定最終的網(wǎng)頁正文標(biāo)簽簇,然后為實(shí)現(xiàn)新聞文本采集過程中盡可能多的采集新聞網(wǎng)頁的文本信息,在文本標(biāo)簽特征挖掘的網(wǎng)頁正文提取方法中增加一種適用于新聞文本采集的非新聞網(wǎng)頁自識(shí)別方法：最后再通過正文標(biāo)簽簇提取網(wǎng)頁正文。(2)提出基于智能模版的新聞網(wǎng)頁正文提取方法。該方法避免人工配置網(wǎng)頁解析模版的過程,而是根據(jù)各個(gè)門戶新聞網(wǎng)頁結(jié)構(gòu)的特點(diǎn),運(yùn)用上文文本標(biāo)簽特征挖掘方法對站內(nèi)大量新聞網(wǎng)頁進(jìn)行特征學(xué)習(xí),進(jìn)而自動(dòng)學(xué)習(xí)出網(wǎng)頁解析模版參數(shù),最后根據(jù)模版信息對該網(wǎng)站內(nèi)網(wǎng)頁進(jìn)行正文提取。綜上所述,運(yùn)用實(shí)際網(wǎng)頁對本文提出的網(wǎng)頁正文提取方法進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果不僅驗(yàn)證了本文提出的方法在Web新聞文本采集中的可行性和高準(zhǔn)確率,也驗(yàn)證了本文方法在網(wǎng)頁正文提取方面的通用性和智能化。
【關(guān)鍵詞】：網(wǎng)頁正文提取 標(biāo)簽特征 非新聞網(wǎng)頁自識(shí)別 智能模版 機(jī)器學(xué)習(xí)
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP393.092;TP391.1
【目錄】：

• 摘要5-6
• ABSTRACT6-13
• 主要術(shù)語對照表13-14
• 第一章 緒論14-18
• 1.1 研究背景及意義14-15
• 1.2 研究現(xiàn)狀15-16
• 1.3 本文研究內(nèi)容16
• 1.4 本文章節(jié)安排16-18
• 第二章 新聞文本采集相關(guān)技術(shù)18-28
• 2.1 網(wǎng)絡(luò)爬蟲相關(guān)技術(shù)18-21
• 2.1.1 網(wǎng)絡(luò)爬蟲策略18-20
• 2.1.2 網(wǎng)絡(luò)爬蟲分類20-21
• 2.2 新聞網(wǎng)頁正文提取技術(shù)21-26
• 2.3 非新聞網(wǎng)頁自識(shí)別技術(shù)26-27
• 2.4 本章小結(jié)27-28
• 第三章 基于文本標(biāo)簽特征挖掘的網(wǎng)頁正文提取方法28-61
• 3.1 方法思想及流程介紹28-30
• 3.2 網(wǎng)頁源碼預(yù)處理及修復(fù)30-34
• 3.2.1 HTML語言標(biāo)準(zhǔn)及特點(diǎn)分析30-31
• 3.2.2 文本標(biāo)簽預(yù)處理31-33
• 3.2.3 標(biāo)簽修復(fù)及轉(zhuǎn)義字符處理33-34
• 3.3 文本標(biāo)簽特征選取及標(biāo)簽聚類34-43
• 3.3.1 文本標(biāo)簽特征工程34-36
• 3.3.2 文本標(biāo)簽特征提取方法36-39
• 3.3.3 文本標(biāo)簽特征向量及權(quán)重選擇39-40
• 3.3.4 文本標(biāo)簽挖掘算法及選擇40-43
• 3.4 正文簇選擇及標(biāo)簽經(jīng)驗(yàn)性調(diào)整43-49
• 3.4.1 初選正文簇選擇策略43-45
• 3.4.2 正文簇經(jīng)驗(yàn)性調(diào)整45-49
• 3.5 非新聞網(wǎng)頁自識(shí)別及文本提取49-54
• 3.5.1 非新聞網(wǎng)頁自識(shí)別方法49-52
• 3.5.2 非新聞網(wǎng)頁自識(shí)別方法實(shí)驗(yàn)及分析52-53
• 3.5.3 正文簇標(biāo)簽文本提取53-54
• 3.6 實(shí)驗(yàn)及方法性能評估54-60
• 3.6.1 性能評估指標(biāo)與實(shí)驗(yàn)數(shù)據(jù)集54-55
• 3.6.2 正文提取效果展示55-57
• 3.6.3 實(shí)驗(yàn)結(jié)果及評估分析57-60
• 3.7 本章小節(jié)60-61
• 第四章 基于智能模版的新聞網(wǎng)頁正文提取方法61-74
• 4.1 方法思想及流程介紹61-63
• 4.2 網(wǎng)頁解析模版自動(dòng)生成方法63-67
• 4.2.1 網(wǎng)頁源碼結(jié)構(gòu)分析63-64
• 4.2.2 網(wǎng)頁正文標(biāo)簽塊信息挖掘64-65
• 4.2.3 模版參數(shù)獲取65-67
• 4.3 基于模版參數(shù)解析網(wǎng)頁67-69
• 4.4 實(shí)驗(yàn)及性能評估69-73
• 4.4.1 實(shí)驗(yàn)及數(shù)據(jù)集簡介69-70
• 4.4.2 實(shí)驗(yàn)測評標(biāo)準(zhǔn)70-71
• 4.4.3 實(shí)驗(yàn)結(jié)果與分析71-73
• 4.5 本章小結(jié)73-74
• 第五章 總結(jié)與展望74-76
• 5.1 工作總結(jié)74-75
• 5.2 工作的不足與展望75-76
• 致謝76-77
• 參考文獻(xiàn)77-79
• 攻讀碩士學(xué)位期間取得的研究成果79

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 孫發(fā)友;;簡論新聞文本的消費(fèi)[J];當(dāng)代傳播;2008年05期

2 譚志紅;李鐵錘;;新聞文本的特性分析[J];傳媒觀察;2009年08期

3 張振華;;新聞文本的“熟悉”特性[J];新聞愛好者;2010年06期

4 覃嵐;;解釋學(xué)視野中新聞文本的存在態(tài)勢[J];當(dāng)代傳播;2011年06期

5 喻國偉;新聞文本空白研究[J];柳州師專學(xué)報(bào);1996年03期

6 信險(xiǎn)峰;;新聞界理應(yīng)明晰的兩個(gè)概念:新聞與新聞文本[J];南方電視學(xué)刊;2014年01期

7 楊保軍;新聞文本的價(jià)值屬性[J];當(dāng)代傳播;2003年06期

8 閻智凱;;淺析網(wǎng)絡(luò)新聞文本的構(gòu)型[J];新聞傳播;2003年05期

9 楊保軍;新聞文本的個(gè)性特征[J];當(dāng)代傳播;2004年02期

10 賀建平;新聞文本的多義性解讀[J];當(dāng)代傳播;2004年02期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前2條

1 賀春祿;;報(bào)紙科技新聞文本的受眾解讀[A];中國科技新聞學(xué)會(huì)第九次學(xué)術(shù)年會(huì)論文集[C];2007年

2 陶建杰;;臺(tái)灣主流報(bào)紙對“嫦娥一號”的報(bào)道研究——以新聞文本框架建構(gòu)為視角[A];中國傳媒大學(xué)第二屆全國新聞學(xué)與傳播學(xué)博士生學(xué)術(shù)研討會(huì)論文集[C];2008年

中國重要報(bào)紙全文數(shù)據(jù)庫 前1條

1 董天策 暨南大學(xué)新聞學(xué)院教授;多研讀新聞文本[N];中華新聞報(bào);2005年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 孫發(fā)友;新聞文本顯性狀態(tài)及其潛在張力[D];華中科技大學(xué);2007年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 陳[V川;論客觀性與傾向性統(tǒng)一的新聞文本建構(gòu)策略[D];西北師范大學(xué);2015年

2 于暢;BBC新聞文本漢譯復(fù)雜句式重構(gòu)實(shí)踐報(bào)告[D];遼寧師范大學(xué);2015年

3 侯中熙;融合新聞要素的漢—泰雙語新聞文本相似度計(jì)算方法研究[D];昆明理工大學(xué);2016年

4 陳西安;智能Web新聞文本采集方法研究[D];電子科技大學(xué);2016年

5 傅茜;新聞文本歧視研究[D];中央民族大學(xué);2010年

6 張仕東;新聞文本的“熟悉”特性分析[D];河北大學(xué);2005年

7 韓青芩;新聞文本的詩性特征探究[D];西南大學(xué);2015年

8 黃璀;意義的建構(gòu)與流通：基于新聞文本的網(wǎng)絡(luò)流行語研究[D];暨南大學(xué);2010年

9 尤建清;中文新聞文本傾向性分析研究[D];北京信息科技大學(xué);2015年

10 李瑞芳;框架與新聞文本之建構(gòu)[D];江西師范大學(xué);2007年

  本文關(guān)鍵詞：智能Web新聞文本采集方法研究，由筆耕文化傳播整理發(fā)布。

本文編號：454817