發(fā)布時(shí)間：2020-05-23 15:38

【摘要】：隨著信息技術(shù)的發(fā)展,每天會(huì)都產(chǎn)生數(shù)以萬(wàn)計(jì)的網(wǎng)頁(yè)信息。這些網(wǎng)頁(yè)除了提供有價(jià)值的正文內(nèi)容信息外,還會(huì)附帶廣告或鏈接等無(wú)用信息。一方面,這些垃圾信息會(huì)干擾用戶獲取有效信息的效率,影響閱讀體驗(yàn);另一方面,垃圾信息中包含的無(wú)用文字可能會(huì)被搜索引擎作為索引關(guān)鍵字,導(dǎo)致搜索引擎得出錯(cuò)誤結(jié)論,給用戶錯(cuò)誤反饋�；贒OM樹(shù)解析-模板方式是當(dāng)下流行的網(wǎng)頁(yè)正文提取算法,能夠很好完成分類任務(wù)。由于網(wǎng)站的網(wǎng)頁(yè)結(jié)構(gòu)經(jīng)常性改變,其需要不斷監(jiān)測(cè)網(wǎng)頁(yè)結(jié)構(gòu),后期的維護(hù)帶來(lái)了很大困難。本文通過(guò)研究網(wǎng)頁(yè)結(jié)構(gòu),提出了基于IQABC(improved quickly artificial bee colony)改進(jìn)的DBSCAN網(wǎng)頁(yè)正文提取算法。本文主要工作與成果如下:(1)本文提出了一種全新的ABC算法,稱為改進(jìn)的快速ABC算法(IQABC),通過(guò)改進(jìn)輪盤賭選擇機(jī)制,在保持種群多樣性的同時(shí)避免陷入局部最優(yōu),并且通過(guò)自適應(yīng)步長(zhǎng)改變了雇傭蜂消耗最佳食物來(lái)源,平衡了全局與局部的搜索能力,加快了后期的收斂速度。通過(guò)改進(jìn)后的IQABC算法尋找的全局最優(yōu)參數(shù),作為DBSCAN算法的輸入得到了優(yōu)化后的IQABC-DBSCAN算法。(2)通過(guò)研究現(xiàn)有的主流網(wǎng)頁(yè)正文提取算法的思想,指出了現(xiàn)有的主流算法通用性不足的缺點(diǎn),提出了基于iqABC-DBSCAN網(wǎng)頁(yè)正文提取算法。通過(guò)實(shí)驗(yàn)驗(yàn)證了iqABC算法相對(duì)于ABC和qABC算法有更快的收斂速度以及更好的收斂精度。并驗(yàn)證了使用基于iqABC-DBSCAN對(duì)網(wǎng)頁(yè)進(jìn)行正文內(nèi)容提取的算法可以更加準(zhǔn)確的提取出網(wǎng)頁(yè)的正文內(nèi)容,并且通過(guò)虛詞過(guò)濾器可以解決單個(gè)網(wǎng)頁(yè)多個(gè)正文的特殊情況,從而取得很好的提取效果。
【圖文】：

武漢郵電科學(xué)研究院碩士學(xué)位論文算法產(chǎn)生的平均最佳目標(biāo)函數(shù)值，，特別是對(duì)于前 2,000 次評(píng)估。如果優(yōu)化的問(wèn)題需要快速的結(jié)果，IQABC 算法的求解能力變得更加明顯。

算法產(chǎn)生的平均最佳目標(biāo)函數(shù)值，特別是對(duì)于前 2,000 次評(píng)估。如果優(yōu)化的問(wèn)題需要快速的結(jié)果，IQABC 算法的求解能力變得更加明顯。圖 3-1 Ackley 函數(shù)收斂性
【學(xué)位授予單位】：武漢郵電科學(xué)研究院
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.1;TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 宋董飛;徐華;;DBSCAN算法研究及并行化實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2018年24期

2 寧建飛;;基于spark框架的DBSCAN文本聚類算法[J];汕頭大學(xué)學(xué)報(bào)(自然科學(xué)版);2018年02期

3 李贊;王朝霞;隋昊;;基于DBSCAN算法的機(jī)場(chǎng)體系劃分方法研究[J];兵器裝備工程學(xué)報(bào);2018年10期

4 張曉;;基于并查集的DBSCAN算法設(shè)計(jì)[J];伊犁師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2014年04期

5 許芳芳;;一種結(jié)合蟻群聚類算法的DBSCAN算法[J];池州學(xué)院學(xué)報(bào);2014年06期

6 金棟;文志信;吳天昊;;DBSCAN算法在通信電臺(tái)關(guān)聯(lián)上的應(yīng)用[J];艦船電子工程;2011年06期

7 金棟;文志信;吳天昊;;DBSCAN算法在通信電臺(tái)關(guān)聯(lián)上的應(yīng)用[J];國(guó)防科技;2011年03期

8 岳士弘,李平,郭繼東,周水庚;Using Greedy algorithm: DBSCAN revisited II[J];Journal of Zhejiang University Science;2004年11期

9 魯飛;王任;翁維波;陳明;涂志龍;;DBSCAN算法在無(wú)線網(wǎng)絡(luò)優(yōu)化中的應(yīng)用[J];移動(dòng)通信;2018年12期

10 熊回香;葉佳鑫;蔣武軒;;改進(jìn)的DBSCAN聚類算法在社會(huì)化標(biāo)注中的應(yīng)用[J];數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn);2018年12期

相關(guān)會(huì)議論文 前10條

1 朵春紅;王翠茹;;基于取樣的DBSCAN聚類算法及其遺傳優(yōu)化[A];第一屆中國(guó)高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2007年

2 王李_g;孫斌;;基于改進(jìn)的DBSCAN聚類算法的云任務(wù)調(diào)度策略研究[A];2016年全國(guó)通信軟件學(xué)術(shù)會(huì)議程序冊(cè)與交流文集[C];2016年

3 王紀(jì)凱;Chen Zong-hai;;A Novel Line Segments Extraction Algorithm Based on DBSCAN Method[A];第19屆中國(guó)系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)年會(huì)論文集（19th CCSSTA 2018）[C];2018年

4 馬帥;宋國(guó)杰;唐世渭;楊冬青;王騰蛟;;基于單元?jiǎng)澐值腄BSCAN聚類算法[A];第十九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

5 宮蕊;舒紅平;郭遠(yuǎn)遠(yuǎn);;基于DBSCAN的密度聚類算法的研究[A];2008'中國(guó)信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（二）[C];2008年

6 龐洋;李海林;郭義喜;;基于DBSCAN算法的日志信息聚類研究[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國(guó)第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2007年

7 Yi-Chun Xu;Man Zhu;Zunhai Ke;Yong Liu;Suifa Sun;;Isolating Ships from Shape Curve with DBSCAN[A];第25屆中國(guó)控制與決策會(huì)議論文集[C];2013年

8 張健沛;許慧;楊靜;崔洪晶;;基于數(shù)據(jù)分區(qū)、QR~*-樹(shù)的并行DBSCAN算法[A];2006北京地區(qū)高校研究生學(xué)術(shù)交流會(huì)——通信與信息技術(shù)會(huì)議論文集（下）[C];2006年

9 ZhenYao Zhang;JianYing Zheng;Xiang Wang;XueLiang Fan;;Background Filtering and Vehicle Detection with Roadside Lidar Based on Point Association[A];第37屆中國(guó)控制會(huì)議論文集（E）[C];2018年

10 范曄;周水庚;曹晶;周傲英;;通過(guò)數(shù)據(jù)取樣擴(kuò)展基于密度的聚類算法[A];第十六屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集[C];1999年

相關(guān)博士學(xué)位論文 前5條

1 李群;主題搜索引擎聚類算法的研究[D];北京林業(yè)大學(xué);2011年

2 孫志偉;空間數(shù)據(jù)聚類的研究[D];天津大學(xué);2007年

3 張樹(shù)凱;基于數(shù)據(jù)驅(qū)動(dòng)的無(wú)人船艇航線自動(dòng)生成[D];大連海事大學(xué);2016年

4 任亞洲;高維數(shù)據(jù)上的聚類方法研究[D];華南理工大學(xué);2014年

5 鄭曉峰;道路運(yùn)輸信息系統(tǒng)的數(shù)據(jù)挖掘方法研究與應(yīng)用[D];華南理工大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 洪鴻輝;基于IQABC改進(jìn)的DBSCAN網(wǎng)頁(yè)正文提取算法研究[D];武漢郵電科學(xué)研究院;2019年

2 普蓉;基于網(wǎng)格和密度比的DBSCAN算法研究[D];遼寧大學(xué);2018年

3 秦佳睿;DBSCAN聚類算法的改進(jìn)及在數(shù)據(jù)分析系統(tǒng)中的應(yīng)用[D];長(zhǎng)沙理工大學(xué);2017年

4 譚天;基于DBSCAN聚類的證據(jù)融合方法研究[D];湖南大學(xué);2018年

5 朱子龍;基于Spark的聚類算法實(shí)現(xiàn)與應(yīng)用[D];南京郵電大學(xué);2018年

6 高玉強(qiáng);DBSCAN算法研究及其在專利文本推薦系統(tǒng)中的應(yīng)用[D];河北工業(yè)大學(xué);2016年

7 陳碧麗;基于DBSCAN聚類算法的廈門島內(nèi)餐飲集群識(shí)別與集群空間特征研究[D];廈門大學(xué);2017年

8 董一強(qiáng);基于DBSCAN改進(jìn)算法的時(shí)空軌跡聚類分析與研究[D];天津大學(xué);2018年

9 劉勇;基于DBSCAN的空間聚類算法研究與實(shí)現(xiàn)[D];云南大學(xué);2017年

10 吳俊;基于DBSCAN和LOF的網(wǎng)絡(luò)入侵異常檢測(cè)算法優(yōu)化研究[D];福州大學(xué);2017年

本文編號(hào)：2677570