隨著計算機的發(fā)展,人們與互聯(lián)網的聯(lián)系日益密切,與此同時,垃圾網頁層出不窮,欺騙搜索引擎,影響用戶的上網體驗,成為影響互聯(lián)網環(huán)境的一大因素。介紹了垃圾網頁的概念,探究了垃圾網頁常用的作弊手段與檢測方法,垃圾網頁常通過內容作弊與鏈接作弊以提高自身在搜索引擎中的重要性,現(xiàn)有算法可分為基于內容的檢測算法與基于鏈接的檢測算法以及其他。對于基于鏈接的垃圾網頁檢測算法,提出了一種改進算法。首先分析了現(xiàn)有算法的一些不足,網頁在傳播評分時以出度或入度平均分配分數,未有效處理垃圾網頁通過各種方法指向高評分網頁或被高評分網頁指向的情況。針對這些不足,為每個鏈接賦予了一定權重,使得網頁在傳播分數時與鏈接權重相關,權重越大的鏈接所能傳播的分數越高。出鏈作弊是指垃圾網頁通過指向大量高評分網頁以提升分數,但這一行為會得到區(qū)分識別。入鏈作弊是指垃圾網頁通過將高評分網頁指向自身,以獲得來自高評分網頁的分數,提出的算法使得高評分網頁鏈接到低評分網頁時也能受低評分網頁影響導致自身評分下降。最后證明了所提出算法的收斂性。基于WEBSPAM-UK2006與WEBSPAM-UK2007數據集的實驗,在不同實驗指標下對比了PageRank,TrustRank以及Trust-Distrust Rank算法,結果表明提出的垃圾網頁檢測算法能有效地降低垃圾網頁在全部網頁中的排名,提高垃圾網頁的檢測效果。
【學位單位】：華中科技大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：TP393.092
【部分圖文】：

圖 4.1 UK2006 Spam Factor頁數量桶結果如表 4.3 所示。表 4.3 UK2006 每個桶的垃圾網頁數量桶垃圾網數量LinkWeightRank PageRank TrustRank T1 0 15 0 2 0 33 0 3 2 114 3 4 0 155 2 5 0 49 15 6 4 52 38 7 10 65 63 8 11 34 98 9 23 71 72 10 35 60 91 11 88 69 126 12 113 65 130 13 125 96 157

32圖 4.2 UK2006 每個桶的垃圾網頁數量從圖 4.2 中可以看到，在 1-4 桶中，LinkWeightRank、TrustRank、T-Rank 的垃圾網頁數量均較少，基本接近 0，而 PageRank 的垃圾網頁數量相對較多，即使在數量最少的 1 號桶也有 15 個垃圾網頁。從第 5 桶開始，LinkWeightRank 與 TrustRank和 T-Rank 的差距開始增大，LinkWeightRank 在 5-14 桶依然保持最低的垃圾網頁數量

1 0 15 0 2 0 48 0 3 2 162 3 4 2 317 5 5 2 366 20 16 6 418 58 47 16 483 121 18 27 517 219 19 50 588 291 210 85 648 382 311 173 717 508 412 286 782 638 513 411 878 795 714 525 984 953 815 739 1128 1149 1016 1000 1312 1302 1217 1236 1517 1449 1318 1343 1740 1624 1519 1592 1870 1831 1720 1924 1924 1924 19

【相似文獻】

相關期刊論文 前10條

1 程寬桐;算法分類及各種基本算法的比較與優(yōu)選(上)[J];齊魯珠壇;1996年04期

2 劉培;池忠軍;;算法歧視的倫理反思[J];自然辯證法通訊;2019年10期

3 孫建麗;;算法自動化決策風險的法律規(guī)制研究[J];法治研究;2019年04期

4 吳珍珍;;基于分類規(guī)則算法對存款意愿傾向的研究[J];石河子科技;2018年02期

5 唐璐楊;唐小妹;李柏渝;劉小匯;;多源融合導航系統(tǒng)的融合算法綜述[J];全球定位系統(tǒng);2018年03期

6 周祉含;;西方新聞傳播學的算法研究綜述[J];新聞愛好者;2019年04期

7 趙春杰;;算法共謀的規(guī)制思路[J];市場周刊;2019年07期

8 金爽;;基于標簽傳播的社區(qū)發(fā)現(xiàn)算法研究與應用[J];電腦迷;2018年01期

9 孫建麗;;試論算法的法律保護模式[J];電子知識產權;2019年06期

10 程寬桐;算法分類及各種基本算法的比較與優(yōu)選（下）[J];齊魯珠壇;1996年05期

相關會議論文 前1條

1 李鐵山;張錦;王東;陳波;;傳感器網絡中容錯路由算法分類研究[A];全國第16屆計算機科學與技術應用（CACIS）學術會議論文集[C];2004年

相關博士學位論文 前7條

1 高陽;基于局部擴展的重疊社區(qū)發(fā)現(xiàn)算法研究[D];哈爾濱工業(yè)大學;2019年

2 賈潔茹;跨攝像機行人再識別中度量學習算法研究[D];北京交通大學;2019年

3 翟婷婷;面向流數據分類的在線學習算法研究[D];南京大學;2018年

4 段沛博;分布式約束優(yōu)化算法的研究與應用[D];東北大學;2017年

5 羅春備;面向多尺度復雜場景的高效電磁仿真算法研究[D];浙江大學;2019年

6 邵彥超;油氣井安全生產監(jiān)控數據預測預警系統(tǒng)及算法研究[D];北京郵電大學;2016年

7 劉瓊;鄉(xiāng)村道路環(huán)境下農業(yè)機器人導航避障算法研究[D];西北農林科技大學;2017年

相關碩士學位論文 前10條

1 王強強;基于特征篩選腦電睡眠分期算法研究[D];重慶郵電大學;2019年

2 王們;有序學習算法及其在成績預測中的應用[D];南京師范大學;2019年

3 朱小祥;基于社會網絡的社區(qū)發(fā)現(xiàn)算法研究[D];南京航空航天大學;2019年

4 王樂;基于DT-SVM的校園霸凌檢測算法[D];哈爾濱工業(yè)大學;2019年

5 項耀軍;基于深度學習的商標檢測算法研究[D];哈爾濱工業(yè)大學;2018年

6 楊子奇;面向大規(guī)模數據分類問題的監(jiān)督學習算法研究與并行應用[D];哈爾濱工業(yè)大學;2018年

7 謝天;基于圖的偏標記學習算法研究[D];戰(zhàn)略支援部隊信息工程大學;2019年

8 肖萍;大規(guī)模MIMO系統(tǒng)的低復雜度檢測算法研究[D];西安電子科技大學;2019年

9 周姜煒;基于鏈接權重的垃圾網頁檢測算法研究[D];華中科技大學;2019年

10 李明洋;基于密度聚類算法的若干改進及應用研究[D];吉林財經大學;2019年

本文編號：2815603