本文關(guān)鍵詞：商業(yè)搜索引擎的點擊欺詐問題研究，由筆耕文化傳播整理發(fā)布。

《廣東工業(yè)大學(xué)》 2011年

Web挖掘在檢測網(wǎng)絡(luò)廣告欺詐行為中的研究與應(yīng)用

李愛春  

【摘要】：隨著互聯(lián)網(wǎng)的發(fā)展,網(wǎng)絡(luò)廣告已經(jīng)成為一種新的市場推廣手段。各行各業(yè)的市場人員通過多姿多彩的網(wǎng)絡(luò)廣告宣傳自己的產(chǎn)品和品牌的同時,也為這些廣告支付廣告費用,其中按點擊付費廣告是目前互聯(lián)網(wǎng)界簡單易行且流行的廣告計費方式,它以每次網(wǎng)頁上的廣告被點擊并連接到相關(guān)網(wǎng)站或者詳細內(nèi)容頁面為基準的網(wǎng)絡(luò)廣告收費模式。點擊欺詐(Click Fraud)存在于網(wǎng)絡(luò)廣告的按點擊付費模式中,當(dāng)一個人對廣告本身沒有興趣,而只是為了某種利益,采取手動或者利用計算機程序的方式模仿正常用戶點擊廣告時,點擊欺詐便產(chǎn)生了。點擊欺詐的出現(xiàn)和泛濫,極大地危害了互聯(lián)網(wǎng)的健康發(fā)展。 本文主要是研究Web挖掘應(yīng)用于網(wǎng)絡(luò)廣告中的點擊欺詐,針對國內(nèi)外有關(guān)點擊欺詐檢測方法進行深入研究,結(jié)合Web挖掘的離群點挖掘、多元線性分析、時序分析等算法,設(shè)計了一套基于Web挖掘的網(wǎng)絡(luò)廣告欺詐點擊檢測模型,同時系統(tǒng)地介紹了該模型的檢測體系。此檢測體系分為兩大步：初步評估、評估修正。初步評估主要是根據(jù)當(dāng)前點擊流和短時間內(nèi)點擊流進行分析,然后給出此點擊的初步評估分,并反饋到前臺。評估修正主要的工作是利用Web挖掘技術(shù)對初步評估進行修正和預(yù)測。在數(shù)據(jù)處理上,首先對數(shù)據(jù)進行預(yù)處理,由于采集過來的數(shù)據(jù)屬性標(biāo)識的很明確,我們需要做的有數(shù)據(jù)清洗、會話識別、屬性選擇、格式轉(zhuǎn)換、歸一化等操作,但由于我們采集的數(shù)據(jù)集有服務(wù)器日志和腳本點擊流兩部分組成,所以我們還需要完成數(shù)據(jù)整合的任務(wù),同時還要完成數(shù)據(jù)補充和校對的功能。在算法上,首先分離出離群點,然后對這些離群點單獨分析,而對于新進來的數(shù)據(jù)我們需要結(jié)合歷史數(shù)據(jù)集進行多元線性回歸分析,從而預(yù)測出可能是點擊欺詐行為的數(shù)據(jù),通過修正初步評估分把預(yù)測結(jié)果反饋到前臺。前臺是相對于服務(wù)器而言的,包括網(wǎng)站主、廣告主和廣告聯(lián)盟。 通過本文涉及的點擊欺詐檢測模型能有效檢測或屏蔽各類點擊欺詐行為,有效屏蔽無意識的無效點擊,并且在不影響廣告展示速度的基礎(chǔ)上顯著提高檢測點擊欺詐的效率。本文通過多組實驗對檢測模型進行了測試,并對實驗結(jié)果進行了對比和分析。實驗結(jié)果也表明,本文提出的解決方案可以有效檢測采用手動或者利用計算機自動點擊程序的方法模仿正常用戶進行點擊欺詐的行為,從而證明了該模型的可行性和方案的有效性。 本文最后對論文闡述的內(nèi)容做了簡要總結(jié),針對欺詐點擊檢測的發(fā)展趨勢和發(fā)展方向做出展望,對本文的檢測腳本、用戶識別、挖掘算法、后續(xù)分析等不足之處進行了分析探討,這些都將成為下一步繼續(xù)研究的工作重點。

【關(guān)鍵詞】：
【學(xué)位授予單位】：廣東工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2011
【分類號】：TP393.09
【目錄】：

摘要4-6

ABSTRACT6-14

第一章 緒論14-18

1.1 引言14-15

1.2 當(dāng)前研究現(xiàn)狀15-16

1.3 論文主要內(nèi)容及章節(jié)安排16-18

第二章 Web挖掘與網(wǎng)絡(luò)廣告18-32

2.1 數(shù)據(jù)挖掘18-23

2.1.1 數(shù)據(jù)挖掘定義18-19

2.1.2 數(shù)據(jù)挖掘分類19-21

2.1.3 數(shù)據(jù)挖掘的一般流程21-23

2.2 Web挖掘23-28

2.2.1 Web挖掘定義23-24

2.2.2 Web挖掘分類24-26

2.2.3 Web挖掘的一般流程26-28

2.3 網(wǎng)絡(luò)廣告28-30

2.3.1 網(wǎng)絡(luò)廣告定義28-29

2.3.2 網(wǎng)絡(luò)廣告分類29

2.3.3 網(wǎng)絡(luò)廣告存在的問題29-30

2.4 小結(jié)30-32

第三章 欺詐點擊檢測模型32-36

3.1 網(wǎng)絡(luò)廣告流程32-33

3.2 檢測體系33-35

3.2.1 體系概述33-34

3.2.2 數(shù)據(jù)采集34

3.2.3 初步評估34

3.2.4 評估修正34-35

3.2.5 數(shù)據(jù)存儲35

3.2.6 信息反饋35

3.3 小結(jié)35-36

第四章 數(shù)據(jù)集及預(yù)處理36-43

4.1 數(shù)據(jù)集36-37

4.2 預(yù)處理37-42

4.2.1 數(shù)據(jù)補充和校對38-40

4.2.2 數(shù)據(jù)清洗40

4.2.3 會話識別40-41

4.2.4 屬性選擇41

4.2.5 格式轉(zhuǎn)換41-42

4.2.6 歸一化42

4.3 小結(jié)42-43

第五章 檢測模塊43-53

5.1 點擊流初步評估43-45

5.2 點擊流評估修正45-52

5.2.1 離群點檢測45-49

5.2.2 多元線性回歸分析49-52

5.3 小結(jié)52-53

第六章 實驗及數(shù)據(jù)分析53-57

6.1 實驗環(huán)境53

6.2 實驗結(jié)果及分析53-56

6.2.1 點擊流初步評估53-55

6.2.2 點擊流評估校對55-56

6.3 小結(jié)56-57

總結(jié)與展望57-60

結(jié)論57

未來工作展望57-59

小結(jié)59-60

參考文獻60-64

攻讀學(xué)位期間發(fā)表論文64-67

致謝67

下載全文 更多同類文獻

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【引證文獻】

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 蘇青章;社會網(wǎng)絡(luò)多策略視頻推薦系統(tǒng)研究與設(shè)計[D];廣東工業(yè)大學(xué);2012年

2 王辛;基于密度的職位可信度挖掘[D];暨南大學(xué);2013年

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王惠文;孟潔;;多元線性回歸的預(yù)測建模方法[J];北京航空航天大學(xué)學(xué)報;2007年04期

2 江峰;杜軍威;眭躍飛;曹存根;;基于邊界和距離的離群點檢測[J];電子學(xué)報;2010年03期

3 陳光平;葉東毅;;一種改進的離群點檢測方法[J];福州大學(xué)學(xué)報(自然科學(xué)版);2007年03期

4 張寧;;離群點檢測算法研究[J];桂林電子科技大學(xué)學(xué)報;2009年01期

5 于浩;王斌;肖剛;楊曉春;;基于距離的不確定離群點檢測[J];計算機研究與發(fā)展;2010年03期

6 胡彩平;秦小麟;;一種基于密度的局部離群點檢測算法DLOF[J];計算機研究與發(fā)展;2010年12期

7 樊紀香;張宏;李輝;王兵團;;BP網(wǎng)絡(luò)和多元線性回歸在產(chǎn)量預(yù)測中的應(yīng)用[J];計算機工程與應(yīng)用;2007年23期

8 李學(xué)俊;李龍澍;徐怡;;基于粗糙集的Web用戶行為預(yù)測研究[J];計算機工程與應(yīng)用;2008年13期

9 曾穎;羅可;鄒瑞芝;;基于K-均值聚類和凝聚聚類的離群點查找方法[J];計算機工程與應(yīng)用;2009年29期

10 任仲晟;薛永生;;基于頁面標(biāo)簽的Web結(jié)構(gòu)化數(shù)據(jù)抽取[J];計算機科學(xué);2007年10期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前6條

1 韓紅霞;基于距離離群點的分析與研究[D];江蘇大學(xué);2007年

2 紀永鳳;灰多元線性回歸分析及其應(yīng)用研究[D];東北師范大學(xué);2008年

3 連鳳娜;離群點挖掘及其內(nèi)涵知識發(fā)現(xiàn)研究[D];廈門大學(xué);2008年

4 姚林;離群點快速挖掘算法的研究[D];江蘇大學(xué);2008年

5 舒正勇;商業(yè)搜索引擎的點擊欺詐問題研究[D];遼寧師范大學(xué);2008年

6 王雪英;離群點預(yù)處理及檢測算法研究[D];西南交通大學(xué);2009年

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 干娟;;基于決策樹算法的學(xué)生綜合測評系統(tǒng)的設(shè)計[J];安徽電子信息職業(yè)技術(shù)學(xué)院學(xué)報;2011年04期

2 李玲玲;辛浩;;FCM算法及其有效性度量方法[J];安徽電子信息職業(yè)技術(shù)學(xué)院學(xué)報;2011年05期

3 李雋波;孫麗娜;;基于多元線性回歸分析的冷鏈物流需求預(yù)測[J];安徽農(nóng)業(yè)科學(xué);2011年11期

4 郭有強;胡學(xué)鋼;;基于項目增長法高效求解最大頻繁項集[J];安徽科技學(xué)院學(xué)報;2006年06期

5 張友志;錢萌;程玉勝;;基于關(guān)聯(lián)規(guī)則web日志挖掘方法的研究[J];安慶師范學(xué)院學(xué)報(自然科學(xué)版);2006年01期

6 曹丹陽;李晉宏;魏金強;張艷芳;;基于決策樹的英語四級成績分析[J];北方工業(yè)大學(xué)學(xué)報;2007年01期

7 鐘雁;郭雨松;;數(shù)據(jù)挖掘技術(shù)在鐵路貨運客戶細分中的應(yīng)用[J];北京交通大學(xué)學(xué)報;2008年03期

8 黃江濤,劉自偉,黃曉芳;用于數(shù)據(jù)挖掘的多維數(shù)據(jù)可視化技術(shù)[J];兵工自動化;2005年03期

9 左偉;馮金富;張佳強;;制導(dǎo)彈藥允許發(fā)射區(qū)參數(shù)模型設(shè)計[J];兵工學(xué)報;2011年05期

10 萬雅奇;侯亞榮;王勇;張書杰;;教育考試數(shù)據(jù)挖掘系統(tǒng)研究與實現(xiàn)[J];北京工業(yè)大學(xué)學(xué)報;2009年05期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 周炎濤;唐劍波;王家琴;;基于信息熵的改進TFIDF特征選擇算法[A];第二十六屆中國控制會議論文集[C];2007年

2 王玲;郭輝;付冬梅;;基于IGA-KPLS的鋼材淬透性預(yù)測建模[A];第二十九屆中國控制會議論文集[C];2010年

3 趙云鵬;石麗;劉瑩;;基于數(shù)據(jù)挖掘的高校規(guī)模分析及應(yīng)用研究[A];第九屆全國信息獲取與處理學(xué)術(shù)會議論文集Ⅰ[C];2011年

4 王皓;曹永鋒;孫洪;;基于流域變換的聚類分析[A];第十二屆全國信號處理學(xué)術(shù)年會（CCSP-2005）論文集[C];2005年

5 吳棟;張京華;王玉成;胡伍生;;前兆信息模型在地震預(yù)測中的應(yīng)用[A];數(shù)字測繪與GIS技術(shù)應(yīng)用研討交流會論文集[C];2008年

6 孟少朋;駱紅云;李盛;;基于數(shù)據(jù)挖掘的汽車可靠性分析方法研究[A];2007年全國失效分析學(xué)術(shù)會議論文集[C];2007年

7 楊紀軍;朱培棟;;關(guān)聯(lián)規(guī)則挖掘技術(shù)在蜜罐系統(tǒng)中的應(yīng)用[A];中國電子學(xué)會第十六屆信息論學(xué)術(shù)年會論文集[C];2009年

8 朱攀;陳躍新;;Apriori算法在參保人信用度評價中的應(yīng)用[A];2009年研究生學(xué)術(shù)交流會通信與信息技術(shù)論文集[C];2009年

9 張文東;袁春風(fēng);武港山;;基于視覺的網(wǎng)頁數(shù)據(jù)抽取[A];2009年研究生學(xué)術(shù)交流會通信與信息技術(shù)論文集[C];2009年

10 張敏;陸向艷;周敏;潘林琳;農(nóng)冬冬;王彬彬;陳曉江;;數(shù)據(jù)挖掘在智能題庫系統(tǒng)中的應(yīng)用[A];廣西計算機學(xué)會2004年學(xué)術(shù)年會論文集[C];2004年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 孟凡文;面向光柵投影的點云預(yù)處理與曲面重構(gòu)技術(shù)研究[D];南昌大學(xué);2010年

2 蘇曉珂;基于聚類的異常挖掘算法研究[D];東華大學(xué);2010年

3 王冬麗;基于可擴展的支持向量機分類算法及在信用評級中的應(yīng)用[D];東華大學(xué);2011年

4 張翔;文本挖掘技術(shù)研究及其在綜合風(fēng)險信息網(wǎng)絡(luò)中的應(yīng)用[D];西北大學(xué);2011年

5 倪同和;道路交通規(guī)劃關(guān)鍵指標(biāo)預(yù)測方法研究[D];吉林大學(xué);2011年

6 閆順林;多元擾動下的熱力系統(tǒng)能效分析模型及應(yīng)用研究[D];華北電力大學(xué)（北京）;2011年

7 歐海鷹;互聯(lián)網(wǎng)環(huán)境下在線廣告位置管理研究[D];北京郵電大學(xué);2011年

8 金海浩;五行相生間接補法古代應(yīng)用規(guī)律研究[D];南京中醫(yī)藥大學(xué);2011年

9 陳聆;地球化學(xué)礦致異常非線性分析方法研究[D];成都理工大學(xué);2011年

10 孟京輝;經(jīng)營單位級森林經(jīng)營數(shù)據(jù)倉庫研建及應(yīng)用研究[D];中國林業(yè)科學(xué)研究院;2011年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 蔡浩;基于Web使用挖掘的協(xié)同過濾推薦算法研究[D];浙江理工大學(xué);2010年

2 李翠;基于車輛自動識別的智能計重監(jiān)控系統(tǒng)的研究與設(shè)計[D];鄭州大學(xué);2010年

3 劉春燕;教學(xué)網(wǎng)絡(luò)DIDS數(shù)據(jù)分析方法的研究與改進[D];鄭州大學(xué);2010年

4 史文財;省級政務(wù)網(wǎng)安全檢測系統(tǒng)的設(shè)計與實現(xiàn)[D];哈爾濱工程大學(xué);2010年

5 尹麗玲;基于人工免疫算法的Web文本挖掘研究[D];哈爾濱工程大學(xué);2010年

6 李曉光;數(shù)據(jù)挖掘技術(shù)在高校招生和教務(wù)管理中的應(yīng)用[D];哈爾濱工程大學(xué);2010年

7 姜雪飛;基于SNMP的網(wǎng)絡(luò)安全態(tài)勢可視化技術(shù)[D];哈爾濱工程大學(xué);2010年

8 周東海;基于記賬憑證的高校教育成本數(shù)據(jù)挖掘研究[D];哈爾濱工程大學(xué);2010年

9 李紅;數(shù)據(jù)挖掘中特征選擇與聚類算法研究[D];大連理工大學(xué);2010年

10 姜榮;時間序列的聚類和關(guān)聯(lián)規(guī)則挖掘研究[D];遼寧師范大學(xué);2010年

【同被引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 田兆福;網(wǎng)絡(luò)招聘的現(xiàn)狀及應(yīng)注意的問題[J];商業(yè)研究;2004年09期

2 趙清斌;紀漢霖;劉東波;;我國網(wǎng)絡(luò)招聘產(chǎn)業(yè):發(fā)展現(xiàn)狀、趨勢與策略[J];商業(yè)研究;2012年09期

3 王世衛(wèi);李愛國;;基于SVM的報稅欺詐檢測[J];計算機工程;2006年09期

4 張克涵;吳迪;李愛國;宋保維;;基于貝葉斯分類器的報稅欺詐檢測[J];計算機仿真;2010年09期

5 黃洪宇;林甲祥;陳崇成;樊明輝;;離群數(shù)據(jù)挖掘綜述[J];計算機應(yīng)用研究;2006年08期

6 曾依靈;許洪波;白碩;;改進的OPTICS算法及其在文本聚類中的應(yīng)用[J];中文信息學(xué)報;2008年01期

7 肖可礫;熊輝;;運用數(shù)據(jù)挖掘技術(shù)檢測金融欺詐行為[J];金融電子化;2010年08期

8 吳曉穎;;基于博弈論的知識溢出效應(yīng)解構(gòu)及約束機制[J];情報雜志;2008年01期

9 安哲鋒;;國內(nèi)外網(wǎng)絡(luò)招聘研究進展綜述[J];上海商學(xué)院學(xué)報;2010年01期

10 李愛春;滕少華;;Web挖掘在網(wǎng)絡(luò)廣告點擊欺詐檢測中的應(yīng)用[J];計算機工程與設(shè)計;2012年03期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前4條

1 蔣斌;基于數(shù)據(jù)庫有限泄露機制的P3P隱私保護策略的研究[D];湖南大學(xué);2006年

2 吳婷;數(shù)據(jù)挖掘在信用卡欺詐識別上的應(yīng)用研究[D];東南大學(xué);2006年

3 周書勇;高維孤立點檢測算法研究[D];江蘇大學(xué);2007年

4 王燕霞;基于相關(guān)主題模型的文本分類方法研究[D];蘇州大學(xué);2010年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 林和平;劉丁慧;鮑乃源;;灰色相關(guān)分析及其應(yīng)用研究[J];吉林大學(xué)學(xué)報(信息科學(xué)版);2007年01期

2 金龍海,林和平;灰色系統(tǒng)的OOP實現(xiàn)[J];長春光學(xué)精密機械學(xué)院學(xué)報;1999年03期

3 趙姚陽;濮勵杰;胡曉添;;BP神經(jīng)網(wǎng)絡(luò)在城市建成區(qū)面積預(yù)測中的應(yīng)用——以江蘇省為例[J];長江流域資源與環(huán)境;2006年01期

4 程瑜蓉,郭雙冰;基于混沌時間序列分析的股票價格預(yù)測[J];電子科技大學(xué)學(xué)報;2003年04期

5 劉大峰;廖文和;戴寧;程筱勝;;散亂點云去噪算法的研究與實現(xiàn)[J];東南大學(xué)學(xué)報(自然科學(xué)版);2007年06期

6 李廣原,李文敬;一個基于屬性相似性的聚類分析方法[J];電腦與信息技術(shù);2002年04期

7 朱喜龍;劉洪久;;利用BP神經(jīng)網(wǎng)絡(luò)模型預(yù)測我國油氣管道的投資規(guī)模[J];大慶石油學(xué)院學(xué)報;2006年01期

8 樊愛軍,王開發(fā);多因素時間序列資料GM(1,N)預(yù)測模型及其應(yīng)用[J];第三軍醫(yī)大學(xué)學(xué)報;2003年19期

9 黃毅群;盧正鼎;胡和平;李瑞軒;;分布式異常檢測中隱私保持問題研究[J];電子學(xué)報;2006年05期

10 陶新民;陳萬海;郭黎利;;一種新的基于模糊聚類和免疫原理的入侵監(jiān)測模型[J];電子學(xué)報;2006年07期

中國重要報紙全文數(shù)據(jù)庫 前1條

1 劉怡佳;[N];上海證券報;2007年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前5條

1 王曉曄;時間序列數(shù)據(jù)挖掘中相似性和趨勢預(yù)測的研究[D];天津大學(xué);2003年

2 姚衛(wèi)新;智能數(shù)據(jù)分析中異常數(shù)據(jù)的集成化管理方法研究[D];復(fù)旦大學(xué);2004年

3 胡國飛;三維數(shù)字表面去噪光順技術(shù)研究[D];浙江大學(xué);2005年

4 賀美芳;基于散亂點云數(shù)據(jù)的曲面重建關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2006年

5 湯俊;基于可疑金融交易識別的離群模式挖掘研究[D];武漢理工大學(xué);2007年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前6條

1 溫麗華;灰色系統(tǒng)理論及其應(yīng)用[D];哈爾濱工程大學(xué);2003年

2 韓超;基于時間序列分析的短時交通流量實時自適應(yīng)預(yù)測[D];北京工業(yè)大學(xué);2004年

3 陸聲鏈;孤立點挖掘及其內(nèi)涵知識發(fā)現(xiàn)的研究與應(yīng)用[D];廣西師范大學(xué);2005年

4 戴靜蘭;海量點云預(yù)處理算法研究[D];浙江大學(xué);2006年

5 儲晶;組合預(yù)測模型及其在股票收益率預(yù)測中的應(yīng)用研究[D];南京信息工程大學(xué);2006年

6 黃薇;搜索引擎?zhèn)鞑ヅc盈利模式研究[D];四川大學(xué);2006年

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 袁健;張勁松;馬良;;一種有效預(yù)防點擊欺詐的策略[J];計算機應(yīng)用;2009年07期

2 張祖蓮;卡米力·木衣丁;王命全;;一種有效預(yù)防點擊欺詐的算法[J];計算機應(yīng)用;2010年07期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 林宏偉;網(wǎng)絡(luò)廣告運作的若干關(guān)鍵問題研究[D];電子科技大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前7條

1 舒正勇;商業(yè)搜索引擎的點擊欺詐問題研究[D];遼寧師范大學(xué);2008年

2 李愛春;Web挖掘在檢測網(wǎng)絡(luò)廣告欺詐行為中的研究與應(yīng)用[D];廣東工業(yè)大學(xué);2011年

3 張祖蓮;網(wǎng)絡(luò)點擊欺詐及預(yù)防策略的研究[D];新疆大學(xué);2011年

4 賀文軍;連續(xù)隱馬爾科夫模型在點擊欺詐識別中的應(yīng)用研究[D];上海交通大學(xué);2013年

5 李寶鏡;搜索引擎廣告中策略性出價和點擊欺詐問題的研究[D];重慶大學(xué);2013年

6 鹿慶超;營造互利多贏的（防點擊欺詐）廣告聯(lián)盟[D];大連理工大學(xué);2011年

7 林堅逢;論搜索引擎競價排名的法律規(guī)制[D];浙江大學(xué);2011年

  本文關(guān)鍵詞：商業(yè)搜索引擎的點擊欺詐問題研究，由筆耕文化傳播整理發(fā)布。

，

本文編號：54104