本文關鍵詞：基于關鍵字搜索的廣告數據采集系統(tǒng)的設計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：如何提高用戶在使用搜索引擎的同時,對搜索引擎中所顯示的廣告進行有效的點擊,一直被各大搜索引擎公司所關注。每個搜索引擎都有自己所特有的廣告顯示方式,由于搜索引擎用戶存在的個體差異,不同的廣告顯示方式所帶來的廣告盈利必然是不同的,而搜索引擎公司對用戶點擊廣告的行為進行監(jiān)測會產生大量的數據。對如此龐大的數據進行有效的采集,觀察,分析,開發(fā)出可有效提高廣告被點擊率的顯示方式,提高搜索引擎公司的盈利額,是當今搜索廣告領域中激烈競爭的技術領域。 針對上述問題與現(xiàn)狀,論文擬實現(xiàn)一個可自動采集廣告數據并向使用者進行精確數據展示的Dashboard系統(tǒng),幫助工作人員脫離原先黑白的,枯燥的廣告數據采集界面。本文完成的主要工作分為三個部分,分別為： (1)定時的從半結構化數據集中獲取數據的流程結構設計與實現(xiàn),完成服務器的搭建工作,環(huán)境的部署和腳本程序的定時運行,使用Shell調用Pig腳本定時的從Hadoop分布式文件系統(tǒng)中對數據進行采集,分類等操作,將最后采集到的數據以文件的形式存儲在遠端grid服務器上； (2)將獲取的數據存儲到數據庫的本地服務端的設計與實現(xiàn),也就是將文本形式的數據文件從遠端grid服務器上同步到本地的數據服務器上,并在數據文件成功同步的前提下,把數據從文本的形式轉化為存儲在MySQL數據庫中的形式； (3)將存儲在數據庫中的關鍵字廣告數據進行展示的客戶端Web頁面的設計與實現(xiàn),采用當前流行的LAMP網站架構方案,以及Apache, HTML, CSS, JavaScript等Web技術來完成一系列的前端工作,提供給用戶一個可以通過圖形,表格等形式來查看數據以及分析數據的界面工具。 該采集系統(tǒng)可自動的完成數據采集、分類、存儲與展示等一系列工作,并通過色彩豐富的圖形進行數據展示和數據分析。使用者可查看大量關鍵字具體數值,也可以查看特定關鍵字的某個數值變化趨勢,甚至可以提供給使用者批量的數據查詢下載的功能,有效的提高了工作人員的工作效率,避免了技術人員的重復勞動,使非專業(yè)技術人員也可以方便快捷地獲取特定的數據信息。
【關鍵詞】：搜索引擎 廣告 點擊率 精準化 數據展示
【學位授予單位】：中國科學院大學（工程管理與信息技術學院）
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP274.2
【目錄】：

• 摘要5-6
• Abstract6-9
• 第一章 緒論9-17
• 1.1 研究背景與意義9
• 1.2 本文相關研究進展9-14
• 1.2.1 信息檢索的研究現(xiàn)狀10
• 1.2.2 網絡廣告的發(fā)展現(xiàn)狀10-12
• 1.2.3 可視化技術的發(fā)展12-14
• 1.3 本文主要研究內容14-17
• 第二章 廣告數據采集系統(tǒng)的需求分析和技術研究17-29
• 2.1 何謂關鍵字以及關鍵字廣告17-19
• 2.2 廣告系統(tǒng)參數19-20
• 2.3 廣告數據采集系統(tǒng)的需求分析20-22
• 2.3.1 系統(tǒng)的功能需求20-21
• 2.3.2 系統(tǒng)的性能指標21-22
• 2.4 Hadoop分布式系統(tǒng)基礎架構22-23
• 2.4.1 HDFS系統(tǒng)22-23
• 2.4.2 Pig平臺23
• 2.5 LAMP網站架構方案23-27
• 2.5.1 Linux操作系統(tǒng)24
• 2.5.2 Apache服務器24-26
• 2.5.3 MySQL技術26-27
• 2.5.4 PHP編程語言27
• 2.6 本章小結27-29
• 第三章 廣告數據采集系統(tǒng)的總體架構和詳細設計29-45
• 3.1 廣告數據采集系統(tǒng)的總體設計29-33
• 3.1.1 系統(tǒng)的設計原則29-30
• 3.1.2 系統(tǒng)的總體結構和工作流程30-32
• 3.1.3 系統(tǒng)的模塊設計32-33
• 3.2 系統(tǒng)運行環(huán)境設計33-34
• 3.3 數據采集部分的詳細設計34-36
• 3.3.1 數據采集部分的功能需求34
• 3.3.2 數據采集部分的設計方案34-36
• 3.4 數據存儲部分的詳細設計36-38
• 3.4.1 數據存儲部分的設計需求36-37
• 3.4.2 數據存儲部分的設計方案37-38
• 3.5 應用層部分的詳細設計38-39
• 3.5.1 應用層部分的設計需求38
• 3.5.2 應用層部分的設計方案38-39
• 3.6 本地數據庫的詳細設計39-43
• 3.7 本章小結43-45
• 第四章 廣告數據采集系統(tǒng)的具體實現(xiàn)45-57
• 4.1 數據采集部分的具體實現(xiàn)45-53
• 4.1.1 每日數據采集的具體實現(xiàn)45-51
• 4.1.2 一周數據采集的具體實現(xiàn)51
• 4.1.3 實時數據采集的具體實現(xiàn)51-53
• 4.2 數據存儲部分的具體實現(xiàn)53-54
• 4.3 應用層部分的具體實現(xiàn)54-56
• 4.4 本章小結56-57
• 第五章 廣告數據采集系統(tǒng)的測試與分析57-67
• 5.1 系統(tǒng)運行環(huán)境的部署57-58
• 5.2 系統(tǒng)功能的測試58-64
• 5.3 系統(tǒng)性能的測試64-65
• 5.4 本章小結65-67
• 第六章 結論與展望67-69
• 6.1 論文的工作總結67-68
• 6.2 未來的工作展望68-69
• 參考文獻69-71
• 致謝71-73
• 個人簡歷、在學期間發(fā)表的論文與研究成果73

【參考文獻】

中國期刊全文數據庫 前10條

1 張哲銘;;基于LAMP的臺達實驗室管理系統(tǒng)實現(xiàn)[J];電子技術;2013年06期

2 何瑾;劉潤華;吳敬;;基于開源思想的軟件應用開發(fā)[J];河北師范大學學報(自然科學版);2007年01期

3 左鳳朝;基于Web的數據庫訪問技術探析[J];計算機工程與應用;2002年15期

4 張金區(qū),王云鵬;PHP對數據庫的訪問技術及執(zhí)行效率的比較[J];計算機工程與應用;2005年09期

5 何躍;陳大勇;騰格爾;;基于Web數據挖掘的用戶瀏覽興趣路徑研究[J];計算機工程與應用;2012年07期

6 劉勘,周曉崢,周洞汝;數據可視化的研究與發(fā)展[J];計算機工程;2002年08期

7 黎永良,崔杜武;MVC設計模式的改進與應用[J];計算機工程;2005年09期

8 劉紅芝;;基于Apache+PHP+MySQL框架的圖書管理系統(tǒng)開發(fā)[J];江西圖書館學刊;2008年03期

9 王宏鑫;;關于網絡信息數據的多尺度表達模型研究[J];情報科學;2007年07期

10 趙鶴芹;;設計動態(tài)網站的最佳方案:Apache+PHP+MySQL[J];計算機工程與設計;2007年04期

  本文關鍵詞：基于關鍵字搜索的廣告數據采集系統(tǒng)的設計與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號：277376