本文關(guān)鍵詞： 大數(shù)據(jù) Hadoop 爬蟲 分布式 數(shù)據(jù)營銷　出處：《中國科學(xué)院大學(xué)(中國科學(xué)院工程管理與信息技術(shù)學(xué)院)》2017年碩士論文　論文類型：學(xué)位論文

【摘要】：互聯(lián)網(wǎng)的應(yīng)用與發(fā)展大大促進(jìn)了各個(gè)新興產(chǎn)業(yè)的發(fā)展,同時(shí)也為傳統(tǒng)制造業(yè)提供了機(jī)遇與挑戰(zhàn)。常規(guī)的營銷方式,已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足需求。隨著互聯(lián)網(wǎng)用戶的增長以及移動(dòng)互聯(lián)網(wǎng)的迅速興起,互聯(lián)網(wǎng)營銷面臨的數(shù)據(jù)量越來越大,并且數(shù)據(jù)的結(jié)構(gòu)復(fù)雜無規(guī)律性。因此本文根據(jù)Hadoop集群所具有海量非結(jié)構(gòu)化數(shù)據(jù)存貯與分析設(shè)計(jì)的優(yōu)勢(shì)以及處理不同類型大數(shù)據(jù)的靈活性等特點(diǎn),提出基于Hadoop的大數(shù)據(jù)營銷系統(tǒng)的架構(gòu),實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)與處理,并結(jié)合分布式海量數(shù)據(jù)爬蟲技術(shù),建立互聯(lián)網(wǎng)用戶的人群畫像模型,基于此模型以及互聯(lián)網(wǎng)用戶的行為數(shù)據(jù)分析用戶的興趣以及喜好,更好地指導(dǎo)互聯(lián)網(wǎng)營銷策略的指導(dǎo)以及實(shí)施。論文完成的主要工作如下:(1)研究背景與需求調(diào)研;(2)大數(shù)據(jù)相關(guān)技術(shù)的研究;(3)基于Hadoop的互聯(lián)網(wǎng)數(shù)據(jù)營銷系統(tǒng)的設(shè)計(jì);(4)基于Hadoop的互聯(lián)網(wǎng)數(shù)據(jù)營銷系統(tǒng)的實(shí)現(xiàn);(5)系統(tǒng)的部署與運(yùn)用。目前系統(tǒng)已經(jīng)完成并投入運(yùn)行,使用16臺(tái)服務(wù)器,每日可處理5億條日志。對(duì)互聯(lián)網(wǎng)用戶的訪問習(xí)慣及用戶屬性有了更加精準(zhǔn)的了解,對(duì)廣告投放和營銷決策提供了很好的支撐。在人工方面:減小了運(yùn)營人員的工作負(fù)擔(dān),提升了工作效率;在營銷效果方面:由于采用了依據(jù)用戶屬性的廣告投放方式,提升了廣告的轉(zhuǎn)化效率及投入產(chǎn)出比。
[Abstract]:The application and development of the Internet has greatly promoted the development of various new industries, and at the same time has provided opportunities and challenges for the traditional manufacturing industry. With the growth of Internet users and the rapid rise of mobile Internet, Internet marketing is facing more and more data. And the structure of the data is complex and irregular. Therefore, according to the advantages of massive unstructured data storage and analysis design of Hadoop cluster and the flexibility of dealing with different types of big data, This paper puts forward the framework of big data marketing system based on Hadoop, realizes the storage and processing of massive data, and establishes the crowd portrait model of Internet users with distributed mass data crawler technology. Based on this model and the behavior data of Internet users, we analyze the interests and preferences of users. The main work accomplished in this thesis is as follows: 1) Research background and demand investigation) big data related technology. (3) Design of Internet data Marketing system based on Hadoop. Implementation of Internet data Marketing system based on Hadoop. Using 16 servers, it can handle 500 million logs a day. It has a more accurate understanding of the access habits and user attributes of Internet users. Provides a good support for advertising and marketing decisions. In the artificial aspects: reduced the workload of operators, improved work efficiency; in marketing effect: because of the use of user attributes of advertising delivery, Improve the efficiency of advertising conversion and input-output ratio.
【學(xué)位授予單位】：中國科學(xué)院大學(xué)(中國科學(xué)院工程管理與信息技術(shù)學(xué)院)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.13;TP393.09

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 萬瑞;;上海世博會(huì)中期互聯(lián)網(wǎng)數(shù)據(jù)總結(jié)發(fā)布[J];青年記者;2010年22期

2 ;天下[J];中國計(jì)算機(jī)用戶;2007年23期

3 米莉;;你信嗎? 因特網(wǎng)重量只有50克[J];今日科苑;2011年24期

4 沈麗琴;;靠市場力量探索商業(yè)模式[J];中國經(jīng)濟(jì)和信息化;2014年05期

5 陳騫;;歐洲云計(jì)算發(fā)展策略與啟示[J];上海信息化;2013年03期

6 ;最新聞、最評(píng)論[J];電腦愛好者;2010年03期

7 李正茂;;李正茂:2020年互聯(lián)網(wǎng)數(shù)據(jù)量將是目前的44倍[J];信息系統(tǒng)工程;2011年06期

8 王志勤;;3G及寬帶無線移動(dòng):雙輪驅(qū)動(dòng)無線技術(shù)前行[J];世界電信;2011年Z1期

9 梁辰;;春節(jié)期間短信發(fā)送量仍然增長8.3%[J];通信世界;2013年05期

10 于麗妍;;做“云端”的安全衛(wèi)士——訪上海派拉軟件有限公司總經(jīng)理 譚翔[J];華東科技;2013年06期

相關(guān)重要報(bào)紙文章 前10條

1 ;歐盟批準(zhǔn)電話及互聯(lián)網(wǎng)數(shù)據(jù)保存規(guī)定[N];人民郵電;2006年

2 記者 張舒;2008年第一季度中國互聯(lián)網(wǎng)數(shù)據(jù)發(fā)布[N];中華新聞報(bào);2008年

3 李立娟;英國立法允許監(jiān)聽公民電話[N];民主與法制時(shí)報(bào);2014年

4 記者 彭林;江西電信高速環(huán)網(wǎng)覆蓋全省[N];人民郵電;2001年

5 本報(bào)記者 戈清平;陳金培：阿里云打造數(shù)據(jù)為中心的云計(jì)算[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2013年

6 記者 吳曉菁　黃嶸 通訊員 韓師斯;有效幫助客戶 應(yīng)對(duì)各種風(fēng)險(xiǎn)[N];廈門日?qǐng)?bào);2010年

7 徐文;國產(chǎn)瀏覽器占有率達(dá)17.04%[N];中國電子報(bào);2010年

8 記者 邱春;我市警方重拳打擊網(wǎng)絡(luò)色情[N];重慶日?qǐng)?bào);2008年

9 張昕楠;技術(shù)創(chuàng)新是選擇的關(guān)鍵[N];中國計(jì)算機(jī)報(bào);2008年

10 廣東省電網(wǎng)公司東莞供電局 鄧雄榮;供電局上網(wǎng)規(guī)范“二重奏”[N];網(wǎng)絡(luò)世界;2010年

相關(guān)碩士學(xué)位論文 前2條

1 李璋;基于Hadoop的互聯(lián)網(wǎng)數(shù)據(jù)營銷系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國科學(xué)院大學(xué)(中國科學(xué)院工程管理與信息技術(shù)學(xué)院);2017年

2 劉旭;基于互聯(lián)網(wǎng)數(shù)據(jù)的話題發(fā)現(xiàn)及追蹤技術(shù)研究與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2010年

，

本文編號(hào)：1516717