【摘要】：隨著互聯(lián)網(wǎng)的飛速發(fā)展,各類互聯(lián)網(wǎng)應(yīng)用通過(guò)龐大的用戶群體催生了海量的用戶在網(wǎng)行為數(shù)據(jù)。越來(lái)越多的用戶會(huì)選擇訪問(wèn)旅游網(wǎng)站和使用旅行類App。如何從這部分海量數(shù)據(jù)中對(duì)旅游行業(yè)用戶進(jìn)行分析成為目前研究工作中的重點(diǎn)。本文以運(yùn)營(yíng)商的DPI(Deep Packet Inspection)流量作為數(shù)據(jù)源,借助大數(shù)據(jù)平臺(tái)處理的相關(guān)技術(shù),實(shí)現(xiàn)了面向DPI數(shù)據(jù)的旅游用戶畫像系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)與應(yīng)用。本文的主要工作有以下兩個(gè)方面:1)基于運(yùn)營(yíng)商DPI數(shù)據(jù),結(jié)合網(wǎng)絡(luò)爬蟲技術(shù)獲取的輔助旅游信息數(shù)據(jù),搭建了面向DPI數(shù)據(jù)的旅游畫像系統(tǒng),系統(tǒng)包括了數(shù)據(jù)處理平臺(tái)以及數(shù)據(jù)存儲(chǔ)平臺(tái)兩個(gè)部分。通過(guò)Dj ango框架搭建web服務(wù),完成了旅游用戶畫像的可視化模塊,并對(duì)旅游用戶在網(wǎng)行為進(jìn)行了分析展示。2)根據(jù)DPI流量數(shù)據(jù)的特性,系統(tǒng)分析了面向網(wǎng)絡(luò)用戶的基于時(shí)間戳的、基于報(bào)文信息的、基于域名的以及基于網(wǎng)頁(yè)內(nèi)容的特征。針對(duì)旅游用戶身份識(shí)別任務(wù),利用上述DPI流量特征,設(shè)計(jì)了基于機(jī)器學(xué)習(xí)模型的旅游用戶身份識(shí)別方法,通過(guò)實(shí)驗(yàn)對(duì)提取出的特征進(jìn)行不同的組合分析,提升了模型的訓(xùn)練與評(píng)估效果。
【圖文】：

Ｗｏｒｄ２Ｖｅｃ實(shí)際是一種網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)比較簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型，根據(jù)網(wǎng)絡(luò)結(jié)逡逑構(gòu)輸入輸出的不同，Ｗｏｒｄ２Ｖｅｃ有兩種網(wǎng)絡(luò)結(jié)構(gòu)分別是ＣＢ０Ｗ模型和Ｓｋｉｐ－ｇｒａｍ逡逑模型，，他們的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖２－１所示。逡逑１１逡逑

實(shí)現(xiàn)了各個(gè)硬件設(shè)備間的計(jì)算資源共享是分布式計(jì)算框架的核心思想之一。逡逑目前有許多開源的分布式計(jì)算框架廣泛使用在實(shí)際工程中，例如基于逡逑Ｈａｄｏｏｐ分布式計(jì)算平臺(tái)的ＭａｐＲｅｄｕｃｅ框架如圖２－２所示，Ｓｐａｒｋ框架，Ｓｔｏｒｍ框逡逑架等等�？紤]到電信運(yùn)營(yíng)商ＤＰＩ流量數(shù)據(jù)量龐大的規(guī)模和實(shí)驗(yàn)室的可使用的設(shè)逡逑備資源兩個(gè)方面的因素，在本文設(shè)計(jì)的數(shù)據(jù)預(yù)處理模塊中選用了邋ＭａＰＲｅｄＵＣｅｆ４４］逡逑作為前期ＤＰＩ旅游用戶流量數(shù)據(jù)提取的技術(shù)手段。逡逑Ｃｌｉｅｎｔ逡逑ｉ邋ＪｏｂＴｒａｃｋｅｒ逡逑Ｉ邋ｐ邋－￣ｎ逡逑１邋Ｉ邋Ｍａｐｐｅｒ邋ｊｓ！邋邐；；邐逡逑、}0０，ｋ邋Ｒｅｄｕｃｅｒ邋￣￣逡逑？Ｍａｐｐｅｒ邐ＭａｐＯｕｔｐｕｔ邐Ｉ邐邋邐逡逑邐逡逑｜ＴａｓｋＴｒａｃｋｅｒ邋ｊ邐｜ＴａｓｋＴｒａｃｋｅｒ逡逑圖２－２邋ＭａｐＲｅｄｕｃｅ計(jì)算原理圖逡逑ＭａｐＲｅｄｕｃｅ是一種基于Ｈａｄｏｏｐ分布式計(jì)算原理的專門用于處理海量數(shù)據(jù)的逡逑分布式計(jì)算框架，在大規(guī)模數(shù)據(jù)的計(jì)算任務(wù)上的計(jì)算效果一直很好，因此對(duì)于本逡逑文提出的面向ＤＨ數(shù)據(jù)的旅游畫像系統(tǒng)的搭建幫助很大。ＭａｐＲｅｄｕｃｅ的核心思逡逑想就是“先分后合”。Ｍａｐｐｅｒ負(fù)責(zé)“任務(wù)劃分”，首先根據(jù)業(yè)務(wù)需求把復(fù)雜的任逡逑務(wù)劃分為若干個(gè)小型任務(wù)來(lái)處理。Ｒｅｄｕｃｅｒ負(fù)責(zé)“任務(wù)合并”，主要是前一步ｍａｐ逡逑階段每一個(gè)小型任務(wù)得到的計(jì)算結(jié)果進(jìn)行合并成大型任務(wù)的輸出結(jié)果。逡逑ＭａｐＲｅｄｕｃｅ實(shí)現(xiàn)流程逡逑輸入：逡逑大數(shù)據(jù)處理任務(wù)逡逑輸出：逡逑處理結(jié)果逡逑步驟：逡逑１．
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP311.13;TP393.092

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 閻永利;;用于蒸餾水機(jī)高溫測(cè)量的DPI系列智能測(cè)量?jī)x表[J];機(jī)電信息;2014年35期

2 戴明艷;鄧也;張曉輝;古莉姍;;DPI技術(shù)在數(shù)據(jù)業(yè)務(wù)信道分配中的應(yīng)用[J];電信工程技術(shù)與標(biāo)準(zhǔn)化;2011年11期

3 黃健文;;基于DPI的流量識(shí)別系統(tǒng)的開發(fā)與設(shè)計(jì)[J];電子設(shè)計(jì)工程;2017年11期

4 谷紅勛;張霖;;DPI:運(yùn)營(yíng)商大數(shù)據(jù)安全運(yùn)營(yíng)的基石[J];網(wǎng)絡(luò)空間安全;2016年07期

5 郭建東;;“DPI”教學(xué)模式在《C++面向?qū)ο蟪绦蛟O(shè)計(jì)》教學(xué)中的應(yīng)用[J];職業(yè)教育研究;2007年04期

6 李國(guó)平;王勇;陶曉玲;;基于DPI和機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分類方法[J];桂林電子科技大學(xué)學(xué)報(bào);2012年02期

7 馮春;辛勇;;大學(xué)生心理健康教育DPI三維模式的建構(gòu)[J];黑龍江高教研究;2011年04期

8 肖明坤;王吉順;;基于電信運(yùn)營(yíng)商固網(wǎng)DPI系統(tǒng)的大數(shù)據(jù)清洗方案[J];電信工程技術(shù)與標(biāo)準(zhǔn)化;2016年02期

9 隋毅;;關(guān)于DPI智能提速銅線應(yīng)用場(chǎng)景的技術(shù)分析[J];信息通信;2015年08期

10 郭恩陽(yáng);;DPI在移動(dòng)分組域中的應(yīng)用與展望[J];移動(dòng)通信;2012年18期

相關(guān)會(huì)議論文 前10條

1 董靜梅;陳佩杰;;過(guò)度訓(xùn)練對(duì)大鼠中性粒細(xì)胞呼吸爆發(fā)及吞噬功能的影響及DPI的干預(yù)作用[A];第九屆全國(guó)體育科學(xué)大會(huì)論文摘要匯編(4)[C];2011年

2 劉創(chuàng);辛陽(yáng);;DPI流量檢測(cè)關(guān)鍵技術(shù)的分析與設(shè)計(jì)[A];第九屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2012年

3 阮驪韜;王勝智;艾紅;白筠菲;;DPI和超聲造影在直腸結(jié)腸癌肝轉(zhuǎn)移診斷中的價(jià)值[A];中國(guó)超聲醫(yī)學(xué)工程學(xué)會(huì)第八屆全國(guó)腹部超聲學(xué)術(shù)會(huì)議論文匯編[C];2010年

4 郭文銳;黃劍;;基于DPI技術(shù)的網(wǎng)絡(luò)與信息安全的監(jiān)測(cè)及管控研究[A];2014第二屆中國(guó)指揮控制大會(huì)論文集（下）[C];2014年

5 羅福成;童清平;連娟;裴紅;陳訓(xùn);;DPI在肝臟腫瘤應(yīng)用中方法學(xué)探討[A];中華醫(yī)學(xué)會(huì)第六次全國(guó)超聲醫(yī)學(xué)學(xué)術(shù)年會(huì)論文匯編[C];2001年

6 李軒;胡正名;;基于DPI的P2P流量監(jiān)控系統(tǒng)的分析與設(shè)計(jì)[A];2012年全國(guó)網(wǎng)絡(luò)與數(shù)字內(nèi)容安全學(xué)術(shù)年會(huì)論文集[C];2012年

7 胡濤;黃光明;楊秀榮;;DPI實(shí)時(shí)探索Aβ_(1-42)和Lilrb2 receptor相互作用的動(dòng)力學(xué)機(jī)制[A];中國(guó)化學(xué)會(huì)第30屆學(xué)術(shù)年會(huì)摘要集-第二十八分會(huì)：化學(xué)生物學(xué)[C];2016年

8 林鵬;潘潔;黃芳;高潔;侯慧芳;粱焱瑞;;基于SDN NFV的未來(lái)智能虛擬化DPI感知網(wǎng)絡(luò)[A];中國(guó)通信學(xué)會(huì)信息通信網(wǎng)絡(luò)技術(shù)委員會(huì)2015年年會(huì)論文集[C];2015年

9 李紅林;;基于移動(dòng)用戶DPI數(shù)據(jù)的終端識(shí)別應(yīng)用[A];第六屆云南省科協(xié)學(xué)術(shù)年會(huì)暨紅河流域發(fā)展論壇論文集——專題二：滇南中心智慧城市建設(shè)[C];2016年

10 胡琳欣;許鵬翔;林鍵;;基于寬帶大數(shù)據(jù)的家庭終端級(jí)畫像研究[A];2018廣東通信青年論壇優(yōu)秀論文�？痆C];2018年

相關(guān)重要報(bào)紙文章 前3條

1 本報(bào)記者 黃舍予;雙箭齊發(fā) 浩瀚深度推出“航母級(jí)”高性能DPI新品[N];人民郵電;2018年

2 本報(bào)記者 黃舍予;洞察流量，高性能DPI助力運(yùn)營(yíng)商打造大數(shù)據(jù)引擎[N];人民郵電;2018年

3 李莉;華為TaiShan服務(wù)器攜手內(nèi)蒙古電信開創(chuàng)DPI應(yīng)用新格局[N];人民郵電;2019年

相關(guān)碩士學(xué)位論文 前10條

1 李苒;基于DPI數(shù)據(jù)的惡意URL檢測(cè)方法研究[D];北京郵電大學(xué);2019年

2 唐嘉泉;面向DPI數(shù)據(jù)的旅游畫像系統(tǒng)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2019年

3 譚堯文;基于DPI流量的大規(guī)模網(wǎng)絡(luò)指紋系統(tǒng)的設(shè)計(jì)與應(yīng)用[D];北京郵電大學(xué);2018年

4 石林;基于DPI的流量識(shí)別方法研究與應(yīng)用[D];江西理工大學(xué);2015年

5 李潔;基于DPI的流量識(shí)別與控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安科技大學(xué);2016年

6 程博;基于DPI的流量識(shí)別與控制系統(tǒng)的研究與設(shè)計(jì)[D];北京郵電大學(xué);2015年

7 陳澤鑫;基于DPI技術(shù)的流量監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];蘭州大學(xué);2015年

8 王凱;基于DPI系統(tǒng)的改進(jìn)正則表達(dá)式算法[D];江西理工大學(xué);2014年

9 陳景忠;基于DPI的流媒體流量監(jiān)控系統(tǒng)的研究與實(shí)現(xiàn)[D];江西理工大學(xué);2014年

10 降立川;反溶劑重結(jié)晶法制備超細(xì)布地奈德及其DPI新劑型初探[D];北京化工大學(xué);2007年

本文編號(hào)：2599611