【摘要】：隨著互聯(lián)網(wǎng)的飛速發(fā)展,各類互聯(lián)網(wǎng)應用通過龐大的用戶群體催生了海量的用戶在網(wǎng)行為數(shù)據(jù)。越來越多的用戶會選擇訪問旅游網(wǎng)站和使用旅行類App。如何從這部分海量數(shù)據(jù)中對旅游行業(yè)用戶進行分析成為目前研究工作中的重點。本文以運營商的DPI(Deep Packet Inspection)流量作為數(shù)據(jù)源,借助大數(shù)據(jù)平臺處理的相關技術,實現(xiàn)了面向DPI數(shù)據(jù)的旅游用戶畫像系統(tǒng)的設計實現(xiàn)與應用。本文的主要工作有以下兩個方面:1)基于運營商DPI數(shù)據(jù),結合網(wǎng)絡爬蟲技術獲取的輔助旅游信息數(shù)據(jù),搭建了面向DPI數(shù)據(jù)的旅游畫像系統(tǒng),系統(tǒng)包括了數(shù)據(jù)處理平臺以及數(shù)據(jù)存儲平臺兩個部分。通過Dj ango框架搭建web服務,完成了旅游用戶畫像的可視化模塊,并對旅游用戶在網(wǎng)行為進行了分析展示。2)根據(jù)DPI流量數(shù)據(jù)的特性,系統(tǒng)分析了面向網(wǎng)絡用戶的基于時間戳的、基于報文信息的、基于域名的以及基于網(wǎng)頁內容的特征。針對旅游用戶身份識別任務,利用上述DPI流量特征,設計了基于機器學習模型的旅游用戶身份識別方法,通過實驗對提取出的特征進行不同的組合分析,提升了模型的訓練與評估效果。
【圖文】：

Ｗｏｒｄ２Ｖｅｃ實際是一種網(wǎng)絡結構相對比較簡單的神經網(wǎng)絡模型，根據(jù)網(wǎng)絡結逡逑構輸入輸出的不同，Ｗｏｒｄ２Ｖｅｃ有兩種網(wǎng)絡結構分別是ＣＢ０Ｗ模型和Ｓｋｉｐ－ｇｒａｍ逡逑模型，，他們的網(wǎng)絡結構圖如圖２－１所示。逡逑１１逡逑

實現(xiàn)了各個硬件設備間的計算資源共享是分布式計算框架的核心思想之一。逡逑目前有許多開源的分布式計算框架廣泛使用在實際工程中，例如基于逡逑Ｈａｄｏｏｐ分布式計算平臺的ＭａｐＲｅｄｕｃｅ框架如圖２－２所示，Ｓｐａｒｋ框架，Ｓｔｏｒｍ框逡逑架等等�？紤]到電信運營商ＤＰＩ流量數(shù)據(jù)量龐大的規(guī)模和實驗室的可使用的設逡逑備資源兩個方面的因素，在本文設計的數(shù)據(jù)預處理模塊中選用了邋ＭａＰＲｅｄＵＣｅｆ４４］逡逑作為前期ＤＰＩ旅游用戶流量數(shù)據(jù)提取的技術手段。逡逑Ｃｌｉｅｎｔ逡逑ｉ邋ＪｏｂＴｒａｃｋｅｒ逡逑Ｉ邋ｐ邋－￣ｎ逡逑１邋Ｉ邋Ｍａｐｐｅｒ邋ｊｓ！邋邐；；邐逡逑、}0０，ｋ邋Ｒｅｄｕｃｅｒ邋￣￣逡逑？Ｍａｐｐｅｒ邐ＭａｐＯｕｔｐｕｔ邐Ｉ邐邋邐逡逑邐逡逑｜ＴａｓｋＴｒａｃｋｅｒ邋ｊ邐｜ＴａｓｋＴｒａｃｋｅｒ逡逑圖２－２邋ＭａｐＲｅｄｕｃｅ計算原理圖逡逑ＭａｐＲｅｄｕｃｅ是一種基于Ｈａｄｏｏｐ分布式計算原理的專門用于處理海量數(shù)據(jù)的逡逑分布式計算框架，在大規(guī)模數(shù)據(jù)的計算任務上的計算效果一直很好，因此對于本逡逑文提出的面向ＤＨ數(shù)據(jù)的旅游畫像系統(tǒng)的搭建幫助很大。ＭａｐＲｅｄｕｃｅ的核心思逡逑想就是“先分后合”。Ｍａｐｐｅｒ負責“任務劃分”，首先根據(jù)業(yè)務需求把復雜的任逡逑務劃分為若干個小型任務來處理。Ｒｅｄｕｃｅｒ負責“任務合并”，主要是前一步ｍａｐ逡逑階段每一個小型任務得到的計算結果進行合并成大型任務的輸出結果。逡逑ＭａｐＲｅｄｕｃｅ實現(xiàn)流程逡逑輸入：逡逑大數(shù)據(jù)處理任務逡逑輸出：逡逑處理結果逡逑步驟：逡逑１．
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP311.13;TP393.092

【相似文獻】

相關期刊論文 前10條

1 閻永利;;用于蒸餾水機高溫測量的DPI系列智能測量儀表[J];機電信息;2014年35期

2 戴明艷;鄧也;張曉輝;古莉姍;;DPI技術在數(shù)據(jù)業(yè)務信道分配中的應用[J];電信工程技術與標準化;2011年11期

3 黃健文;;基于DPI的流量識別系統(tǒng)的開發(fā)與設計[J];電子設計工程;2017年11期

4 谷紅勛;張霖;;DPI:運營商大數(shù)據(jù)安全運營的基石[J];網(wǎng)絡空間安全;2016年07期

5 郭建東;;“DPI”教學模式在《C++面向對象程序設計》教學中的應用[J];職業(yè)教育研究;2007年04期

6 李國平;王勇;陶曉玲;;基于DPI和機器學習的網(wǎng)絡流量分類方法[J];桂林電子科技大學學報;2012年02期

7 馮春;辛勇;;大學生心理健康教育DPI三維模式的建構[J];黑龍江高教研究;2011年04期

8 肖明坤;王吉順;;基于電信運營商固網(wǎng)DPI系統(tǒng)的大數(shù)據(jù)清洗方案[J];電信工程技術與標準化;2016年02期

9 隋毅;;關于DPI智能提速銅線應用場景的技術分析[J];信息通信;2015年08期

10 郭恩陽;;DPI在移動分組域中的應用與展望[J];移動通信;2012年18期

相關會議論文 前10條

1 董靜梅;陳佩杰;;過度訓練對大鼠中性粒細胞呼吸爆發(fā)及吞噬功能的影響及DPI的干預作用[A];第九屆全國體育科學大會論文摘要匯編(4)[C];2011年

2 劉創(chuàng);辛陽;;DPI流量檢測關鍵技術的分析與設計[A];第九屆中國通信學會學術年會論文集[C];2012年

3 阮驪韜;王勝智;艾紅;白筠菲;;DPI和超聲造影在直腸結腸癌肝轉移診斷中的價值[A];中國超聲醫(yī)學工程學會第八屆全國腹部超聲學術會議論文匯編[C];2010年

4 郭文銳;黃劍;;基于DPI技術的網(wǎng)絡與信息安全的監(jiān)測及管控研究[A];2014第二屆中國指揮控制大會論文集（下）[C];2014年

5 羅福成;童清平;連娟;裴紅;陳訓;;DPI在肝臟腫瘤應用中方法學探討[A];中華醫(yī)學會第六次全國超聲醫(yī)學學術年會論文匯編[C];2001年

6 李軒;胡正名;;基于DPI的P2P流量監(jiān)控系統(tǒng)的分析與設計[A];2012年全國網(wǎng)絡與數(shù)字內容安全學術年會論文集[C];2012年

7 胡濤;黃光明;楊秀榮;;DPI實時探索Aβ_(1-42)和Lilrb2 receptor相互作用的動力學機制[A];中國化學會第30屆學術年會摘要集-第二十八分會：化學生物學[C];2016年

8 林鵬;潘潔;黃芳;高潔;侯慧芳;粱焱瑞;;基于SDN NFV的未來智能虛擬化DPI感知網(wǎng)絡[A];中國通信學會信息通信網(wǎng)絡技術委員會2015年年會論文集[C];2015年

9 李紅林;;基于移動用戶DPI數(shù)據(jù)的終端識別應用[A];第六屆云南省科協(xié)學術年會暨紅河流域發(fā)展論壇論文集——專題二：滇南中心智慧城市建設[C];2016年

10 胡琳欣;許鵬翔;林鍵;;基于寬帶大數(shù)據(jù)的家庭終端級畫像研究[A];2018廣東通信青年論壇優(yōu)秀論文�？痆C];2018年

相關重要報紙文章 前3條

1 本報記者 黃舍予;雙箭齊發(fā) 浩瀚深度推出“航母級”高性能DPI新品[N];人民郵電;2018年

2 本報記者 黃舍予;洞察流量，高性能DPI助力運營商打造大數(shù)據(jù)引擎[N];人民郵電;2018年

3 李莉;華為TaiShan服務器攜手內蒙古電信開創(chuàng)DPI應用新格局[N];人民郵電;2019年

相關碩士學位論文 前10條

1 李苒;基于DPI數(shù)據(jù)的惡意URL檢測方法研究[D];北京郵電大學;2019年

2 唐嘉泉;面向DPI數(shù)據(jù)的旅游畫像系統(tǒng)的研究與實現(xiàn)[D];北京郵電大學;2019年

3 譚堯文;基于DPI流量的大規(guī)模網(wǎng)絡指紋系統(tǒng)的設計與應用[D];北京郵電大學;2018年

4 石林;基于DPI的流量識別方法研究與應用[D];江西理工大學;2015年

5 李潔;基于DPI的流量識別與控制系統(tǒng)的設計與實現(xiàn)[D];西安科技大學;2016年

6 程博;基于DPI的流量識別與控制系統(tǒng)的研究與設計[D];北京郵電大學;2015年

7 陳澤鑫;基于DPI技術的流量監(jiān)控系統(tǒng)的設計與實現(xiàn)[D];蘭州大學;2015年

8 王凱;基于DPI系統(tǒng)的改進正則表達式算法[D];江西理工大學;2014年

9 陳景忠;基于DPI的流媒體流量監(jiān)控系統(tǒng)的研究與實現(xiàn)[D];江西理工大學;2014年

10 降立川;反溶劑重結晶法制備超細布地奈德及其DPI新劑型初探[D];北京化工大學;2007年

本文編號：2599611