隨著人們對(duì)網(wǎng)絡(luò)和通信的依賴日漸增長(zhǎng)，維護(hù)網(wǎng)絡(luò)信息的安全以及用戶的合法權(quán)益日益重要。而網(wǎng)絡(luò)的開放性、虛擬性和不確定性無疑給這項(xiàng)工作增加了一個(gè)不小的難題。網(wǎng)絡(luò)身份的綁定成為必然。每個(gè)用戶常見的網(wǎng)絡(luò)、通訊行為有郵件通訊、微博發(fā)表、短信通訊以及電話通訊。每個(gè)用戶在四個(gè)系統(tǒng)中分別對(duì)應(yīng)一種身份，把四種身份綁定，確認(rèn)用戶的現(xiàn)實(shí)身份，使得網(wǎng)絡(luò)社會(huì)和現(xiàn)實(shí)社會(huì)同樣受到監(jiān)督與保證，維持網(wǎng)絡(luò)秩序。 由于數(shù)據(jù)源眾多以及各個(gè)系統(tǒng)的用戶繁多、操作頻繁，每日產(chǎn)生TB級(jí)甚至PB級(jí)的海量數(shù)據(jù)，傳統(tǒng)的關(guān)系數(shù)據(jù)庫以及不能滿足數(shù)據(jù)的存儲(chǔ)分析處理的要求。本系統(tǒng)利用Hadoop/hive分布式計(jì)算平臺(tái)的高可靠性、高擴(kuò)展性、高效性以及高容錯(cuò)性，對(duì)用戶的基礎(chǔ)信息、特征行為等進(jìn)行分析，在功能實(shí)現(xiàn)的基礎(chǔ)上展現(xiàn)出數(shù)據(jù)處理很高的效率。 本文在實(shí)際系統(tǒng)開發(fā)的基礎(chǔ)上，綜述了一種基于Hadoop/hive架構(gòu)的網(wǎng)絡(luò)身份識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)的開發(fā)方案。將各個(gè)數(shù)據(jù)源的原始數(shù)據(jù)利用MapReduce進(jìn)行層層清洗后，裝載入一個(gè)新建的基于事件的數(shù)據(jù)倉庫。隨后，利用HiveQL語言，在專業(yè)工作流控制工具的控制下，根據(jù)用戶要求完成數(shù)據(jù)的分析處理工作。最后，將數(shù)據(jù)分...

【文章頁數(shù)】：56 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第一章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 主要研究?jī)?nèi)容
    1.4 論文組織結(jié)構(gòu)
第二章 本文技術(shù)基礎(chǔ)
    2.1 Hadoop
        2.1.1 Hadoop 技術(shù)背景
        2.1.2 HDFS（Hadoop Distributed File System）機(jī)制
        2.1.3 MapReduce
    2.2 Hive
        2.2.1 Hive
        2.2.2 Hive 和普通關(guān)系數(shù)據(jù)庫的區(qū)別
        2.2.3 HiveQL
    2.3 相關(guān)算法及關(guān)聯(lián)規(guī)則
    2.4 本章小結(jié)
第三章 網(wǎng)絡(luò)身份識(shí)別系統(tǒng)的設(shè)計(jì)
    3.1 需求分析
        3.1.1 指標(biāo)定義
        3.1.2 功能方法概述
    3.2 架構(gòu)設(shè)計(jì)
        3.2.1 數(shù)據(jù)存儲(chǔ)模塊設(shè)計(jì)
        3.2.2 數(shù)據(jù)分析模塊設(shè)計(jì)
        3.2.3 數(shù)據(jù)展現(xiàn)模塊設(shè)計(jì)
    3.3 本章小結(jié)
第四章 網(wǎng)絡(luò)身份識(shí)別系統(tǒng)的實(shí)現(xiàn)
    4.1 系統(tǒng)存儲(chǔ)模塊實(shí)現(xiàn)
        4.1.1 數(shù)據(jù)抽取
        4.1.2 數(shù)據(jù)倉庫構(gòu)建
    4.2 系統(tǒng)分析模塊實(shí)現(xiàn)
        4.2.1 指標(biāo)一：置信度計(jì)算的實(shí)現(xiàn)
        4.2.2 指標(biāo)二：匹配度計(jì)算的實(shí)現(xiàn)
    4.3 系統(tǒng)數(shù)據(jù)展現(xiàn)模塊實(shí)現(xiàn)
    4.4 系統(tǒng)調(diào)度
    4.5 本章小結(jié)
第五章 系統(tǒng)性能測(cè)試
    5.1 Hadoop/hive 環(huán)境配置
    5.2 系統(tǒng)運(yùn)行結(jié)果分析
    5.3 本章小結(jié)
第六章 總結(jié)與展望
    6.1 本文小結(jié)
    6.2 工作展望
參考文獻(xiàn)
致謝



本文編號(hào)：3863153