當(dāng)前正處于一個(gè)信息爆炸的時(shí)代,海量的信息已經(jīng)遠(yuǎn)遠(yuǎn)超過了人們所能接受的信息量,人們正經(jīng)受著“信息過載”。大數(shù)據(jù)技術(shù)就是用來幫助人們從這冗雜的信息中整合和提取所需內(nèi)容的技術(shù)。大數(shù)據(jù)是當(dāng)前最熱門的一個(gè)研究領(lǐng)域并且已經(jīng)在漸漸地改變世界的商業(yè)模式。通過大數(shù)據(jù)技術(shù),公司可以更加領(lǐng)會(huì)用戶的消費(fèi)行為以提供更專業(yè)的服務(wù)。在虛擬主機(jī)上部署大數(shù)據(jù)架構(gòu)是當(dāng)前大數(shù)據(jù)領(lǐng)域的熱門研究方向。這個(gè)項(xiàng)目是針對(duì)公交大數(shù)據(jù)的一個(gè)實(shí)現(xiàn)。項(xiàng)目中的原始數(shù)據(jù)包括來自公交GPS裝置的流數(shù)據(jù),存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中的歷史數(shù)據(jù)以及一些系統(tǒng)外的在線服務(wù)產(chǎn)生的實(shí)時(shí)數(shù)據(jù)。這個(gè)項(xiàng)目的第一部分主要設(shè)計(jì)了一個(gè)可擴(kuò)展的存儲(chǔ)架構(gòu)來存儲(chǔ)這些不同來源的數(shù)據(jù),并針對(duì)之后的數(shù)據(jù)分析合理的改變了當(dāng)前的數(shù)據(jù)結(jié)構(gòu)。項(xiàng)目的第二部分是設(shè)計(jì)一個(gè)合理的數(shù)據(jù)分析架構(gòu),以方便在這些海量的公交數(shù)據(jù)里面提取有用的信息。當(dāng)前分析任務(wù)主要包括公交準(zhǔn)點(diǎn)率分析和實(shí)時(shí)公交事故監(jiān)控。公交準(zhǔn)點(diǎn)率包括歷史統(tǒng)計(jì)準(zhǔn)點(diǎn)率,實(shí)時(shí)準(zhǔn)點(diǎn)率,公交車準(zhǔn)點(diǎn)率和站點(diǎn)準(zhǔn)點(diǎn)率。實(shí)時(shí)公交事故監(jiān)控包括檢測(cè)當(dāng)前道路是否存在交通擁塞,公交車本身是否存在異常行為。另外項(xiàng)目的最后部分就是將這些分析結(jié)果以一種優(yōu)雅和易于理解的方式展示到網(wǎng)頁... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：79 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 課題來源與背景
    1.2 課題意義
    1.3 國(guó)內(nèi)外相關(guān)研究現(xiàn)狀
        1.3.1 大數(shù)據(jù)
        1.3.2 大數(shù)據(jù)相關(guān)技術(shù)
        1.3.3 開發(fā)框架
        1.3.4 交通數(shù)據(jù)分析
    1.4 研究方法
    1.5 論文的主要內(nèi)容和組織結(jié)構(gòu)
        1.5.1 論文的主要內(nèi)容
        1.5.2 論文的約束和限制
        1.5.3 論文的組織結(jié)構(gòu)
第二章 CMT-BIGDATA系統(tǒng)需求分析
    2.1 用戶需求
    2.2 系統(tǒng)功能需求
        2.2.1 CMT-BIGDATA存儲(chǔ)需求
        2.2.2 CMT-BIGDATA分析需求
        2.2.3 CMT-BIGDATA可視化需求
    2.3 系統(tǒng)非功能需求
        2.3.1 性能需求
        2.3.2 數(shù)據(jù)一致性需求
        2.3.3 倫理需求
    2.4 小結(jié)
第三章 CMT-BIGDATA系統(tǒng)設(shè)計(jì)
    3.1 系統(tǒng)架構(gòu)
        3.1.1 CMT項(xiàng)目架構(gòu)
        3.1.2 CMT-BIGDATA項(xiàng)目架構(gòu)
        3.1.3 CMT-BIGDATA項(xiàng)目功能結(jié)構(gòu)
    3.2 HADOOP集群架構(gòu)
    3.3 CMT-BDTRANSFER詳細(xì)設(shè)計(jì)
        3.3.1 CMT-BDTransfer數(shù)據(jù)流程設(shè)計(jì)
        3.3.2 CMT-BDTransfer數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)
        3.3.3 CMT-BDTransfer詳細(xì)類圖設(shè)計(jì)
    3.4 CMT-BDANALYSIS詳細(xì)設(shè)計(jì)
        3.4.1 CMT-BDAnalysis準(zhǔn)點(diǎn)率分析的設(shè)計(jì)
        3.4.2 CMT-BDAnalysis交通事故監(jiān)測(cè)的設(shè)計(jì)
    3.5 CMT-BDVISUALIZE詳細(xì)設(shè)計(jì)
        3.5.1 CMT-BDVisualize網(wǎng)站架構(gòu)
        3.5.2 CMT-BDVisualize網(wǎng)頁原型設(shè)計(jì)
        3.5.3 CMT-BDvisualize類圖設(shè)計(jì)
    3.6 關(guān)鍵技術(shù)
    3.7 小結(jié)
第四章 系統(tǒng)實(shí)現(xiàn)與測(cè)試
    4.1 系統(tǒng)實(shí)現(xiàn)環(huán)境
        4.1.1 Hadoop集群環(huán)境
    4.2 系統(tǒng)實(shí)現(xiàn)
        4.2.1 CMT-BDTransfer系統(tǒng)實(shí)現(xiàn)
        4.2.2 CMT-BDAnalysis系統(tǒng)實(shí)現(xiàn)
        4.2.3 CMT-BDVisualize系統(tǒng)實(shí)現(xiàn)
    4.3 系統(tǒng)測(cè)試
        4.3.1 測(cè)試目的和測(cè)試環(huán)境
        4.3.2 系統(tǒng)功能測(cè)試
        4.3.3 Hadoop集群性能測(cè)試
        4.3.4 數(shù)據(jù)一致性測(cè)試
    4.4 小結(jié)
第五章 討論
    5.1 論文結(jié)果討論
    5.2 研究方法討論
    5.3 未來的工作
結(jié)論
參考文獻(xiàn)
致謝
個(gè)人簡(jiǎn)歷



本文編號(hào)：3203717