過去的十年是數(shù)據(jù)處理變革的十年，海量的數(shù)據(jù)對業(yè)界的工程師們提出了巨大的挑戰(zhàn)，大數(shù)據(jù)處理、存儲技術(shù)應(yīng)運(yùn)而生。MapReduce、HDFS等相關(guān)技術(shù)使得前所未有的大規(guī)模數(shù)據(jù)存儲和處理變成可能。 但這些處理數(shù)據(jù)的技術(shù)并非為實(shí)時處理大數(shù)據(jù)而設(shè)計(jì)。隨著業(yè)務(wù)的快速變化、商業(yè)模式的不斷創(chuàng)新、用戶體驗(yàn)個性化、實(shí)時化需求的日益突出，海量數(shù)據(jù)實(shí)時處理在商業(yè)方面的需求越來大，“實(shí)時Hadoop”方面的空缺已經(jīng)成為大數(shù)據(jù)處理生態(tài)系統(tǒng)中最大的漏洞。而Twitter公司開源的分布式、容錯的實(shí)時流計(jì)算系統(tǒng)Storm則正好填補(bǔ)了該空白。如何運(yùn)用實(shí)時的、分布式的數(shù)據(jù)流處理框架Storm來提高系統(tǒng)的性能和數(shù)據(jù)處理的效率，是本論文要探究的問題。 本文以研究生期間參與的研究項(xiàng)目“一找微博互動平臺”作為研究對象，深入了解和分析系統(tǒng)存在的數(shù)據(jù)處理耗時長、資源利用率低等問題。論文使用軟件工程的方法，運(yùn)用迭代式敏捷開發(fā)過程和面向?qū)ο蠓治鲈O(shè)計(jì)等技術(shù)，從需求分析、概要設(shè)計(jì)、詳細(xì)設(shè)計(jì)到系統(tǒng)的具體實(shí)現(xiàn)和部署等環(huán)節(jié)進(jìn)行描述，并介紹了系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)過程中運(yùn)用的各種技術(shù)和方法，設(shè)計(jì)和實(shí)現(xiàn)了一個基于Storm的實(shí)時數(shù)據(jù)分析處理系統(tǒng)。最后通過實(shí)驗(yàn)，...

【文章頁數(shù)】：88 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
目錄
第一章 前言
    1.1 項(xiàng)目的背景和意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本論文研究的主要內(nèi)容和工作
    1.4 論文結(jié)構(gòu)
第二章 技術(shù)與原理
    2.1 實(shí)時計(jì)算介紹
    2.2 STORM 介紹
    2.3 分布式系統(tǒng)相關(guān)技術(shù)介紹
    2.4 JAVA EE 相關(guān)技術(shù)
    2.5 本章小結(jié)
第三章 系統(tǒng)需求分析
    3.1 系統(tǒng)概述
    3.2 功能性需求分析
    3.3 非功能性需求分析
    3.4 用例分析
    3.5 領(lǐng)域模型分析
    3.6 本章小結(jié)
第四章 系統(tǒng)概要設(shè)計(jì)
    4.1 系統(tǒng)架構(gòu)設(shè)計(jì)
    4.2 用例實(shí)現(xiàn)
    4.3 數(shù)據(jù)庫設(shè)計(jì)
    4.4 本章小結(jié)
第五章 系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)
    5.1 增量更新模型
    5.2 微博分析模塊的設(shè)計(jì)與實(shí)現(xiàn)
    5.3 互動信息模塊的設(shè)計(jì)與實(shí)現(xiàn)
    5.4 本章小結(jié)
第六章 系統(tǒng)部署與實(shí)驗(yàn)
    6.1 開發(fā)環(huán)境
    6.2 系統(tǒng)部署
    6.3 實(shí)驗(yàn)分析
    6.4 運(yùn)行效果
第七章 總結(jié)與展望
    7.1 工作總結(jié)
    7.2 工作展望
參考文獻(xiàn)
致謝



本文編號：3749126