發(fā)布時(shí)間：2019-12-01 17:51

【摘要】：隨著互聯(lián)網(wǎng)、傳感器等技術(shù)的迅速發(fā)展,數(shù)據(jù)產(chǎn)生的速度越來(lái)越快。伴隨著數(shù)據(jù)的爆炸式增長(zhǎng),人們步入了大數(shù)據(jù)時(shí)代。在大數(shù)據(jù)時(shí)代,面對(duì)海量數(shù)據(jù),人們需要通過(guò)各種手段和工具對(duì)數(shù)據(jù)進(jìn)行快速的挖掘分析,以發(fā)現(xiàn)其中蘊(yùn)藏的巨大價(jià)值。但是隨著大數(shù)據(jù)系統(tǒng)中需要存儲(chǔ)和處理的數(shù)據(jù)量的不斷增加,系統(tǒng)的某些性能問(wèn)題日益突出,導(dǎo)致系統(tǒng)處理速度下降,不能及時(shí)的返回處理結(jié)果。嚴(yán)重時(shí),甚至導(dǎo)致系統(tǒng)不能提供服務(wù)。為了提升系統(tǒng)性能,需要根據(jù)大數(shù)據(jù)系統(tǒng)的架構(gòu)層次,從多個(gè)方面進(jìn)行優(yōu)化。大數(shù)據(jù)系統(tǒng)性能優(yōu)化是一個(gè)非常復(fù)雜的工作,涵蓋了系統(tǒng)的許多方面,因此,在系統(tǒng)的優(yōu)化過(guò)程中需要考慮到影響系統(tǒng)性能的所有因素。本文在研究大數(shù)據(jù)系統(tǒng)架構(gòu)以及相關(guān)技術(shù)的基礎(chǔ)上,從系統(tǒng)開(kāi)發(fā)應(yīng)用的實(shí)際情況出發(fā),針對(duì)大數(shù)據(jù)系統(tǒng)的從以下四個(gè)方面闡述系統(tǒng)性能的優(yōu)化機(jī)制:數(shù)據(jù)收集優(yōu)化,數(shù)據(jù)處理優(yōu)化,數(shù)據(jù)庫(kù)優(yōu)化,WEB服務(wù)器優(yōu)化。這四個(gè)方面涉及到了大數(shù)據(jù)系統(tǒng)架構(gòu)中的多個(gè)層次的優(yōu)化。論文針對(duì)某影視大數(shù)據(jù)系統(tǒng)存在的性能問(wèn)題,詳細(xì)的說(shuō)明了其具體的優(yōu)化過(guò)程和技術(shù)細(xì)節(jié),為大數(shù)據(jù)系統(tǒng)優(yōu)化提供一個(gè)可參考的方法,并使用測(cè)試工具對(duì)優(yōu)化后的系統(tǒng)性能進(jìn)行測(cè)試。
【圖文】：

第二章相關(guān)概念及關(guān)鍵技術(shù)第二章相關(guān)概念及關(guān)鍵技術(shù)逡逑數(shù)據(jù)系統(tǒng)體系架構(gòu)逡逑據(jù)系統(tǒng)為了能夠處理多種類型的數(shù)據(jù)，適應(yīng)數(shù)據(jù)增長(zhǎng)的速度以及復(fù)，其內(nèi)部結(jié)構(gòu)復(fù)雜，涉及了許多與數(shù)據(jù)分析，數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)呈現(xiàn)。目前大數(shù)據(jù)系統(tǒng)一般使用多層應(yīng)用模型，應(yīng)用邏輯按功能劃分為塊，典型的大數(shù)據(jù)系統(tǒng)架構(gòu)如下圖２－１：逡逑

定數(shù)據(jù)的失效時(shí)間，默認(rèn)是永久。為了有效的減少ＣＰＵ開(kāi)銷，Ｍｅｍｃａｃｈｅｄ不會(huì)逡逑實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)是否過(guò)期，，而是在需要的時(shí)候，才會(huì)查看數(shù)據(jù)的時(shí)間戳。逡逑使用Ｍｅｍｃａｃｈｅｄ構(gòu)建數(shù)據(jù)緩存服務(wù)器的在系統(tǒng)中的作用如下圖２－４：逡逑邐邐邐＾逡逑數(shù)據(jù)庫(kù)ｉ邋數(shù)據(jù)庫(kù)ｊ逡逑數(shù)據(jù)？：邋ｉ數(shù)據(jù)庫(kù)逡逑＾邐應(yīng)用程序逡逑７＝Ｔ邐」逡逑Ｍｅｍｃａｃｈｅｄ逡逑－－－－－邐Ｊ邋：；摩�。义希停澹恚悖幔悖瑁澹溴义蠄D２－４邋Ｍｅｍｃａｃｈｅｄ在系統(tǒng)中的作用逡逑Ｍｅｍｃａｃｈｅｄ使用的是客戶端／服務(wù)器架構(gòu)，服務(wù)器啟動(dòng)后開(kāi)始監(jiān)聽(tīng)網(wǎng)絡(luò)。應(yīng)逡逑用程序獲取數(shù)據(jù)時(shí)首先訪問(wèn)Ｍｅｍｃａｃｈｅｄ服務(wù)器，如果Ｍｅｍｃａｃｈｅｄ內(nèi)存中含有需逡逑要的數(shù)據(jù)，就直接將數(shù)據(jù)返回，無(wú)需查詢數(shù)據(jù)庫(kù)。如果沒(méi)有，應(yīng)用程序接下來(lái)訪逡逑問(wèn)數(shù)據(jù)庫(kù)。從數(shù)據(jù)庫(kù)中獲得需要的數(shù)據(jù)后，如果該數(shù)據(jù)需要進(jìn)行緩存，應(yīng)用程序逡逑在將數(shù)據(jù)發(fā)送到Ｍｅｍｃａｃｈｅｄ服務(wù)器中。逡逑Ｍｅｍｃａｃｈｅｄ支持分布式的功能，因此我們可以在系統(tǒng)中部署多臺(tái)Ｍｅｍｃａｃｈｅｄ逡逑９逡逑
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 王正也;李書芳;;一種基于Hive日志分析的大數(shù)據(jù)存儲(chǔ)優(yōu)化方法[J];軟件;2014年11期

2 饒?zhí)m蘭;肖杰偉;;一種異構(gòu)數(shù)據(jù)讀寫分離技術(shù)的架構(gòu)理論和實(shí)踐[J];電腦編程技巧與維護(hù);2014年24期

3 何清;莊福振;;基于云計(jì)算的大數(shù)據(jù)挖掘平臺(tái)[J];中興通訊技術(shù);2013年04期

4 穆興團(tuán);崔嵩;滿令伍;;基于SCADA系統(tǒng)的實(shí)時(shí)數(shù)據(jù)庫(kù)管理系統(tǒng)研發(fā)[J];可編程控制器與工廠自動(dòng)化;2013年04期

5 李愛(ài)武;;Oracle查詢效率主要影響因素分析[J];現(xiàn)代計(jì)算機(jī)(專業(yè)版);2011年05期

6 尹江;尹治本;黃洪;;網(wǎng)絡(luò)爬蟲(chóng)效率瓶頸的分析與解決方案[J];計(jì)算機(jī)應(yīng)用;2008年05期

7 柯東林;;死鎖與事務(wù)優(yōu)化[J];鄂州大學(xué)學(xué)報(bào);2007年02期

相關(guān)碩士學(xué)位論文 前10條

1 楊帆;智能配電網(wǎng)高級(jí)應(yīng)用的數(shù)據(jù)平臺(tái)研究[D];華北電力大學(xué);2014年

2 王旭良;海量數(shù)據(jù)緩存算法與設(shè)計(jì)模式的研究及應(yīng)用[D];浙江大學(xué);2013年

3 陳勉;基于ACE的分布式數(shù)據(jù)通信平臺(tái)研究與實(shí)現(xiàn)[D];華南理工大學(xué);2011年

4 程濤;個(gè)性化網(wǎng)絡(luò)信息采集處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2011年

5 李軍;高并發(fā)Web系統(tǒng)的設(shè)計(jì)與優(yōu)化[D];北京交通大學(xué);2009年

6 李章漾;大型MIS系統(tǒng)安全框架研究與實(shí)踐[D];北京郵電大學(xué);2008年

7 宋海平;大型應(yīng)用系統(tǒng)中數(shù)據(jù)庫(kù)性能優(yōu)化的研究[D];武漢理工大學(xué);2007年

8 管莉;分布式IPTV系統(tǒng)及其在遠(yuǎn)程教育系統(tǒng)中的應(yīng)用[D];鄭州大學(xué);2006年

9 薛竹飆;實(shí)時(shí)內(nèi)存數(shù)據(jù)庫(kù)關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[D];東南大學(xué);2006年

10 趙亮;高性能磁盤陣列（RAID）關(guān)鍵技術(shù)的研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2002年

本文編號(hào)：2568455