本文關(guān)鍵詞：基于Hadoop和Django的大數(shù)據(jù)可視化分析Web系統(tǒng)

  更多相關(guān)文章： Hadoop Django 大數(shù)據(jù) 可視化 作業(yè)調(diào)度算法

【摘要】：互聯(lián)網(wǎng)的發(fā)展讓數(shù)據(jù)量呈現(xiàn)指數(shù)增長(zhǎng),當(dāng)今世界,人類(lèi)已經(jīng)進(jìn)入大數(shù)據(jù)的時(shí)代,如何從海量的數(shù)據(jù)里發(fā)掘有價(jià)值的信息變的至關(guān)重要。將抽象和結(jié)構(gòu)復(fù)雜的數(shù)據(jù)變成易于人類(lèi)理解的信息是數(shù)據(jù)可視化技術(shù)研究的主要內(nèi)容。數(shù)據(jù)可視化技術(shù)是大數(shù)據(jù)領(lǐng)域的研究熱點(diǎn)之一,有著巨大的研究?jī)r(jià)值和應(yīng)用價(jià)值。本文結(jié)合實(shí)際的大數(shù)據(jù)可視化項(xiàng)目,探究了如何使用開(kāi)源的Django Web框架構(gòu)建基于Hadoop計(jì)算平臺(tái)的大數(shù)據(jù)可視化分析Web系統(tǒng),詳細(xì)介紹了系統(tǒng)的設(shè)計(jì)方案,并分模塊介紹了設(shè)計(jì)內(nèi)容。針對(duì)系統(tǒng)內(nèi)測(cè)階段暴露出的問(wèn)題,從多個(gè)方面進(jìn)行了優(yōu)化和改進(jìn),包括前端性能優(yōu)化、Django應(yīng)用層優(yōu)化、PostgreSQL數(shù)據(jù)庫(kù)優(yōu)化等,總結(jié)出了大量的Web系統(tǒng)優(yōu)化經(jīng)驗(yàn),具有一定的借鑒意義。項(xiàng)目中Web系統(tǒng)的數(shù)據(jù)源來(lái)自于Hadoop計(jì)算平臺(tái)。Hadoop計(jì)算平臺(tái)對(duì)成千上萬(wàn)的數(shù)據(jù)處理任務(wù)進(jìn)行調(diào)度,調(diào)度算法的好壞直接影響數(shù)據(jù)處理的效率。本文研究了Hadoop平臺(tái)作業(yè)調(diào)度算法。首先深入分析了Hadoop計(jì)算平臺(tái)三種常用的作業(yè)調(diào)度算法先進(jìn)先出調(diào)度算法、公平份額調(diào)度算法、計(jì)算能力調(diào)度算法的算法原理和各自的優(yōu)缺點(diǎn),隨后分析了包含“移動(dòng)計(jì)算”思想的延遲調(diào)度算法比三種常用調(diào)度算法的優(yōu)秀之處和自身的不足,在延遲調(diào)度算法的基礎(chǔ)上提出了一種考慮節(jié)點(diǎn)負(fù)載情況的改進(jìn)型延遲調(diào)度算法,給出了算法分析和仿真結(jié)果,證明改進(jìn)型延遲調(diào)度算法帶來(lái)更高的作業(yè)調(diào)度效率,具有一定的實(shí)用價(jià)值。最后,對(duì)項(xiàng)目的架構(gòu)相關(guān)問(wèn)題進(jìn)行了分析,這些問(wèn)題包括前后端存在職責(zé)不清晰的現(xiàn)象,前后端代碼之間存在干擾,隨著系統(tǒng)功能擴(kuò)展相關(guān)問(wèn)題會(huì)越來(lái)越突出。分析了淘寶開(kāi)發(fā)團(tuán)隊(duì)提出的前后端分離解決方案,并結(jié)合本項(xiàng)目架構(gòu)特點(diǎn)對(duì)系統(tǒng)未來(lái)的架構(gòu)改進(jìn)進(jìn)行了展望,引入NodeJS作為中間層,徹底消除前端和后端之間的代碼耦合,最終提高開(kāi)發(fā)效率和降低系統(tǒng)維護(hù)成本。
【學(xué)位授予單位】：東華大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP393.09

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前1條

1 劉勘,周曉崢,周洞汝;數(shù)據(jù)可視化的研究與發(fā)展[J];計(jì)算機(jī)工程;2002年08期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 張宜力;Hadoop平臺(tái)及其作業(yè)調(diào)度算法的研究[D];安徽工業(yè)大學(xué);2014年

2 李根;基于Django框架的生物信息網(wǎng)站建設(shè)[D];大連海事大學(xué);2014年

3 劉欣;基于MVC模式的Web軟件系統(tǒng)開(kāi)發(fā)框架設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2013年

4 齊俊峰;基于Django的校園管理系統(tǒng)的分析與開(kāi)發(fā)[D];蘭州大學(xué);2013年

5 方強(qiáng);基于WebGL的3D圖形引擎研究與實(shí)現(xiàn)[D];安徽大學(xué);2013年

6 焦雙偉;基于TCP/IP網(wǎng)絡(luò)的智能家居控制系統(tǒng)的研究與實(shí)現(xiàn)[D];南昌航空大學(xué);2012年

7 姜淼;Hadoop云平臺(tái)下調(diào)度算法的研究[D];吉林大學(xué);2012年

8 畢建信;基于MVC設(shè)計(jì)模式的Web應(yīng)用研究與實(shí)現(xiàn)[D];武漢理工大學(xué);2006年

9 侯景華;基于Apache的Web服務(wù)器性能優(yōu)化和分析[D];西安電子科技大學(xué);2006年

10 吳亮;基于PostgreSQL的海量數(shù)據(jù)存儲(chǔ)管理[D];中南大學(xué);2005年

，

本文編號(hào)：1223602