【摘要】：隨著高考網(wǎng)上志愿填報系統(tǒng)的普及,招生管理單位掌握了大量的考生填報數(shù)據(jù)。然而由于缺乏高效的分析平臺,造成這些數(shù)據(jù)未能得到有效的利用。而大數(shù)據(jù)技術(shù)的出現(xiàn),使得這一問題能夠得以解決。在此背景下,本文就目前流行的Hadoop分布式處理平臺進行深入研究,并圍繞高考志愿填報數(shù)據(jù)分析開展了一系列研究工作,主要研究內(nèi)容及創(chuàng)新點如下:(1)對分布式處理平臺的架構(gòu)和原理進行了分析和研究,并對Hadoop分布式處理平臺的架構(gòu)進行闡述,分析了Hadoop文件系統(tǒng),MapReduce計算模型的結(jié)構(gòu)和設(shè)計思想。(2)針對大數(shù)據(jù)處理基本流程,結(jié)合高考志愿填報數(shù)據(jù)的特點并在借鑒了Hadoop設(shè)計模式的基礎(chǔ)上,設(shè)計了一個由核心控制節(jié)點、數(shù)據(jù)預(yù)處理節(jié)點、計算節(jié)點和監(jiān)控節(jié)點組成的分布式數(shù)據(jù)處理模型,以滿足高考志愿數(shù)據(jù)分析的需求。(3)提出并實現(xiàn)了一種基于遺傳算法的任務(wù)調(diào)度算法,將任務(wù)的執(zhí)行時間和成本納入到考慮范圍,降低任務(wù)消耗時間,節(jié)約運行成本。對比實驗表明,該算法同Hadoop平臺采用的FIFO調(diào)度算法相比,在任務(wù)總響應(yīng)時間和任務(wù)執(zhí)行成本方面有顯著降低。(4)提出了一個改進的協(xié)同過濾高考志愿推薦算法,并實現(xiàn)了算法的并行化。實驗結(jié)果表明,該算法可以為高考考生提供準(zhǔn)確的志愿推薦。通過對比串行算法和并行算法的執(zhí)行效率,驗證了算法在不同數(shù)量節(jié)點下的運行效率。
[Abstract]:With the popularity of the online voluntary filling system for college entrance examination, the enrollment management unit has mastered a large number of candidates to fill in the data. However, due to the lack of an efficient analysis platform, these data can not be used effectively. With the emergence of big data technology, this problem can be solved. Under this background, this paper makes an in-depth study on the popular Hadoop distributed processing platform, and carries out a series of research work around the analysis of the voluntary filling data of the college entrance examination. The main research contents and innovations are as follows: (1) the architecture and principle of distributed processing platform are analyzed and studied, and the architecture of Hadoop distributed processing platform is described, and the Hadoop file system is analyzed. The structure and design idea of MapReduce computing model. (2) according to the basic process of big data processing, combined with the characteristics of college entrance examination voluntary filling data, and on the basis of drawing lessons from Hadoop design pattern, a core control node is designed. A distributed data processing model composed of data preprocessing node, computing node and monitoring node is proposed and implemented to meet the needs of voluntary data analysis of college entrance examination. (3) A task scheduling algorithm based on genetic algorithm is proposed and implemented. The execution time and cost of the task are taken into account to reduce the task consumption time and save the operation cost. The experimental results show that compared with the FIFO scheduling algorithm used in Hadoop platform, the total task response time and task execution cost of this algorithm are significantly reduced. (4) an improved cooperative filtering voluntary recommendation algorithm for college entrance examination is proposed. The parallelization of the algorithm is realized. The experimental results show that the algorithm can provide accurate voluntary recommendation for college entrance examination candidates. By comparing the execution efficiency of serial algorithm and parallel algorithm, the running efficiency of the algorithm under different number of nodes is verified.
【學(xué)位授予單位】：長春理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：G637;TP311.13

【參考文獻】

相關(guān)期刊論文 前10條

1 陳騫;;韓國發(fā)展大數(shù)據(jù)的計劃與行動[J];上海信息化;2015年10期

2 ;國務(wù)院關(guān)于印發(fā)促進大數(shù)據(jù)發(fā)展行動綱要的通知[J];中華人民共和國國務(wù)院公報;2015年26期

3 郭嘉凱;;大數(shù)據(jù)戰(zhàn)略[J];軟件和集成電路;2015年08期

4 廖建新;;大數(shù)據(jù)技術(shù)的應(yīng)用現(xiàn)狀與展望[J];電信科學(xué);2015年07期

5 徐蘭靜;李珊;嚴(yán)釗;;基于協(xié)同過濾的高考志愿推薦系統(tǒng)[J];計算機系統(tǒng)應(yīng)用;2015年07期

6 李學(xué)龍;龔海剛;;大數(shù)據(jù)系統(tǒng)綜述[J];中國科學(xué):信息科學(xué);2015年01期

7 李彬;;大數(shù)據(jù)背景下日本信息產(chǎn)業(yè)發(fā)展成效與問題[J];東北亞學(xué)刊;2015年01期

8 閆建;高華麗;;發(fā)達(dá)國家大數(shù)據(jù)發(fā)展戰(zhàn)略的啟示[J];理論探索;2015年01期

9 冷亞軍;陸青;梁昌勇;;協(xié)同過濾推薦技術(shù)綜述[J];模式識別與人工智能;2014年08期

10 張引;陳敏;廖小飛;;大數(shù)據(jù)應(yīng)用的現(xiàn)狀與展望[J];計算機研究與發(fā)展;2013年S2期

相關(guān)博士學(xué)位論文 前1條

1 林文輝;基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺的關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 張永芳;基于Hadoop平臺的并行數(shù)據(jù)挖掘算法研究[D];安徽理工大學(xué);2016年

2 汲磊舉;大數(shù)據(jù)環(huán)境下動車組故障關(guān)聯(lián)關(guān)系分析關(guān)鍵技術(shù)研究與實現(xiàn)[D];北京交通大學(xué);2016年

3 陳敏偉;大數(shù)據(jù)技術(shù)在鐵路貨運電子商務(wù)系統(tǒng)中的基本應(yīng)用研究[D];西南交通大學(xué);2015年

4 黨永亮;大數(shù)據(jù)分析在移動通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用研究[D];華中師范大學(xué);2015年

5 郭凱振;基于Hadoop的分布式計算系統(tǒng)的設(shè)計與實現(xiàn)[D];大連海事大學(xué);2015年

6 王淑芬;基于大數(shù)據(jù)的制造運行監(jiān)測與分析平臺研究[D];廣東工業(yè)大學(xué);2014年

7 李步源;基于云計算的協(xié)同過濾算法并行化研究[D];鄭州大學(xué);2013年

8 趙莎;分布式海量數(shù)據(jù)處理系統(tǒng)計算節(jié)點的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2012年

9 楊浩杰;高考志愿填報的數(shù)據(jù)分析研究[D];河南大學(xué);2011年

10 殷員分;高考考生志愿數(shù)據(jù)分析與挖掘研究[D];西南大學(xué);2010年

，

本文編號：2495155