【摘要】：隨著高考網(wǎng)上志愿填報(bào)系統(tǒng)的普及,招生管理單位掌握了大量的考生填報(bào)數(shù)據(jù)。然而由于缺乏高效的分析平臺(tái),造成這些數(shù)據(jù)未能得到有效的利用。而大數(shù)據(jù)技術(shù)的出現(xiàn),使得這一問(wèn)題能夠得以解決。在此背景下,本文就目前流行的Hadoop分布式處理平臺(tái)進(jìn)行深入研究,并圍繞高考志愿填報(bào)數(shù)據(jù)分析開(kāi)展了一系列研究工作,主要研究?jī)?nèi)容及創(chuàng)新點(diǎn)如下:(1)對(duì)分布式處理平臺(tái)的架構(gòu)和原理進(jìn)行了分析和研究,并對(duì)Hadoop分布式處理平臺(tái)的架構(gòu)進(jìn)行闡述,分析了Hadoop文件系統(tǒng),MapReduce計(jì)算模型的結(jié)構(gòu)和設(shè)計(jì)思想。(2)針對(duì)大數(shù)據(jù)處理基本流程,結(jié)合高考志愿填報(bào)數(shù)據(jù)的特點(diǎn)并在借鑒了Hadoop設(shè)計(jì)模式的基礎(chǔ)上,設(shè)計(jì)了一個(gè)由核心控制節(jié)點(diǎn)、數(shù)據(jù)預(yù)處理節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)和監(jiān)控節(jié)點(diǎn)組成的分布式數(shù)據(jù)處理模型,以滿足高考志愿數(shù)據(jù)分析的需求。(3)提出并實(shí)現(xiàn)了一種基于遺傳算法的任務(wù)調(diào)度算法,將任務(wù)的執(zhí)行時(shí)間和成本納入到考慮范圍,降低任務(wù)消耗時(shí)間,節(jié)約運(yùn)行成本。對(duì)比實(shí)驗(yàn)表明,該算法同Hadoop平臺(tái)采用的FIFO調(diào)度算法相比,在任務(wù)總響應(yīng)時(shí)間和任務(wù)執(zhí)行成本方面有顯著降低。(4)提出了一個(gè)改進(jìn)的協(xié)同過(guò)濾高考志愿推薦算法,并實(shí)現(xiàn)了算法的并行化。實(shí)驗(yàn)結(jié)果表明,該算法可以為高考考生提供準(zhǔn)確的志愿推薦。通過(guò)對(duì)比串行算法和并行算法的執(zhí)行效率,驗(yàn)證了算法在不同數(shù)量節(jié)點(diǎn)下的運(yùn)行效率。
[Abstract]:With the popularity of the online voluntary filling system for college entrance examination, the enrollment management unit has mastered a large number of candidates to fill in the data. However, due to the lack of an efficient analysis platform, these data can not be used effectively. With the emergence of big data technology, this problem can be solved. Under this background, this paper makes an in-depth study on the popular Hadoop distributed processing platform, and carries out a series of research work around the analysis of the voluntary filling data of the college entrance examination. The main research contents and innovations are as follows: (1) the architecture and principle of distributed processing platform are analyzed and studied, and the architecture of Hadoop distributed processing platform is described, and the Hadoop file system is analyzed. The structure and design idea of MapReduce computing model. (2) according to the basic process of big data processing, combined with the characteristics of college entrance examination voluntary filling data, and on the basis of drawing lessons from Hadoop design pattern, a core control node is designed. A distributed data processing model composed of data preprocessing node, computing node and monitoring node is proposed and implemented to meet the needs of voluntary data analysis of college entrance examination. (3) A task scheduling algorithm based on genetic algorithm is proposed and implemented. The execution time and cost of the task are taken into account to reduce the task consumption time and save the operation cost. The experimental results show that compared with the FIFO scheduling algorithm used in Hadoop platform, the total task response time and task execution cost of this algorithm are significantly reduced. (4) an improved cooperative filtering voluntary recommendation algorithm for college entrance examination is proposed. The parallelization of the algorithm is realized. The experimental results show that the algorithm can provide accurate voluntary recommendation for college entrance examination candidates. By comparing the execution efficiency of serial algorithm and parallel algorithm, the running efficiency of the algorithm under different number of nodes is verified.
【學(xué)位授予單位】：長(zhǎng)春理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：G637;TP311.13

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳騫;;韓國(guó)發(fā)展大數(shù)據(jù)的計(jì)劃與行動(dòng)[J];上海信息化;2015年10期

2 ;國(guó)務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要的通知[J];中華人民共和國(guó)國(guó)務(wù)院公報(bào);2015年26期

3 郭嘉凱;;大數(shù)據(jù)戰(zhàn)略[J];軟件和集成電路;2015年08期

4 廖建新;;大數(shù)據(jù)技術(shù)的應(yīng)用現(xiàn)狀與展望[J];電信科學(xué);2015年07期

5 徐蘭靜;李珊;嚴(yán)釗;;基于協(xié)同過(guò)濾的高考志愿推薦系統(tǒng)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2015年07期

6 李學(xué)龍;龔海剛;;大數(shù)據(jù)系統(tǒng)綜述[J];中國(guó)科學(xué):信息科學(xué);2015年01期

7 李彬;;大數(shù)據(jù)背景下日本信息產(chǎn)業(yè)發(fā)展成效與問(wèn)題[J];東北亞學(xué)刊;2015年01期

8 閆建;高華麗;;發(fā)達(dá)國(guó)家大數(shù)據(jù)發(fā)展戰(zhàn)略的啟示[J];理論探索;2015年01期

9 冷亞軍;陸青;梁昌勇;;協(xié)同過(guò)濾推薦技術(shù)綜述[J];模式識(shí)別與人工智能;2014年08期

10 張引;陳敏;廖小飛;;大數(shù)據(jù)應(yīng)用的現(xiàn)狀與展望[J];計(jì)算機(jī)研究與發(fā)展;2013年S2期

相關(guān)博士學(xué)位論文 前1條

1 林文輝;基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺(tái)的關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 張永芳;基于Hadoop平臺(tái)的并行數(shù)據(jù)挖掘算法研究[D];安徽理工大學(xué);2016年

2 汲磊舉;大數(shù)據(jù)環(huán)境下動(dòng)車(chē)組故障關(guān)聯(lián)關(guān)系分析關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];北京交通大學(xué);2016年

3 陳敏偉;大數(shù)據(jù)技術(shù)在鐵路貨運(yùn)電子商務(wù)系統(tǒng)中的基本應(yīng)用研究[D];西南交通大學(xué);2015年

4 黨永亮;大數(shù)據(jù)分析在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用研究[D];華中師范大學(xué);2015年

5 郭凱振;基于Hadoop的分布式計(jì)算系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連海事大學(xué);2015年

6 王淑芬;基于大數(shù)據(jù)的制造運(yùn)行監(jiān)測(cè)與分析平臺(tái)研究[D];廣東工業(yè)大學(xué);2014年

7 李步源;基于云計(jì)算的協(xié)同過(guò)濾算法并行化研究[D];鄭州大學(xué);2013年

8 趙莎;分布式海量數(shù)據(jù)處理系統(tǒng)計(jì)算節(jié)點(diǎn)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2012年

9 楊浩杰;高考志愿填報(bào)的數(shù)據(jù)分析研究[D];河南大學(xué);2011年

10 殷員分;高考考生志愿數(shù)據(jù)分析與挖掘研究[D];西南大學(xué);2010年

，

本文編號(hào)：2495155