本課題立足于高校各業(yè)務(wù)部門的實(shí)際需求,從統(tǒng)一規(guī)劃的全局設(shè)計(jì)理念出發(fā),研究設(shè)計(jì)了適用于高校管理、決策的智慧學(xué)工大數(shù)據(jù)平臺(tái)。在學(xué)工大數(shù)據(jù)平臺(tái)建設(shè)過(guò)程中,本文解決了高校各業(yè)務(wù)系統(tǒng)海量數(shù)據(jù)采集、存儲(chǔ)、處理分析的難題,提高了高校決策管理信息化的水平、增強(qiáng)了各級(jí)管理部門的工作效率以及精細(xì)化管理的力度,為高校的決策管理提供數(shù)據(jù)支持。本文以高校各業(yè)務(wù)部門的實(shí)際需求為驅(qū)動(dòng),利用先進(jìn)的架構(gòu)理念,打造集業(yè)務(wù)系統(tǒng)數(shù)據(jù)查詢、功能管理、信息交互、決策支持為一體的高校智慧學(xué)工大數(shù)據(jù)平臺(tái)。提出學(xué)工數(shù)據(jù)平臺(tái)體系架構(gòu),采用數(shù)據(jù)采集工具NiFi完成業(yè)務(wù)系統(tǒng)數(shù)據(jù)的實(shí)時(shí)抽取;采用Elasticsearch作為平臺(tái)的數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行海量業(yè)務(wù)系統(tǒng)數(shù)據(jù)的實(shí)時(shí)存儲(chǔ);采用分布式計(jì)算工具Spark完成對(duì)數(shù)據(jù)的實(shí)時(shí)并行處理并通過(guò)其計(jì)算框架MLlib對(duì)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)深度挖掘;最后采用Echarts作為平臺(tái)前端,通過(guò)圖表的形式將數(shù)據(jù)的分析結(jié)果可視化展示。本文對(duì)平臺(tái)用到的模型進(jìn)行分析討論,并建立精準(zhǔn)資助模型用以發(fā)現(xiàn)群體中的貧困生,結(jié)果顯示模型準(zhǔn)確率達(dá)到80%以上。數(shù)據(jù)平臺(tái)共分為九大模塊,本文對(duì)每個(gè)模塊的功能進(jìn)行分析討論并給出模塊的界面展示圖。本文利用... 

【文章來(lái)源】：青島科技大學(xué)山東省

【文章頁(yè)數(shù)】：88 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

中國(guó)網(wǎng)民規(guī)模和互聯(lián)網(wǎng)普及率

青島科技大學(xué)研究生學(xué)位論文3圖1-2中國(guó)網(wǎng)民職業(yè)結(jié)構(gòu)Figure1-2careerstructureofChineseInternetusers從以上兩幅圖可以看出，隨著社會(huì)的進(jìn)步和時(shí)代的發(fā)展，互聯(lián)網(wǎng)普及規(guī)模將進(jìn)一步擴(kuò)大，在其中，學(xué)生群體占有很大的比重。對(duì)高校學(xué)生來(lái)說(shuō)，網(wǎng)絡(luò)的普及是把雙刃劍，一方面為學(xué)生的學(xué)習(xí)生活帶來(lái)了便利，另一方面也產(chǎn)生了學(xué)生沉迷互聯(lián)網(wǎng)等一連串的問(wèn)題。后者不僅影響了學(xué)生的學(xué)業(yè)成績(jī)，還對(duì)學(xué)生身體健康造成了很大的危害，甚至引發(fā)心理問(wèn)題，這些都是值得學(xué)校引起重視的問(wèn)題。而在高校數(shù)據(jù)庫(kù)中所積累的學(xué)生上網(wǎng)日志數(shù)據(jù)里則隱含了學(xué)生的上網(wǎng)習(xí)慣等信息，在大數(shù)據(jù)時(shí)代的背景下，利用大數(shù)據(jù)技術(shù)科學(xué)分析大學(xué)生網(wǎng)絡(luò)行為的特性，有針對(duì)性地指導(dǎo)大學(xué)生合理使用網(wǎng)絡(luò)資源、建立健全的互聯(lián)網(wǎng)概念、樹立健康上網(wǎng)的觀念，為學(xué)校加強(qiáng)網(wǎng)絡(luò)管理提供決策支持，已成為一個(gè)亟待研究的問(wèn)題。對(duì)網(wǎng)絡(luò)行為的研究主要是分析用戶行為規(guī)律性，以預(yù)測(cè)和控制其網(wǎng)絡(luò)行為。具體而言，研究用戶的網(wǎng)絡(luò)行為就是分析用戶的構(gòu)成，特征和行為規(guī)律，行為大數(shù)據(jù)研究對(duì)于高校學(xué)生的網(wǎng)絡(luò)行動(dòng)分析有很大的應(yīng)用價(jià)值。同時(shí)，心理學(xué)、社會(huì)學(xué)、社會(huì)心理學(xué)、人類學(xué)以及網(wǎng)絡(luò)行為相關(guān)的所有領(lǐng)域都與網(wǎng)絡(luò)行為的研究密切相關(guān)，利用大數(shù)據(jù)技術(shù)研究大學(xué)生的上網(wǎng)行為習(xí)慣也對(duì)及時(shí)發(fā)現(xiàn)、疏導(dǎo)大學(xué)生心理問(wèn)題有一定的作用。現(xiàn)如今，校園網(wǎng)絡(luò)規(guī)模越來(lái)越大，應(yīng)用范圍也越來(lái)越廣，網(wǎng)絡(luò)用戶數(shù)量正在不斷增加，用戶的行為也越來(lái)越復(fù)雜。高校使用各種各樣的硬件設(shè)備來(lái)記錄用戶的網(wǎng)絡(luò)訪問(wèn)行為，在數(shù)據(jù)庫(kù)中積蓄著大量的數(shù)據(jù)，如果不對(duì)這些數(shù)據(jù)加以利用，數(shù)據(jù)記錄將會(huì)成為一種負(fù)擔(dān)，需要定期清理以減輕設(shè)備負(fù)擔(dān)。高校應(yīng)該詳細(xì)分析累積的數(shù)據(jù)以挖掘數(shù)據(jù)中隱含的信息，更好地利用這些數(shù)據(jù)來(lái)管理網(wǎng)絡(luò)。在許多

基于數(shù)據(jù)挖掘的大學(xué)生上網(wǎng)行為分析10校外招聘單位：招聘單位登錄平臺(tái)后可以了解應(yīng)聘者四年來(lái)的個(gè)人畫像信息以及平臺(tái)對(duì)應(yīng)聘者生成的個(gè)人分析報(bào)告，使單位能更全面地了解應(yīng)聘者。招聘單位人員也會(huì)得到相關(guān)專業(yè)人才推薦，在方便其招到更合適的員工的同時(shí)提高學(xué)校就業(yè)率。2.1.3平臺(tái)設(shè)計(jì)約束本校智慧校園應(yīng)用系統(tǒng)工程項(xiàng)目采用B/S架構(gòu)，使用JAVA開發(fā)語(yǔ)言，編碼符合《曙光公司研發(fā)中心Java編碼規(guī)范》的要求。系統(tǒng)運(yùn)行的軟件環(huán)境要求如表2-1所示：表2-1系統(tǒng)運(yùn)行軟件環(huán)境要求Table2-1environmentrequirementsofsystemoperationsoftware操作系統(tǒng)Centos7.3-1611客戶端軟件Chrome73及以上,Firefox64及以上,IE11及EdgeJava1.8數(shù)據(jù)庫(kù)MySQL5.7HadoopDistributionXData大數(shù)據(jù)基礎(chǔ)平臺(tái)2.2平臺(tái)技術(shù)架構(gòu)研究根據(jù)需求分析，同時(shí)為了更好地實(shí)現(xiàn)平臺(tái)功能，設(shè)計(jì)平臺(tái)技術(shù)架構(gòu)如圖2-1所示：圖2-1智慧學(xué)工大數(shù)據(jù)平臺(tái)總體技術(shù)架構(gòu)圖Figure2-1overalltechnicalarchitectureofintelligentbigdataplatform

【參考文獻(xiàn)】：
期刊論文
[1]高校大數(shù)據(jù)平臺(tái)的構(gòu)建與應(yīng)用[J]. 薛峰.  信息與電腦(理論版). 2019(24)
[2]互聯(lián)網(wǎng)數(shù)據(jù)在高校大數(shù)據(jù)平臺(tái)中的應(yīng)用研究[J]. 高顯俊,黃儒樂(lè).  科技資訊. 2019(36)
[3]高校大數(shù)據(jù)平臺(tái)構(gòu)建及應(yīng)用[J]. 劉香玉,徐紅彥,侯英哲,齊嘉亮,顏玲.  電子技術(shù)與軟件工程. 2019(04)
[4]面向企業(yè)級(jí)數(shù)據(jù)中心的分布式ETL研究與設(shè)計(jì)[J]. 翁業(yè)林,周泓,侯兵.  軟件工程. 2018(12)
[5]高校大數(shù)據(jù)平臺(tái)的構(gòu)建與應(yīng)用探索[J]. 曾楊.  中小企業(yè)管理與科技(下旬刊). 2018(10)
[6]基于數(shù)據(jù)挖掘技術(shù)的上網(wǎng)行為分析[J]. 李智,黃文明.  輕工科技. 2018(07)
[7]高校大數(shù)據(jù)平臺(tái)建設(shè)與研究[J]. 曲英濤.  應(yīng)用科技. 2018(02)
[8]基于Hadoop的高校大數(shù)據(jù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 唐燕,劉仁權(quán),王蘋.  信息技術(shù). 2017(12)
[9]多數(shù)據(jù)倉(cāng)庫(kù)集成方案的設(shè)計(jì)與實(shí)現(xiàn)[J]. 郭艷飛,宋麗華,戰(zhàn)穎,羅攀.  信息技術(shù). 2017(07)
[10]高校大數(shù)據(jù)平臺(tái)的建設(shè)意義[J]. 李金旭,呂書林.  中國(guó)市場(chǎng). 2017(15)

碩士論文
[1]基于Adaboost的鐵路扣件完損性檢測(cè)方法研究[D]. 張苗燕.蘭州交通大學(xué) 2018
[2]基于高校大數(shù)據(jù)平臺(tái)數(shù)據(jù)集成系統(tǒng)的研究[D]. 鄧涵元.武漢郵電科學(xué)研究院 2018
[3]大數(shù)據(jù)分析中的聚類算法研究[D]. 蔡洪山.安徽理工大學(xué) 2016
[4]基于MapReduce的高校大數(shù)據(jù)分析挖掘[D]. 司雅楠.河南師范大學(xué) 2016
[5]基于HBase的應(yīng)用平臺(tái)的研究與實(shí)現(xiàn)[D]. 李青云.北京郵電大學(xué) 2015
[6]基于Hadoop的郵件敏感詞檢測(cè)與告警技術(shù)研究[D]. 孫佳.東華大學(xué) 2015
[7]高校信息系統(tǒng)集成中的統(tǒng)一門戶的研究與設(shè)計(jì)[D]. 焦緒騰.南昌航空大學(xué) 2014
[8]基于層次聚類的集成學(xué)習(xí)方法及應(yīng)用研究[D]. 周濟(jì).湖南工業(yè)大學(xué) 2014
[9]數(shù)據(jù)挖掘在用戶上網(wǎng)行為分析中的應(yīng)用與實(shí)現(xiàn)[D]. 劉夢(mèng)超.南華大學(xué) 2013
[10]基于校園網(wǎng)的用戶行為分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 沈麒.蘇州大學(xué) 2011



本文編號(hào)：3638891