本文關(guān)鍵詞： 大數(shù)據(jù) Hadoop 一卡通 消費(fèi)分析　出處：《內(nèi)蒙古農(nóng)業(yè)大學(xué)》2017年碩士論文　論文類(lèi)型：學(xué)位論文

【摘要】：隨著大數(shù)據(jù)技術(shù)的高速發(fā)展,與之結(jié)合的領(lǐng)域亦是越來(lái)越多,商業(yè)網(wǎng)購(gòu)的用戶數(shù)據(jù)分析、生物信息學(xué)的基因比對(duì)、關(guān)于系統(tǒng)運(yùn)維的日志分析等等,大數(shù)據(jù)技術(shù)的應(yīng)用價(jià)值在眾多方面得到了體現(xiàn)。而校園一卡通管理系統(tǒng),在大學(xué)信息化管理方面,做出了十分重要的貢獻(xiàn),但對(duì)于校園一卡通系統(tǒng)里存儲(chǔ)的大量數(shù)據(jù)及這數(shù)據(jù)里邊蘊(yùn)含著的大量的商業(yè)信息與管理信息,現(xiàn)有的分析研究卻是較為緩慢的。大數(shù)據(jù)技術(shù)的到來(lái),無(wú)疑給了研究人員研究校園一卡通里的這些數(shù)據(jù)帶來(lái)了全新的技術(shù)支持,用大數(shù)據(jù)技術(shù)去分析這些數(shù)據(jù),并在其中找出潛在的聯(lián)系和規(guī)律,對(duì)于校園建設(shè)與管理工作,有著難以估量的決策參考作用。所以,建立一個(gè)基于大數(shù)據(jù)平臺(tái)的校園一卡通消費(fèi)分析系統(tǒng)具有現(xiàn)實(shí)意義。把校園一卡通系統(tǒng)里的交易數(shù)據(jù)作為分析研究對(duì)象,運(yùn)用Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)相關(guān)技術(shù)對(duì)其展開(kāi)分析研究,建立起輔助于校園一卡通管理系統(tǒng)的消費(fèi)分析系統(tǒng)。首先闡述了 Hadoop平臺(tái)的核心應(yīng)用HDFS分布式存儲(chǔ)系統(tǒng)和MapReduce分布式并行計(jì)算處理機(jī)制、Hive數(shù)據(jù)倉(cāng)庫(kù)工具和Sqoop數(shù)據(jù)傳遞工具。然后對(duì)學(xué)校決策層和工作人員的探索消費(fèi)分析的實(shí)際工作需求進(jìn)行了解和分解,得到該消費(fèi)分析系統(tǒng)的需求分析。并運(yùn)用常用的Hadoop業(yè)務(wù)處理框架對(duì)需求分析進(jìn)行設(shè)計(jì)與實(shí)現(xiàn),使用Sqoop工具將一卡通交易數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫(kù)中導(dǎo)入HDFS存儲(chǔ)系統(tǒng),運(yùn)用MapReduce技術(shù)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,再運(yùn)用Hive工具對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析并再次導(dǎo)入MySQL數(shù)據(jù)庫(kù)進(jìn)行web展示。論文還使用MapReduce技術(shù)對(duì)交易數(shù)據(jù)進(jìn)行了另外的分析技術(shù)嘗試和探索。最后初步得到了可提供于學(xué)校決策層和工作人員的關(guān)于消費(fèi)信息的建設(shè)性建議。論文的工作表明基于Hadoop的校園一卡通消費(fèi)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)是非常有意義的,同時(shí),現(xiàn)在的工作也為明天的學(xué)校綜合信息分析和數(shù)據(jù)挖掘工作奠定了基礎(chǔ),為下一步構(gòu)造完整的分析平臺(tái)和提供更深遠(yuǎn)的決策建議進(jìn)行了有效的探索。
[Abstract]:With the rapid development of big data technology, there are more and more fields combined with it, such as data analysis of commercial online shopping, gene alignment of bioinformatics, log analysis of system operation and maintenance, and so on. The application value of big data technology has been reflected in many aspects. And campus one-card management system, in the university information management, has made a very important contribution. But for the campus card system stored a large number of data and the data contained in a large number of business information and management information, the existing analysis and research is relatively slow. The arrival of big data technology. It undoubtedly gives researchers new technical support to study the data in campus cards, using big data technology to analyze the data, and to find out the potential links and patterns in the data. For campus construction and management work, there is an incalculable role of decision-making reference. It is of practical significance to establish a campus one-card consumption analysis system based on the big data platform. The transaction data in the campus one-card system is taken as the research object. Using the big data technology of Hadoop ecosystem to analyze and study it. A consumption analysis system is established to assist the campus card management system. The core of Hadoop platform is HDFS distributed storage system and MapReduce distributed parallel computing mechanism. Hive data Warehouse tools and Sqoop data transfer tools. Then the school decision-making level and staff exploration consumption analysis of the actual work needs to understand and decompose. Get the demand analysis of the consumption analysis system, and use the commonly used Hadoop business processing framework to design and implement the demand analysis. Using the Sqoop tool to import the card transaction data from the relational database into the HDFS storage system, using MapReduce technology to pre-process the data. Then we use the Hive tool to analyze the data and import the MySQL database to show the web again. This paper also uses the MapReduce technology to carry on the other analysis technology to the transaction data. Finally, some constructive suggestions on consumption information for school decision makers and staff are obtained. The work of this paper shows the design of campus one-card consumption analysis system based on Hadoop. Planning and implementation is very meaningful. At the same time, the present work has also laid the foundation for the school comprehensive information analysis and the data mining work tomorrow, has carried on the effective exploration for the next step constructs the complete analysis platform and provides the more profound decision suggestion.
【學(xué)位授予單位】：內(nèi)蒙古農(nóng)業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：TP311.52

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 宋金玉;陳爽;郭大鵬;王內(nèi)蒙;;數(shù)據(jù)質(zhì)量及數(shù)據(jù)清洗方法[J];指揮信息系統(tǒng)與技術(shù);2013年05期

2 周曉艷;;校園信息門(mén)戶中一卡通數(shù)據(jù)的集成[J];科技信息;2010年26期

3 彭宇;羅清華;彭喜元;;網(wǎng)絡(luò)化測(cè)試體系中不確定性數(shù)據(jù)處理方法淺析[J];儀器儀表學(xué)報(bào);2010年01期

4 張敬濤;李向陽(yáng);李田來(lái);;“一卡通”——方便、快捷、安全——山東師范大學(xué)數(shù)字化校園“一卡通”系統(tǒng)[J];信息技術(shù)與信息化;2007年03期

5 徐正雄,王玲;ORACLE數(shù)據(jù)庫(kù)空間管理實(shí)踐[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2004年03期

6 施伯樂(lè),汪衛(wèi);數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘研究進(jìn)展[J];計(jì)算機(jī)應(yīng)用與軟件;2003年11期

7 楊光,張雷,艾波;數(shù)據(jù)倉(cāng)庫(kù)及聯(lián)機(jī)分析處理技術(shù)[J];計(jì)算機(jī)工程與科學(xué);2000年01期

相關(guān)碩士學(xué)位論文 前10條

1 周亮彪;IT運(yùn)維大數(shù)據(jù)平臺(tái)日志分析系統(tǒng)研究[D];中南林業(yè)科技大學(xué);2016年

2 劉靈松;校園一卡通數(shù)據(jù)分析平臺(tái)研究與設(shè)計(jì)[D];山東師范大學(xué);2015年

3 周海靖;日志大數(shù)據(jù)分析平臺(tái)技術(shù)研究[D];山東大學(xué);2015年

4 桑柏嵩;Agent的網(wǎng)絡(luò)安全日志收集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2015年

5 謝樹(shù)銘;基于大數(shù)據(jù)處理技術(shù)Hadoop的論壇日志分析[D];江西農(nóng)業(yè)大學(xué);2014年

6 董妍妍;基于Hadoop的Teradata數(shù)據(jù)倉(cāng)庫(kù)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

7 張佳;數(shù)據(jù)挖掘技術(shù)在校園一卡通系統(tǒng)中的應(yīng)用研究[D];蘇州大學(xué);2013年

8 王德才;數(shù)據(jù)挖掘在校園卡消費(fèi)行為分析中的研究與應(yīng)用[D];哈爾濱工程大學(xué);2010年

9 羅華群;校園一卡通數(shù)據(jù)的挖掘與應(yīng)用[D];華東師范大學(xué);2009年

10 曾秋鳳;數(shù)據(jù)挖掘在校園一卡通數(shù)據(jù)庫(kù)中的應(yīng)用研究[D];江西師范大學(xué);2008年

，

本文編號(hào)：1489749