本文選題：HSK考試 + 協(xié)同過濾�。� 參考：《江蘇大學》2017年碩士論文

【摘要】：HSK是指漢語水平等級考試,其目的是為測試母語為非漢語者的漢語水平而建立的官方國家級標準化考試。為此我們課題組于2013年開發(fā)了HSK漢語考試系統(tǒng),在北美、歐洲的多家孔子學院獲得應用。經(jīng)過3年多的運行,由于系統(tǒng)積累了大量的歷史用戶數(shù)據(jù),組卷速度在高并發(fā)條件下逐漸變慢,且當時設計的HSK漢語系統(tǒng)對考生的個性化特征考慮不多,動態(tài)組卷的功能不強。針對上述問題,我們采用基于Hadoop生態(tài)圈的分布式存儲計算并行化地實現(xiàn)協(xié)同過濾推薦算法,通過分析考生行為數(shù)據(jù)進行個性化的組卷。本文的主要研究內(nèi)容和工作如下:1.在分析了HSK漢語考試系統(tǒng)的功能需求的基礎上,采用B/S分層,規(guī)劃整體設計目標、邏輯結構,實現(xiàn)了系統(tǒng)的核心模塊。2.針對HSK漢語考試系統(tǒng)中隨機組卷的不足,提出了基于物品的協(xié)同過濾組卷算法,為考生推薦個性化的試題。設計并實現(xiàn)了基于Hadoop平臺的協(xié)同過濾組卷,將計算任務分解為一系列MapReduce作業(yè)流程,在Hadoop平臺上進行分布式處理。3.為了降低組卷模塊與系統(tǒng)其他模塊的邏輯耦合,設計并實現(xiàn)了基于消息隊列和Spark Streaming框架的數(shù)據(jù)收集系統(tǒng),通過Kafka消息隊列完成了考生實時評分記錄的轉換,并通過Streaming實時流處理模塊完成考生評分記錄的收集。
[Abstract]:HSK refers to the Chinese proficiency level examination, which is an official national standardized test established for the purpose of testing the Chinese proficiency of non-native speakers. Therefore, our team developed the HSK Chinese examination system in 2013, which has been applied to many Confucius institutes in North America and Europe. After running for more than three years, because the system has accumulated a large amount of historical user data, the speed of test paper formation has gradually become slower under the condition of high concurrency, and the HSK Chinese language system designed at that time has not considered many individualized features of examinees, and the function of dynamic composition test paper is not strong. To solve the above problems, we use distributed storage computing based on Hadoop ecosystem to implement collaborative filtering and recommendation algorithm, and analyze the data of examinee behavior to form individual test papers. The main contents and work of this paper are as follows: 1. Based on the analysis of the functional requirements of the HSK Chinese examination system, this paper adopts the B / S stratification, the overall design goal, the logical structure, and realizes the core module of the system. In order to solve the problem of random test composition in HSK Chinese examination system, a collaborative filtering algorithm based on articles is proposed to recommend individualized test questions for examinees. In this paper, we design and implement the collaborative filtering based on Hadoop platform, decompose the computing task into a series of MapReduce workflow, and process .3on the Hadoop platform. In order to reduce the logical coupling between the test paper generating module and other modules of the system, a data collection system based on message queue and Spark Streaming framework is designed and implemented. Through the Kafka message queue, the candidates' real-time score record conversion is completed. And through the Streaming real-time stream processing module to complete the examinee score record collection.
【學位授予單位】：江蘇大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP311.52

【參考文獻】

相關期刊論文 前10條

1 肖剛;王昌達;張文莉;;基于項目反應理論的HSK自適應分級考試系統(tǒng)[J];電子設計工程;2014年20期

2 刁雪強;謝志偉;;基于WEB的在線考試系統(tǒng)設計與實現(xiàn)[J];黑龍江科技信息;2014年21期

3 龔建華;;JSON格式數(shù)據(jù)在Web開發(fā)中的應用[J];辦公自動化;2013年20期

4 程小揚;丁樹良;朱隆尹;巫華芳;;等級評分模型下的最大信息量分層選題策略[J];江西師范大學學報(自然科學版);2012年05期

5 肖強;朱慶華;鄭華;吳克文;;Hadoop環(huán)境下的分布式協(xié)同過濾算法設計與實現(xiàn)[J];現(xiàn)代圖書情報技術;2013年01期

6 田軍;;淺談jQuery技術在Web開發(fā)中的應用[J];電子世界;2012年24期

7 劉軍霞;熊選東;付建丹;;基于發(fā)布/訂閱的推模式服務調(diào)用[J];計算機系統(tǒng)應用;2012年12期

8 張文濤;常紅星;;基于ASP.NET的B/S架構下的項目管理系統(tǒng)的網(wǎng)絡安全模式設計[J];計算機科學;2008年02期

9 袁敏;黃志球;馬瀟瀟;;一種主動式有狀態(tài)的Web時效索引機制[J];計算機應用研究;2007年07期

10 王振操;;系統(tǒng)測試的應用[J];信息技術與標準化;2007年07期

相關博士學位論文 前1條

1 譚昶;基于面向?qū)ο笏枷牒偷湫陀脩羧航M的個性化推薦方法研究[D];中國科學技術大學;2014年

相關碩士學位論文 前5條

1 路小瑞;基于Hadoop平臺的職位推薦系統(tǒng)的設計與實現(xiàn)[D];上海交通大學;2015年

2 郭韋昱;基于用戶行為分析的個性化推薦系統(tǒng)設計與實現(xiàn)[D];南京大學;2012年

3 姜文;基于Hadoop平臺的數(shù)據(jù)分析和應用[D];北京郵電大學;2011年

4 徐江濤;基于遺傳算法的試題庫智能組卷研究[D];湖南師范大學;2007年

5 姜火文;基于Web的自適應考試系統(tǒng)的研究與實現(xiàn)[D];電子科技大學;2006年

，

本文編號：1968529