天堂国产午夜亚洲专区-少妇人妻综合久久蜜臀-国产成人户外露出视频在线-国产91传媒一区二区三区

當(dāng)前位置:主頁(yè) > 教育論文 > 教改課改論文 >

基于流式處理技術(shù)的異構(gòu)教育數(shù)據(jù)交換方法研究

發(fā)布時(shí)間:2021-11-04 16:01
  當(dāng)前,教育數(shù)據(jù)分布分散、異構(gòu)多樣、結(jié)構(gòu)復(fù)雜的特點(diǎn)給數(shù)據(jù)資源的共享帶來(lái)巨大挑戰(zhàn)。針對(duì)異構(gòu)教育數(shù)據(jù)的交換共享問(wèn)題,文章在綜述國(guó)內(nèi)外研究現(xiàn)狀的基礎(chǔ)上,提出了一種無(wú)統(tǒng)一元數(shù)據(jù)標(biāo)準(zhǔn)、基于流式處理技術(shù)的異構(gòu)教育數(shù)據(jù)交換方法。該方法采用了Storm流式處理框架實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)交換,通過(guò)語(yǔ)義相似度建立元數(shù)據(jù)的映射關(guān)系。基于該方法,文章進(jìn)一步設(shè)計(jì)了異構(gòu)教育數(shù)據(jù)交換平臺(tái)的體系架構(gòu)。與傳統(tǒng)的數(shù)據(jù)交換方法相比,該方法無(wú)需管理、維護(hù)統(tǒng)一元數(shù)據(jù),并能滿足實(shí)時(shí)交換、按需交換的需求。 

【文章來(lái)源】:現(xiàn)代教育技術(shù). 2019,29(08)北大核心CSSCI

【文章頁(yè)數(shù)】:7 頁(yè)

【部分圖文】:

基于流式處理技術(shù)的異構(gòu)教育數(shù)據(jù)交換方法研究


基于Storm平臺(tái)的數(shù)據(jù)流處理過(guò)程表1數(shù)據(jù)流處理過(guò)程中各處理器的具體功能數(shù)據(jù)流類型處理器功能

語(yǔ)義相似度,元數(shù)據(jù)


Vol.29No.82019110圖3元數(shù)據(jù)語(yǔ)義相似度計(jì)算流程圖圖4異構(gòu)教育數(shù)據(jù)交換平臺(tái)體系結(jié)構(gòu)三異構(gòu)教育數(shù)據(jù)交換平臺(tái)體系架構(gòu)設(shè)計(jì)體系架構(gòu)是有關(guān)軟件系統(tǒng)如何組織的描述,是軟件設(shè)計(jì)中最重要的環(huán)節(jié)之一;诮(jīng)典的層次系統(tǒng)架構(gòu)風(fēng)格[18],本研究設(shè)計(jì)了異構(gòu)教育數(shù)據(jù)交換平臺(tái)的體系結(jié)構(gòu),包括數(shù)據(jù)源層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)交換層、交換管理層、數(shù)據(jù)應(yīng)用層,如圖4所示。①數(shù)據(jù)源層:數(shù)據(jù)源由各教育應(yīng)用系統(tǒng)提供,各系統(tǒng)通過(guò)數(shù)據(jù)交換代理(Agent)協(xié)調(diào)數(shù)據(jù)交換中心完成數(shù)據(jù)的接受/發(fā)送、解析/封裝以及傳輸控制。Agent處理的數(shù)據(jù)包括兩類:元數(shù)據(jù)和數(shù)據(jù)實(shí)例。Agent會(huì)將元數(shù)據(jù)封裝成消息流投遞給存儲(chǔ)層的Kafka,數(shù)據(jù)實(shí)例則直接以數(shù)據(jù)流形式發(fā)送出去。②數(shù)據(jù)存儲(chǔ)層:該層主要包括分布式消息系統(tǒng)Kafka和分布式數(shù)據(jù)庫(kù)HBase。Kafka的作用有兩方面:一是暫存Agent發(fā)送來(lái)的元數(shù)據(jù)信息;二是實(shí)現(xiàn)數(shù)據(jù)獲取與流式計(jì)算的解耦。HBase主要用于存儲(chǔ)已經(jīng)轉(zhuǎn)換完成的元數(shù)據(jù)映射規(guī)則,在元數(shù)據(jù)信息不變的情況下可以直接查詢HBase中的映射關(guān)系,避免重復(fù)計(jì)算。

數(shù)據(jù)交換平臺(tái),體系架構(gòu),異構(gòu),體系結(jié)構(gòu)


Vol.29No.82019110圖3元數(shù)據(jù)語(yǔ)義相似度計(jì)算流程圖圖4異構(gòu)教育數(shù)據(jù)交換平臺(tái)體系結(jié)構(gòu)三異構(gòu)教育數(shù)據(jù)交換平臺(tái)體系架構(gòu)設(shè)計(jì)體系架構(gòu)是有關(guān)軟件系統(tǒng)如何組織的描述,是軟件設(shè)計(jì)中最重要的環(huán)節(jié)之一;诮(jīng)典的層次系統(tǒng)架構(gòu)風(fēng)格[18],本研究設(shè)計(jì)了異構(gòu)教育數(shù)據(jù)交換平臺(tái)的體系結(jié)構(gòu),包括數(shù)據(jù)源層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)交換層、交換管理層、數(shù)據(jù)應(yīng)用層,如圖4所示。①數(shù)據(jù)源層:數(shù)據(jù)源由各教育應(yīng)用系統(tǒng)提供,各系統(tǒng)通過(guò)數(shù)據(jù)交換代理(Agent)協(xié)調(diào)數(shù)據(jù)交換中心完成數(shù)據(jù)的接受/發(fā)送、解析/封裝以及傳輸控制。Agent處理的數(shù)據(jù)包括兩類:元數(shù)據(jù)和數(shù)據(jù)實(shí)例。Agent會(huì)將元數(shù)據(jù)封裝成消息流投遞給存儲(chǔ)層的Kafka,數(shù)據(jù)實(shí)例則直接以數(shù)據(jù)流形式發(fā)送出去。②數(shù)據(jù)存儲(chǔ)層:該層主要包括分布式消息系統(tǒng)Kafka和分布式數(shù)據(jù)庫(kù)HBase。Kafka的作用有兩方面:一是暫存Agent發(fā)送來(lái)的元數(shù)據(jù)信息;二是實(shí)現(xiàn)數(shù)據(jù)獲取與流式計(jì)算的解耦。HBase主要用于存儲(chǔ)已經(jīng)轉(zhuǎn)換完成的元數(shù)據(jù)映射規(guī)則,在元數(shù)據(jù)信息不變的情況下可以直接查詢HBase中的映射關(guān)系,避免重復(fù)計(jì)算。

【參考文獻(xiàn)】:
期刊論文
[1]我國(guó)教育大數(shù)據(jù)的研究現(xiàn)狀、問(wèn)題與對(duì)策——基于CNKI學(xué)術(shù)期刊的內(nèi)容分析[J]. 李振,周東岱,董曉曉,黃雪嬌.  現(xiàn)代遠(yuǎn)距離教育. 2019(01)
[2]人工智能應(yīng)用背景下的教育人工智能研究[J]. 李振,周東岱,劉娜,歐陽(yáng)猛.  現(xiàn)代教育技術(shù). 2018(09)
[3]教育大數(shù)據(jù)的平臺(tái)構(gòu)建與關(guān)鍵實(shí)現(xiàn)技術(shù)[J]. 李振,周東岱,劉娜,董曉曉,鐘紹春.  現(xiàn)代教育技術(shù). 2018(01)
[4]教育大數(shù)據(jù)深度學(xué)習(xí)的價(jià)值取向、挑戰(zhàn)及展望——在技術(shù)促進(jìn)學(xué)習(xí)的理解視域中[J]. 趙慧瓊,姜強(qiáng),趙蔚.  現(xiàn)代遠(yuǎn)距離教育. 2018(01)
[5]學(xué)習(xí)分析數(shù)據(jù)互操作規(guī)范IMS Caliper Analytics解讀[J]. 李青,趙越.  現(xiàn)代遠(yuǎn)程教育研究. 2016(02)
[6]獲取教育大數(shù)據(jù):基于xAPI規(guī)范對(duì)學(xué)習(xí)經(jīng)歷數(shù)據(jù)的獲取與共享[J]. 顧小清,鄭隆威,簡(jiǎn)菁.  現(xiàn)代遠(yuǎn)程教育研究. 2014(05)
[7]大數(shù)據(jù)流式計(jì)算:關(guān)鍵技術(shù)及系統(tǒng)實(shí)例[J]. 孫大為,張廣艷,鄭緯民.  軟件學(xué)報(bào). 2014(04)
[8]基于CIF規(guī)范的教育數(shù)據(jù)交換平臺(tái)建設(shè)實(shí)踐[J]. 謝曉,劉月婕,李玉順,胡景芳.  中國(guó)電化教育. 2012(12)
[9]教育數(shù)據(jù)互操作規(guī)范研究與實(shí)踐[J]. 申軍霞,李玉順.  中國(guó)電化教育. 2011(05)

博士論文
[1]電子課本模型構(gòu)建與技術(shù)驗(yàn)證[D]. 傅偉.華東師范大學(xué) 2013

碩士論文
[1]基于內(nèi)容的數(shù)據(jù)交換中心研究[D]. 胡良亞.國(guó)防科學(xué)技術(shù)大學(xué) 2005



本文編號(hào):3476051

資料下載
論文發(fā)表

本文鏈接:http://sikaile.net/jiaoyulunwen/jgkg/3476051.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權(quán)申明:資料由用戶74477***提供,本站僅收錄摘要或目錄,作者需要?jiǎng)h除請(qǐng)E-mail郵箱bigeng88@qq.com