基于多模態(tài)融合的課堂教師教學(xué)行為自動(dòng)識(shí)別研究
發(fā)布時(shí)間:2020-12-21 15:21
教育乃百年之大計(jì)。當(dāng)前國(guó)內(nèi)外對(duì)于課堂教學(xué)行為研究大多是以MOOC、SPOC等方式的線(xiàn)上為主,線(xiàn)下為輔。而當(dāng)前主流的教育模式還是以線(xiàn)下為主,對(duì)線(xiàn)下課堂教學(xué)的評(píng)價(jià)卻始終停留在原始的隨堂專(zhuān)家評(píng)審的階段,基于新技術(shù)如人工智能、大數(shù)據(jù)技術(shù)的課堂教學(xué)分析與評(píng)價(jià)卻始終停留在理論層面。而對(duì)于教師的教學(xué)行為的評(píng)價(jià)無(wú)疑是課堂評(píng)價(jià)的主要內(nèi)容之一,但是針對(duì)教師教學(xué)行為的識(shí)別卻存在沒(méi)有標(biāo)準(zhǔn)的編碼方式和數(shù)據(jù)集可用、教學(xué)行為難以自動(dòng)識(shí)別、識(shí)別精度較低等諸多技術(shù)瓶頸。針對(duì)這些技術(shù)瓶頸和巨大挑戰(zhàn),本文提出基于多模態(tài)融合的課堂教師教學(xué)行為自動(dòng)識(shí)別模型,從而解決上述問(wèn)題,為大規(guī)模、高精度、高性能的AI智能評(píng)教邁出重要的一步,并取得如下成果:(1)建立了課堂教學(xué)領(lǐng)域的教師行為視頻、音頻數(shù)據(jù)集及對(duì)應(yīng)編碼標(biāo)準(zhǔn)在傳統(tǒng)課堂教學(xué)領(lǐng)域往往采用弗蘭德斯互動(dòng)分析法(FIAS)來(lái)對(duì)課堂的交互行為進(jìn)行分析,而本次研究以課堂教學(xué)監(jiān)控視頻中的教師教學(xué)行為為研究對(duì)象,采集華中師范大學(xué)8號(hào)教學(xué)樓智慧教室長(zhǎng)達(dá)12門(mén)課程的120個(gè)小時(shí)教學(xué)視頻,并按照專(zhuān)業(yè)化的數(shù)據(jù)集制作流程建立了國(guó)內(nèi)首個(gè)大規(guī)模的課堂教學(xué)行為視頻、音頻數(shù)據(jù)集CCNU-10,數(shù)據(jù)量達(dá)56000,...
【文章來(lái)源】:華中師范大學(xué)湖北省 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:80 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1.1所示,分為以下幾個(gè)模塊:??7??
碩士學(xué)位論文??MASTER'S?THESIS??間的X和y方向上進(jìn)行光流場(chǎng)Fx和Fy的提取,這樣的光流即表征其運(yùn)動(dòng)軌跡??(trajectory)。Matikainen?等人[47]提出基于光流的稀疏?Kanade-Lucas-Tomasi?(KLT)??軌跡的行為識(shí)別方法。當(dāng)然,與之相對(duì)應(yīng)的稠密的運(yùn)動(dòng)軌跡(densetrajectory)在后期??也有相關(guān)學(xué)者進(jìn)行了研宄。比如Wang等人[44,48]稠密運(yùn)動(dòng)軌跡做出了相關(guān)的研宄,??顯著的優(yōu)點(diǎn)在于無(wú)需進(jìn)行目標(biāo)的預(yù)處理過(guò)程就可去除背景,不過(guò)對(duì)于攝像頭本身的??運(yùn)動(dòng)干擾卻回答同時(shí)計(jì)算復(fù)雜度較大,下圖2.2即為其流程示意圖。??(a)?original?image?(b)?optical?flow?Fx^y???????、??^?^?I??kj?-?靜??-??(C)?Fx,?Fy?(d)F+,F-,F+,F-?(e)?Fb+,?F6 ̄,?Fb+,?Fb ̄??圖2.1視頻光流場(chǎng)示例??Tracking?in?each?spatial?scale?separately?Trajectory?description??Dense?sampling? ̄??ineach ̄?揭??<屬雜、?1’?一—???巍虐息??、?V:^V\xV?HOG?HOF?MBH??圖2.2基于稠密運(yùn)動(dòng)軌跡的特征提取流程??在將包含的行為視頻的進(jìn)行表示之后,下一步就是通過(guò)分類(lèi)器將其歸為原定的??16??
碩士學(xué)位論文??MASTER'S?THESIS??間的X和y方向上進(jìn)行光流場(chǎng)Fx和Fy的提取,這樣的光流即表征其運(yùn)動(dòng)軌跡??(trajectory)。Matikainen?等人[47]提出基于光流的稀疏?Kanade-Lucas-Tomasi?(KLT)??軌跡的行為識(shí)別方法。當(dāng)然,與之相對(duì)應(yīng)的稠密的運(yùn)動(dòng)軌跡(densetrajectory)在后期??也有相關(guān)學(xué)者進(jìn)行了研宄。比如Wang等人[44,48]稠密運(yùn)動(dòng)軌跡做出了相關(guān)的研宄,??顯著的優(yōu)點(diǎn)在于無(wú)需進(jìn)行目標(biāo)的預(yù)處理過(guò)程就可去除背景,不過(guò)對(duì)于攝像頭本身的??運(yùn)動(dòng)干擾卻回答同時(shí)計(jì)算復(fù)雜度較大,下圖2.2即為其流程示意圖。??(a)?original?image?(b)?optical?flow?Fx^y???????、??^?^?I??kj?-?靜??-??(C)?Fx,?Fy?(d)F+,F-,F+,F-?(e)?Fb+,?F6 ̄,?Fb+,?Fb ̄??圖2.1視頻光流場(chǎng)示例??Tracking?in?each?spatial?scale?separately?Trajectory?description??Dense?sampling? ̄??ineach ̄?揭??<屬雜、?1’?一—???巍虐息??、?V:^V\xV?HOG?HOF?MBH??圖2.2基于稠密運(yùn)動(dòng)軌跡的特征提取流程??在將包含的行為視頻的進(jìn)行表示之后,下一步就是通過(guò)分類(lèi)器將其歸為原定的??16??
【參考文獻(xiàn)】:
期刊論文
[1]中學(xué)生課堂問(wèn)題行為的調(diào)查研究[J]. 張彩云. 教育理論與實(shí)踐. 2015(28)
[2]信息化教學(xué)環(huán)境下課堂教學(xué)行為分析方法的研究[J]. 穆肅,左萍萍. 電化教育研究. 2015(09)
[3]論科學(xué)研究的審美性質(zhì)[J]. 唐松林,鄧潔雋. 大學(xué)教育科學(xué). 2015(04)
[4]課堂教學(xué)研究二十年:回顧、反思與重建[J]. 李松林. 教育理論與實(shí)踐. 2008(31)
[5]新課程理念下教師教學(xué)行為研究[J]. 畢田增. 林區(qū)教學(xué). 2005(02)
[6]支持教師專(zhuān)業(yè)發(fā)展的課堂分析技術(shù)新探索[J]. 顧小清,王煒. 中國(guó)電化教育. 2004(07)
[7]新課程與教師行為的變化[J]. 傅道春. 人民教育. 2001(12)
博士論文
[1]基于視頻的人類(lèi)行為識(shí)別方法研究[D]. 劉志康.中國(guó)科學(xué)技術(shù)大學(xué) 2018
碩士論文
[1]基于深度學(xué)習(xí)的課堂教學(xué)行為識(shí)別系統(tǒng)的研究與實(shí)現(xiàn)[D]. 宋志海.北京郵電大學(xué) 2018
[2]課堂教學(xué)語(yǔ)言行為分析平臺(tái)的開(kāi)發(fā)與應(yīng)用[D]. 李蘭英.浙江師范大學(xué) 2013
[3]教學(xué)視頻與幻燈片同步方法研究[D]. 張智剛.西安電子科技大學(xué) 2013
[4]課堂教學(xué)視頻分析的方法研究[D]. 高佩紅.湖南師范大學(xué) 2011
本文編號(hào):2930053
【文章來(lái)源】:華中師范大學(xué)湖北省 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:80 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1.1所示,分為以下幾個(gè)模塊:??7??
碩士學(xué)位論文??MASTER'S?THESIS??間的X和y方向上進(jìn)行光流場(chǎng)Fx和Fy的提取,這樣的光流即表征其運(yùn)動(dòng)軌跡??(trajectory)。Matikainen?等人[47]提出基于光流的稀疏?Kanade-Lucas-Tomasi?(KLT)??軌跡的行為識(shí)別方法。當(dāng)然,與之相對(duì)應(yīng)的稠密的運(yùn)動(dòng)軌跡(densetrajectory)在后期??也有相關(guān)學(xué)者進(jìn)行了研宄。比如Wang等人[44,48]稠密運(yùn)動(dòng)軌跡做出了相關(guān)的研宄,??顯著的優(yōu)點(diǎn)在于無(wú)需進(jìn)行目標(biāo)的預(yù)處理過(guò)程就可去除背景,不過(guò)對(duì)于攝像頭本身的??運(yùn)動(dòng)干擾卻回答同時(shí)計(jì)算復(fù)雜度較大,下圖2.2即為其流程示意圖。??(a)?original?image?(b)?optical?flow?Fx^y???????、??^?^?I??kj?-?靜??-??(C)?Fx,?Fy?(d)F+,F-,F+,F-?(e)?Fb+,?F6 ̄,?Fb+,?Fb ̄??圖2.1視頻光流場(chǎng)示例??Tracking?in?each?spatial?scale?separately?Trajectory?description??Dense?sampling? ̄??ineach ̄?揭??<屬雜、?1’?一—???巍虐息??、?V:^V\xV?HOG?HOF?MBH??圖2.2基于稠密運(yùn)動(dòng)軌跡的特征提取流程??在將包含的行為視頻的進(jìn)行表示之后,下一步就是通過(guò)分類(lèi)器將其歸為原定的??16??
碩士學(xué)位論文??MASTER'S?THESIS??間的X和y方向上進(jìn)行光流場(chǎng)Fx和Fy的提取,這樣的光流即表征其運(yùn)動(dòng)軌跡??(trajectory)。Matikainen?等人[47]提出基于光流的稀疏?Kanade-Lucas-Tomasi?(KLT)??軌跡的行為識(shí)別方法。當(dāng)然,與之相對(duì)應(yīng)的稠密的運(yùn)動(dòng)軌跡(densetrajectory)在后期??也有相關(guān)學(xué)者進(jìn)行了研宄。比如Wang等人[44,48]稠密運(yùn)動(dòng)軌跡做出了相關(guān)的研宄,??顯著的優(yōu)點(diǎn)在于無(wú)需進(jìn)行目標(biāo)的預(yù)處理過(guò)程就可去除背景,不過(guò)對(duì)于攝像頭本身的??運(yùn)動(dòng)干擾卻回答同時(shí)計(jì)算復(fù)雜度較大,下圖2.2即為其流程示意圖。??(a)?original?image?(b)?optical?flow?Fx^y???????、??^?^?I??kj?-?靜??-??(C)?Fx,?Fy?(d)F+,F-,F+,F-?(e)?Fb+,?F6 ̄,?Fb+,?Fb ̄??圖2.1視頻光流場(chǎng)示例??Tracking?in?each?spatial?scale?separately?Trajectory?description??Dense?sampling? ̄??ineach ̄?揭??<屬雜、?1’?一—???巍虐息??、?V:^V\xV?HOG?HOF?MBH??圖2.2基于稠密運(yùn)動(dòng)軌跡的特征提取流程??在將包含的行為視頻的進(jìn)行表示之后,下一步就是通過(guò)分類(lèi)器將其歸為原定的??16??
【參考文獻(xiàn)】:
期刊論文
[1]中學(xué)生課堂問(wèn)題行為的調(diào)查研究[J]. 張彩云. 教育理論與實(shí)踐. 2015(28)
[2]信息化教學(xué)環(huán)境下課堂教學(xué)行為分析方法的研究[J]. 穆肅,左萍萍. 電化教育研究. 2015(09)
[3]論科學(xué)研究的審美性質(zhì)[J]. 唐松林,鄧潔雋. 大學(xué)教育科學(xué). 2015(04)
[4]課堂教學(xué)研究二十年:回顧、反思與重建[J]. 李松林. 教育理論與實(shí)踐. 2008(31)
[5]新課程理念下教師教學(xué)行為研究[J]. 畢田增. 林區(qū)教學(xué). 2005(02)
[6]支持教師專(zhuān)業(yè)發(fā)展的課堂分析技術(shù)新探索[J]. 顧小清,王煒. 中國(guó)電化教育. 2004(07)
[7]新課程與教師行為的變化[J]. 傅道春. 人民教育. 2001(12)
博士論文
[1]基于視頻的人類(lèi)行為識(shí)別方法研究[D]. 劉志康.中國(guó)科學(xué)技術(shù)大學(xué) 2018
碩士論文
[1]基于深度學(xué)習(xí)的課堂教學(xué)行為識(shí)別系統(tǒng)的研究與實(shí)現(xiàn)[D]. 宋志海.北京郵電大學(xué) 2018
[2]課堂教學(xué)語(yǔ)言行為分析平臺(tái)的開(kāi)發(fā)與應(yīng)用[D]. 李蘭英.浙江師范大學(xué) 2013
[3]教學(xué)視頻與幻燈片同步方法研究[D]. 張智剛.西安電子科技大學(xué) 2013
[4]課堂教學(xué)視頻分析的方法研究[D]. 高佩紅.湖南師范大學(xué) 2011
本文編號(hào):2930053
本文鏈接:http://sikaile.net/jiaoyulunwen/gaodengjiaoyulunwen/2930053.html
最近更新
教材專(zhuān)著