【摘要】：在對(duì)裝配作業(yè)人員進(jìn)行動(dòng)作分析的過程中,動(dòng)作的識(shí)別和記錄一般通過手工操作完成,這種方法不僅工作量大,而且效率低。為解決該問題,提出了一種新的基于機(jī)器視覺的裝配動(dòng)作自動(dòng)分割與識(shí)別方法。首先利用基于內(nèi)容的動(dòng)態(tài)關(guān)鍵幀提取技術(shù)提取視頻流中的關(guān)鍵幀,實(shí)現(xiàn)動(dòng)作的自動(dòng)分割;然后提取感興趣區(qū)域的尺度不變局部特征點(diǎn),據(jù)此得出關(guān)鍵幀的特征向量;最后,基于支持向量機(jī)構(gòu)建特征向量分類器對(duì)動(dòng)作進(jìn)行分類。裝配線上樣本視頻的實(shí)驗(yàn)結(jié)果表明,所提方法達(dá)到了96%的正確識(shí)別率。
【圖文】：

法同時(shí)提取人手和工件的ＳＩＦＴ特征點(diǎn)，應(yīng)用特征點(diǎn)之間的位移向量表示人與環(huán)境的聯(lián)系。通過使用上述方法可以有效地完成裝配環(huán)境下連續(xù)動(dòng)作的自動(dòng)觀察、分解與記錄。１方法在進(jìn)行動(dòng)作識(shí)別之前，應(yīng)首先對(duì)連續(xù)的動(dòng)作進(jìn)行分割，然后基于動(dòng)作的靜態(tài)特征、動(dòng)態(tài)特征、時(shí)空特征或描述性特征對(duì)各個(gè)動(dòng)作進(jìn)行分類。動(dòng)作的動(dòng)態(tài)特征、時(shí)空特征以及描述性特征需從連續(xù)的圖像幀中提取，而靜態(tài)特征可從單幀圖像中直接獲齲由于本文是基于靜態(tài)特征進(jìn)行動(dòng)作識(shí)別的，因此將單幀圖像作為處理對(duì)象。本文的動(dòng)作分割與識(shí)別過程如圖１所示。首先，利用基于內(nèi)容的動(dòng)態(tài)關(guān)鍵幀提取算法提取視頻流中的關(guān)鍵幀，其作用是減少后續(xù)處理對(duì)象的數(shù)量，實(shí)現(xiàn)連續(xù)動(dòng)作的自動(dòng)分割；然后，提取關(guān)鍵幀中的感興趣區(qū)域（ｒｅｇｉｏｎｏｆｉｎｔｅｒｅｓｔ，ＲＯＩｓ）（包括人手和工件兩類區(qū)域）以及ＲＯＩｓ的ＳＩＦＴ特征點(diǎn)，并依據(jù)特征點(diǎn)計(jì)算ＲＯＩｓ之間的位移向量集，該位移向量集即為關(guān)鍵幀的特征向量；最后，基于支持向量機(jī)對(duì)樣本圖像的特征向量進(jìn)行訓(xùn)練，得到特征向量分類器，接著將關(guān)鍵幀的特征向量輸入到分類器中識(shí)別出特征向量種類，并結(jié)合關(guān)鍵幀的時(shí)序特征以及特定場(chǎng)景下的判斷規(guī)則識(shí)別出動(dòng)作所屬的動(dòng)素類型。圖１動(dòng)作識(shí)別的算法流程Ｆｉｇ．１Ａｌｇｏｒｉｔｈｍｆｌｏｗｏｆｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎ１．１關(guān)鍵幀提取關(guān)鍵幀提取的準(zhǔn)則是考慮幀之間的不相似性［１５］�；趦�(nèi)容的關(guān)鍵幀提取是依據(jù)每一幀的顏色、紋理等視覺信息的改變來提取關(guān)鍵幀［１６］，當(dāng)這些信息有顯著變化時(shí)，當(dāng)前幀即可為關(guān)鍵鄭關(guān)鍵幀提取技術(shù)減少了后續(xù)圖像處理計(jì)算幀的數(shù)量，，從而確保了動(dòng)作識(shí)別算法的時(shí)效性。

（ａ）原始圖片（ｂ）膚色區(qū)域（ｃ）人手區(qū)域圖３人手區(qū)域提取流程Ｆｉｇ．３Ｔｈｅｐｒｏｃｅｓｓｏｆｈａｎｄｄｅｔｅｃｔｉｏｎ還要經(jīng)過進(jìn)一步的檢驗(yàn)才能精確定位為特征點(diǎn)［２０］。（２）生成模板圖像ＳＩＦＴ特征點(diǎn)的描述子。首先在特征點(diǎn)鄰域窗口內(nèi)采樣，并計(jì)算鄰域像素的梯度直方圖（直方圖的峰值位置即為該特征點(diǎn)梯度的主方向），使算子具備旋轉(zhuǎn)不變性［２１］。為了增強(qiáng)匹配的穩(wěn)健性，用４×４×８共１２８維向量表征特征點(diǎn)的描述子。（３）通過特征點(diǎn)匹配得到關(guān)鍵幀中的特征點(diǎn)集。通過計(jì)算模板圖像目標(biāo)特征點(diǎn)與關(guān)鍵幀目標(biāo)特征點(diǎn)的ＳＩＦＴ描述子之間的歐氏距離作為ＳＩＦＴ特征點(diǎn)的相似度度量，在關(guān)鍵幀目標(biāo)區(qū)域內(nèi)ＳＩＦＴ特征點(diǎn)中，找出與模板圖像目標(biāo)中某個(gè)特征點(diǎn)描述子歐氏距離最近和次近的兩個(gè)特征點(diǎn)。若最近的距離Ｅ與次近的距離Ｆ的比值ｄ（Ｅ，Ｆ）小于閾值ＴＥ，Ｆ，則模板圖像目標(biāo)特征點(diǎn)與關(guān)鍵幀目標(biāo)特征點(diǎn)匹配，從而得到關(guān)鍵幀中目標(biāo)特征點(diǎn)的點(diǎn)集［２２］。１．４動(dòng)作識(shí)別１．４．１獲取圖像的特征向量機(jī)械產(chǎn)品裝配作業(yè)中的動(dòng)作識(shí)別實(shí)質(zhì)上就是識(shí)別該動(dòng)作所屬的動(dòng)素類型。一個(gè)簡單的裝配作業(yè)通常包含以下４類動(dòng)素：伸手、握娶移物、裝配。在需要雙手同時(shí)操作的機(jī)械產(chǎn)品裝配作業(yè)中，ＲＯＩｓ一般由人的左右手和２個(gè)工件組成。通過ＳＩＦＴ特征點(diǎn)匹配可得到左手的特征點(diǎn)集Ｍ１（含有ｍ１個(gè)特征點(diǎn)）、右手的特征點(diǎn)集Ｍ２（含有ｍ２個(gè)特征點(diǎn)）、工件１的特征點(diǎn)集Ｎ１（含有ｎ１個(gè)特征點(diǎn)）、工件２的特征點(diǎn)集Ｎ２（含有ｎ２個(gè)特征點(diǎn)）。若

【相似文獻(xiàn)】

相關(guān)期刊論文 前3條

1 夏潔;吳健;陳建明;崔志明;;基于虛擬檢測(cè)線的交通視頻關(guān)鍵幀提取[J];蘇州大學(xué)學(xué)報(bào)(工科版);2010年02期

2 黃敏;姜靜;;基于多特征自適應(yīng)閾值檢測(cè)的關(guān)鍵幀提取[J];鄭州輕工業(yè)學(xué)院學(xué)報(bào)(自然科學(xué)版);2009年06期

3 ;[J];;年期

相關(guān)會(huì)議論文 前5條

1 董晨晨;張靜梅;;一種基于仿射傳播聚類的關(guān)鍵幀提取方法[A];2009年中國智能自動(dòng)化會(huì)議論文集（第三分冊(cè)）[C];2009年

2 張維剛;黃慶明;何輝;王孝朋;高文;;一種無監(jiān)督的視頻關(guān)鍵幀提取方法[A];第六屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2010)、第19屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2010）、第6屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2010）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2010）論文集[C];2010年

3 顧家玉;覃團(tuán)發(fā);;一種基于宏塊類型和運(yùn)動(dòng)向量的關(guān)鍵幀提取方法[A];2009年中國高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2009年

4 張鐵林;李周賢;王純;賈克斌;;視頻信息結(jié)構(gòu)化處理與應(yīng)用系統(tǒng)建立[A];全國第4屆信號(hào)和智能信息處理與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

5 黃棟;賴劍煌;王昌棟;;基于幀預(yù)選策略及AP算法的關(guān)鍵幀提取方法[A];第十五屆全國圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2010年

相關(guān)博士學(xué)位論文 前3條

1 孫中華;基于內(nèi)容的視頻結(jié)構(gòu)分析與摘要方法研究[D];吉林大學(xué);2007年

2 雷少帥;基于內(nèi)容的視頻檢索關(guān)鍵技術(shù)研究[D];太原理工大學(xué);2012年

3 鐘_

本文編號(hào)：2578488