基于慣性傳感器的人體動作識別技術研究
發(fā)布時間：2020-12-28 03:59
聯(lián)合作戰(zhàn)仿真訓練通過采用相關的建模理論與方法,設計仿真模型來模擬特定的兵力對象和作戰(zhàn)環(huán)境進而支持軍事作戰(zhàn)訓練,這種訓練方式將在未來的部隊訓練中發(fā)揮至關重要的作用。受訓人員使用作戰(zhàn)仿真系統(tǒng)進行訓練的過程基本上都是通過人機交互的方式來完成的,良好交互體驗所帶來的沉浸感對于仿真訓練效果的提升是至關重要的。傳統(tǒng)的交互方式使受訓者的精力過多地放在鼠標鍵盤的操作上,交互不真實,訓練效率低。而使用動作捕捉與識別技術,將用戶肢體的運動作為一種重要的輸入通道,結合虛擬現實技術打造的虛擬訓練場可以帶來更好的訓練沉浸感,進而提升訓練效果。基于可穿戴傳感器的人體動作捕捉與識別系統(tǒng)相較于基于外部傳感器（如深度相機）的識別系統(tǒng)可以使用戶獲得更大的活動空間以及更高的自由度,且對動作的識別效果不會受到光照,遮擋等外部因素的干擾,與虛擬現實技術有更高的契合度。本文面向基于可穿戴慣性傳感器的人體動作識別,使用深度學習方法構建并訓練分類器,以深度Long Short Term Memory（LSTM）網絡作為主體框架,從神經網絡信息傳遞、特征提取和最終的分類決策三個角度對網絡進行改進,解決了深層網絡的梯度消失問題,識別過程...
【文章來源】：國防科技大學湖南省 211工程院校 985工程院校
【文章頁數】：92 頁
【學位級別】：碩士
【部分圖文】：
激活函數tanh及其導數從圖3.2可以看出激活函數tanh的導數tanh1，在整個訓練過程的大部分情
國防科技大學研究生院碩士學位論文第34頁數據，這樣向其他應用遷移不會受到太多限制。人類的動作可以根據粒度劃分為多個層，例如動作原子層（例如抬起右手），動作層（例如行走）和活動層（例如喝咖啡）。這個數據集也同時滿足了我們在更高層次上建模的期望。使用可穿戴傳感器和環(huán)境傳感器的人類動作識別Opportunity數據集是用于基礎人類活動識別算法研究的數據集。該數據集包括來自四個Subject的動作，每個Subject有六個不同的Run。每個Subject的前五個記錄被稱為日常生活活動（ADL），包括自然情況下日�；顒拥膭幼�。剩下的一個記錄叫做DrillRun，要求用戶執(zhí)行腳本化的動作序列。場景中的動作分別在不同級別上進行了注釋。在本文中，我們使用了OpportunityChallenge[80]中所使用的相同子集來訓練和測試我們的模型。我們針對第一個Subject所有ADL和DrillSessions以及Subject2和Subject3的ADL1，ADL2和DrillSessions的數據訓練模型。我們最終評估針對Subject2和Subject3的由ADL4和ADL5組成的測試集的分類性能。Subject2和Subject3的ADL3數據集留待驗證。在傳感器設置方面，我們遵循OpportunityChallenge的設置指南，僅考慮數據集中的可穿戴傳感器。這包括縫制在一個定制的運動夾克中的5個商用的具有RS485網絡結構的XSense慣性測量單元（IMU），位于每只腳上的2個商用InertiaCube3慣性傳感器（圖3.7，左）和位于肢體上的12個藍牙加速度傳感器（圖3.7，右）。每個IMU由3D加速度計，3D陀螺儀和3D磁傳感器組成，提供多模態(tài)傳感器信息。每個傳感器軸被視為單獨的通道，產生尺寸為113個通道的輸入空間。圖3.7Opportunity數據集中使用的可穿戴傳感器的放置位置注：左圖為慣性測量單位放置位置;右圖為3軸加速度計放置位置[80]。
慷?魘?堇吹貿齜擲嘟峁???墻峁??示我們的網絡依然可以獲得良好的性能。我們猜測這可能是由于較長的動作可能由幾個較短的特征組成，這使得即使我們沒有整個動作的完整視圖，我們的網絡也能夠對動作進行分類。從實驗中我們得出針對此數據集而言，隨著序列長度的增加，識別性能沒有明顯的變化。每個實驗中最好的精度和最好的F1得分值在0.895到0.905之間。我們在對比試驗中依然選擇了500ms的序列長度，并遵循OpportunityChallenge實驗的設置指南，以便我們的深度ResidualLSTM網絡可以與其他方法更公平地進行性能比較。圖3.9增加殘差層中的單元數量網絡識別能力變化之前提到，在我們的網絡中輸入層和輸出層之間存在殘差層（內部具有殘差連接的隱藏層）。我們還描述了深度R-LSTM網絡中使用的殘差層數的影響。圖3.9的結果表明，增加殘差層中的LSTM單元數量會增加網絡在該數據集上的性能，但是當單元數量超過一定數值時，曲線趨于平緩。同時需要注意的是，訓練時間也隨著殘差層中的單元數量的增加而增加。所以我們必須對系統(tǒng)性能和訓練時間做出評估，并找出權衡取舍。從圖3.9中我們可以看到，當單元數超過100時，網絡性能幾乎沒有提高，但是，在實際訓練中其所需要的訓練時間卻會顯著增加。最后，基于識別能力和計算性能兩方面的權衡我們將單元的數量設置為128。（b）性能比較在過去的幾年中，各種各樣的不同分類技術被用在Opportunity數據集上，表3.2是對這些分類技術的一個綜合列表。在OpportunityChallenge中的這些技術都基于相同的滑動窗口，其唯一區(qū)別是分類器的設計和特征的提取方式。
【參考文獻】：
期刊論文
[1]虛擬現實的人機交互綜述[J]. 張鳳軍,戴國忠,彭曉蘭. 中國科學:信息科學. 2016(12)
[2]人體動作捕捉技術綜述以及一種新的動作捕捉方案陳述[J]. 李曉丹,肖明,曾莉. 中國西部科技. 2011(15)
[3]作戰(zhàn)仿真技術綜述[J]. 黃柯棣,劉寶宏,黃健,曹星平,尹全軍,郭剛,張琦,張傳富,劉云生. 系統(tǒng)仿真學報. 2004(09)
[4]人機交互技術綜述[J]. 方志剛. 人類工效學. 1998(03)
博士論文
[1]結合深度網絡與概率圖的連續(xù)動作識別方法研究[D]. 雷軍.國防科技大學 2017
本文編號：2943088
【文章來源】：國防科技大學湖南省 211工程院校 985工程院校
【文章頁數】：92 頁
【學位級別】：碩士
【部分圖文】：
激活函數tanh及其導數從圖3.2可以看出激活函數tanh的導數tanh1，在整個訓練過程的大部分情
國防科技大學研究生院碩士學位論文第34頁數據，這樣向其他應用遷移不會受到太多限制。人類的動作可以根據粒度劃分為多個層，例如動作原子層（例如抬起右手），動作層（例如行走）和活動層（例如喝咖啡）。這個數據集也同時滿足了我們在更高層次上建模的期望。使用可穿戴傳感器和環(huán)境傳感器的人類動作識別Opportunity數據集是用于基礎人類活動識別算法研究的數據集。該數據集包括來自四個Subject的動作，每個Subject有六個不同的Run。每個Subject的前五個記錄被稱為日常生活活動（ADL），包括自然情況下日�；顒拥膭幼�。剩下的一個記錄叫做DrillRun，要求用戶執(zhí)行腳本化的動作序列。場景中的動作分別在不同級別上進行了注釋。在本文中，我們使用了OpportunityChallenge[80]中所使用的相同子集來訓練和測試我們的模型。我們針對第一個Subject所有ADL和DrillSessions以及Subject2和Subject3的ADL1，ADL2和DrillSessions的數據訓練模型。我們最終評估針對Subject2和Subject3的由ADL4和ADL5組成的測試集的分類性能。Subject2和Subject3的ADL3數據集留待驗證。在傳感器設置方面，我們遵循OpportunityChallenge的設置指南，僅考慮數據集中的可穿戴傳感器。這包括縫制在一個定制的運動夾克中的5個商用的具有RS485網絡結構的XSense慣性測量單元（IMU），位于每只腳上的2個商用InertiaCube3慣性傳感器（圖3.7，左）和位于肢體上的12個藍牙加速度傳感器（圖3.7，右）。每個IMU由3D加速度計，3D陀螺儀和3D磁傳感器組成，提供多模態(tài)傳感器信息。每個傳感器軸被視為單獨的通道，產生尺寸為113個通道的輸入空間。圖3.7Opportunity數據集中使用的可穿戴傳感器的放置位置注：左圖為慣性測量單位放置位置;右圖為3軸加速度計放置位置[80]。
慷?魘?堇吹貿齜擲嘟峁???墻峁??示我們的網絡依然可以獲得良好的性能。我們猜測這可能是由于較長的動作可能由幾個較短的特征組成，這使得即使我們沒有整個動作的完整視圖，我們的網絡也能夠對動作進行分類。從實驗中我們得出針對此數據集而言，隨著序列長度的增加，識別性能沒有明顯的變化。每個實驗中最好的精度和最好的F1得分值在0.895到0.905之間。我們在對比試驗中依然選擇了500ms的序列長度，并遵循OpportunityChallenge實驗的設置指南，以便我們的深度ResidualLSTM網絡可以與其他方法更公平地進行性能比較。圖3.9增加殘差層中的單元數量網絡識別能力變化之前提到，在我們的網絡中輸入層和輸出層之間存在殘差層（內部具有殘差連接的隱藏層）。我們還描述了深度R-LSTM網絡中使用的殘差層數的影響。圖3.9的結果表明，增加殘差層中的LSTM單元數量會增加網絡在該數據集上的性能，但是當單元數量超過一定數值時，曲線趨于平緩。同時需要注意的是，訓練時間也隨著殘差層中的單元數量的增加而增加。所以我們必須對系統(tǒng)性能和訓練時間做出評估，并找出權衡取舍。從圖3.9中我們可以看到，當單元數超過100時，網絡性能幾乎沒有提高，但是，在實際訓練中其所需要的訓練時間卻會顯著增加。最后，基于識別能力和計算性能兩方面的權衡我們將單元的數量設置為128。（b）性能比較在過去的幾年中，各種各樣的不同分類技術被用在Opportunity數據集上，表3.2是對這些分類技術的一個綜合列表。在OpportunityChallenge中的這些技術都基于相同的滑動窗口，其唯一區(qū)別是分類器的設計和特征的提取方式。
【參考文獻】：
期刊論文
[1]虛擬現實的人機交互綜述[J]. 張鳳軍,戴國忠,彭曉蘭. 中國科學:信息科學. 2016(12)
[2]人體動作捕捉技術綜述以及一種新的動作捕捉方案陳述[J]. 李曉丹,肖明,曾莉. 中國西部科技. 2011(15)
[3]作戰(zhàn)仿真技術綜述[J]. 黃柯棣,劉寶宏,黃健,曹星平,尹全軍,郭剛,張琦,張傳富,劉云生. 系統(tǒng)仿真學報. 2004(09)
[4]人機交互技術綜述[J]. 方志剛. 人類工效學. 1998(03)
博士論文
[1]結合深度網絡與概率圖的連續(xù)動作識別方法研究[D]. 雷軍.國防科技大學 2017
本文編號：2943088
本文鏈接：http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/2943088.html
