本文關鍵詞：基于運動捕捉數據的拉班舞譜生成，由筆耕文化傳播整理發(fā)布。

當前位置：首頁 >> 機械/儀表 >> 運動捕捉舞譜技術方案

基于運動捕捉數據的拉班舞譜生成科研分析

學 工 教

院 號 師

音樂系

完成日期

2016.3.8

目

錄

前言 .............................................

............................................................... 4 一、行業(yè)發(fā)展現狀 ..................................................................................... 4 二、運動捕捉系統(tǒng) ..................................................................................... 4 三、BVH 文件 ............................................................................................. 8 四、基于 BVH 文件的拉班舞譜自動生成算法 ......................................... 9 五、運動數據轉換為舞譜 ......................................................................... 9 六、系統(tǒng)功能實現 ................................................................................... 12

前言

項目主要目的是通過使用運動捕捉數據 BVH (Biovision Hierarchical Data)文件作為原始數據，通過解析 BVH 文件的骨架層次結構，量化運動方向與時間， 自動地生成與其相對應的拉班舞譜。 項目流程圖：

采購運動捕捉系統(tǒng) （國外設備或國內設備

舞蹈老師運動 捕捉

BVH 文件骨 架數據分析

歐角拉數據 轉化

生成拉丁舞 譜

一、行業(yè)發(fā)展現狀
隨著創(chuàng)意產業(yè)的發(fā)展，人體運動捕捉技術成為了研究的熱點。它為動畫和游戲的制作提供了新的途徑。 同時，這種技術也產生了更廣泛的應用，不僅僅可以捕捉人體的運動，還可以捕捉動物設置機器設備的運 動情況。 目前業(yè)界沒有舞譜自動生成系統(tǒng)，只有學術性的研究，沒有實質的科研。運動捕捉系統(tǒng)

二、運動捕捉系統(tǒng) 1、全身動作捕捉系統(tǒng)
隨著計算機軟硬件技術的飛速發(fā)展和動畫制作要求的提高，在發(fā)達國家，運動捕捉已經進入了實用化 階段，有多家廠商相繼推出了多種商品化的運動捕捉設備，如 MotionAnalysis 、 Polhemus 、 Sega Interactive 、 MAC 、 X-Ist 、 FilmBox 等，成功地用于虛擬現實、游戲、人體工程學研究、模擬訓練、生 物力學研究等許多方面。 從技術的角度來說，運動捕捉的實質就是要測量、跟蹤、記錄物體在三維空間中的運動軌跡。典型的 運動捕捉設備一般由以下幾個部分組成： · 傳感器。所謂傳感器是固定在運動物體特定部位的跟蹤裝置，它將向 Motion capture 系統(tǒng)提供運動物體 運動的位置信息，一般會隨著捕捉的細致程度確定跟蹤器的數目。 · 信號捕捉設備。這種設備會因 Motion capture 系統(tǒng)的類型不同而有所區(qū)別，它們負責位置信號的捕捉。 對于機械系統(tǒng)來說是一塊捕捉電信號的線路板，對于光學 Motion capture 系統(tǒng)則是高分辨率紅外攝像機。 · 數據傳輸設備。 Motion capture 系統(tǒng)，特別是需要實時效果的 Motion capture 系統(tǒng)需要將大量的運動 數據從信號捕捉設備快速準確地傳輸到計算機系統(tǒng)進行處理，而數據傳輸設備就是用來完成此項工作的。 · 數據處理設備。經過 Motion capture 系統(tǒng)捕捉到的數據需要修正、處理后還要有三維模型向結合才能完 成計算機動畫制作的工作，這就需要我們應用數據處理軟件或硬件來完成此項工作。軟件也好硬件也罷它 們都是借助計算機對數據高速的運算能力來完成數據的處理，使三維模型真正、自然地運動起來。

全身動作捕捉系列是實用光學式運動捕捉產品。

系統(tǒng)采用多臺近紅外線高感度攝像機及相關設備，實現高精度實時三維運動數據的采集，支持實時在 線或者離線的運動捕捉及分析。在國際上擁有同類產品最高性價比，可廣泛的應用于虛擬現實、軍事模擬、 工程測量、醫(yī)學研究中的運動機能評價和康復醫(yī)療、體育運動分析和體育訓練指導、影視、動畫和游戲制 作等諸多領域。

取相攝像頭 1、數據采集 精度更高 全身動捕系列光學被動式攝像機，對于細微動作都可實現精細捕捉。 相機前端特有的處理芯片具有 FPGA 編成功能，實現海量數據的高速處理。 相機采用圓形擬合算法的標識點（Marker）中心演算功能實現獨立的標識點高精度識別。 相機采用 144 個 LED 照明，在保證亮度前提下效率更高。 2、系統(tǒng)更加穩(wěn)定可靠 系統(tǒng)采用標準 TCP/IP 協(xié)議網絡數據傳輸方式，構成簡單，無需專用采集設備，一臺計算機控制所有相 機。

集成為一根的攝像機專用綜合電纜具有采樣同步控制信號傳輸；LED 照明同步控制信號傳輸；攝像機 和 LED 照明供電傳輸多種功能的同時，極大地簡化了系統(tǒng)布線結構同時，使系統(tǒng)數據傳輸更穩(wěn)定，克服了 USB 等方式的連接距離短、級聯臺數受限等問題。 3、系統(tǒng)功能更強大 高性能自動識別功能，根據人體模板自動進行標識點匹配，免除繁雜的操作。 強大的后期數據自動插值、濾波和手動修改等編輯功能以及 CSM、BVH、FBX、BIP、DRS、TRC、C3D 等通用數據格式轉換功能，完全滿足動漫、體育、醫(yī)療等不同領域的應用需求。 全面支持第三方軟件相結合使用接口（如 MotionBuilder、3DMax、Maya、Delt3D 或測力平臺、肌電儀 以及客戶自主開發(fā)平臺軟件等，進行數據的實時、定時傳送及各種同步觸發(fā)控制接口）。 4、系統(tǒng)操作更簡潔便利 系統(tǒng)根據中國用戶設計，在保證完美實現功能的前提下極大的簡化了系統(tǒng)操作中繁瑣的人機交互模塊， 使整個系統(tǒng)操作流程更加方便快捷。 系統(tǒng)架設靈活，可以根據環(huán)境和使用者意愿來搭建捕捉系統(tǒng)，捕捉范圍可根據房間大小和用途隨時調 整。 相機獨立的 LED 編號顯示，使架設和調整操作更方便。 同等捕捉空間標識點更精小（3mm、5mm、10mm、15mm、20mm、25mm 規(guī)格），被測者運動更自如。 5、光學被動式運動捕捉系統(tǒng)，擁有業(yè)界高性價比 系統(tǒng)獨特的軟硬件系統(tǒng)構成，在實現同等運動捕捉性能時，在價格上具有更大優(yōu)勢，整體系統(tǒng)具有更 高性價比。

應用 虛擬現實領域： 可應用于高端裝備的虛擬裝配；高等教育的虛擬教學及科學研究；國防軍隊的軍事訓練； 醫(yī)療領域： 1、對患者進行步態(tài)分析、動作分析、運動失調程度評價等； 2、動物藥理反應實驗。 體育領域： 體育訓練、體育教學、步態(tài)分析、田徑項目的運動分析、冬季體育項目的運動分析、球技動作分析、 舞蹈動作分析、帆板動作分析、自行車競技分析、打斗技巧分析等。 影視動畫： 現代影視特技制作、三維電影、三維動畫和游戲制作。 其它領域： 系統(tǒng)可廣泛應用于：人體工學研究、機器人研究、感性工學研究、高精度振動計測、福祉工學領域、 靈活性能評價、碰撞試驗、飛行測試、心理分析、剛性測試、實用性能評價。

測試軟件 Fig. Test software 除了運動捕捉系統(tǒng)還需要結合用交互追蹤系統(tǒng)：

2、G-Motion 交互追蹤系統(tǒng)
這是是一套高精度光學位置追蹤產品，能實時準確的捕捉目標物體 6 自由度姿態(tài)（位置和 方向）信息�？勺鳛樘摂M現實人機交互外設，也可應用于人體動作捕捉、結合半實物仿真設備 進行姿態(tài)捕捉和運動實物的空間位置信息實時獲取等方向。

? 紅外光學追蹤，無電、磁和聲音干擾 ? 可支持 2-12 個紅外攝像頭，用戶可根據追蹤范圍需求選擇攝像頭的個數 ? 支持眼鏡和手持式交互設備追蹤，有 6 個按鈕可以進行交互功能設計開發(fā) ? 高度準確的 6 自由度姿態(tài)（位置、方向）追蹤 ? 位置追蹤精度 0.2mm，角度追蹤精度 0.2° ? 60/120 Hz 刷新率可調 ? 支持 12 路同步處理，并可級聯擴展，同步延遲可調 ? 支持簡捷快速自定義跟蹤目標 ? 靈活方便的場地校準和相機校準 ? 支持追蹤數據記錄與回放 ? 直觀的 2D/3D 數據顯示 ? 集成 VRPN 接口，可以結合系統(tǒng)選用的 CAE 后處理軟件和虛擬設計輔助軟件 ? 用戶追蹤界面與系統(tǒng)算法處理器可分離，利于部署 1）可以作為交互外設與虛擬現實類軟件 DVS3D、Unity 等結合，實現虛擬展示、虛擬裝配等人機交互； 2）可以應用于半實物仿真訓練，如半實物的消防演練、軍事虛擬射擊等； 3）可應用于運動物體的空間位置高精度姿態(tài)定位，比如機器人路徑規(guī)劃中運動信息的實時捕獲； 4）應用于人體動作捕捉，進行步態(tài)分析和虛擬人動作模擬。

三、BVH 文件
項目所使用運動捕捉數據格式為 BVH (Biovision Hierarchical Data)文件，它主要由骨架層級結構部分和歐拉 角運動數據兩大部分組成

三維人體骨架模型 2Fig. 3d human skeleton model2

四、基于 BVH 文件的拉班舞譜自動生成算法
本章將對拉班舞譜的生成算法進行詳細探討，這也是本次論文的核心內容。通過對 BVH 文件進行解析 和轉換，并利用拉班舞譜的規(guī)律和特點，找出運動捕捉數據與拉班舞譜的對應關系，并最終在圖形界面顯 示下自動生成拉班舞譜，其過程如下: (1)讀取 BVH 文件，按照 BVH 文件中所描述的骨骼層級結構讀取數據，并將運動數據分組存儲。 (2)歐拉角數據的轉換。 由于 BVH 文件中所存儲的運動數據為歐拉角數據， 因此我們需要將其轉換為慣 性坐標系下的位置數據，進而進行接下來的關于水平運動方向和垂直程度的分析。 (3)判斷運動方向。首先，將人體分為 5 個主要的身體部位(Body Part ) 即頭、左臂、右臂、左腿和右 腿。然后根據這 5 個身體部位的空間位置關系來判斷他們的水平運動方向和垂直程度。 (4)生成最初的拉班舞譜數據。將其中過于瑣碎和重復的數據進行適當的刪 減和合并。(5)生成最終的拉班舞譜數據。 (6)繪制拉班舞譜。

五、運動數據轉換為舞譜
我們知道，存儲在 BVH 文件當中的運動捕捉數據都是以歐拉角的形式存儲的 三維旋轉數據，為了方便以后對身體各部位的運動方向和運動趨勢進行判斷，我們需要將歐拉角旋轉 數據轉換為慣性坐標系下的空間位置數據[[31-32]。因為，如果直接使用歐拉角作為判斷依據，所得到的結 果十分不理想。下面首先簡要介紹一下幾種常用的坐標系[30J0

數據轉換 為了計算出子節(jié)點在其父竹點慣性坐標空間卜的位置，我們需要將運動數據 中的歐拉角組合成一個旋轉矩陣。前面曾經提到，關于歐拉角最為常用的約定為 "heading-pitch-bank"，這是從慣性坐標系到物體坐標系的旋轉。設 H, P, B 分別 為繞 Y 軸，x 軸和 z 軸旋轉的旋轉矩陣，我們將其旋轉角依次設為 h, p, b，那么 則我們可以得出從慣性坐標系到物體坐標系旋轉的公式如下:

但是，，我們需要使用的 BVH 文件的歐拉角旋轉順序為“roll-pitch-yaw"，它與"heading-pitch-bank”的旋 轉順序正好相反，因而我們需要通過求慣性到物體旋轉矩陣的逆獲取由物體坐標系到慣性坐標系的旋轉矩 陣。

上圖可以看作是一次的旋轉矩陣，如果將其乘以當前節(jié)點的 OFFSET，就可運動分析

我們將人體分為 5 個主要的身體部位(BODY PART 包括左腿、右腿、左臂、右臂、和頭部。針對每一個 身體部位，我們要判斷在每一幀數據中其末端所處的方向和高度空問。也就是判斷子節(jié)點在以父節(jié)點為原 點的慣性坐標系下所處少 27 個子空間中的哪一個。 這里的子節(jié)點與父節(jié)點并不是指的在 BVH 文件樹一形結 構中直接意義上的父子節(jié)點，而是具有拉班舞譜意義的父子節(jié)點。例如，對于右臂來說，右腕關節(jié) Right Wrist 在樹形結構中的直接意義上的父節(jié)點為右肘關節(jié) Right Elbow，但它在拉班舞譜意義上的父節(jié)點實際上 為右肩關節(jié) Right Shoulde:節(jié)點。也就是說，拉班舞譜意義上的父子節(jié)點并不一定與骨架結構中直接意義上 的父子節(jié)點相同。如圖 4.5 所示，顯示了拉班舞譜意義上的父子節(jié)點的示例。

當然，拉班舞譜意義上的父子節(jié)點也有可能與直接意義上的父子節(jié)點相同。 例如，考慮頭部的動作，Head 節(jié)點在樹形結構中直接意義上的父節(jié)點就是 Neck 節(jié)點，與拉班舞譜意 義上的父子節(jié)點相一致。為了要對每一個身體部位所處的空間和方向做出判斷，我們需要求得每一個身體 部位拉班舞譜意義上父子節(jié)點的相對位置關系。即在拉班舞譜意義上，子節(jié)點在以父節(jié)點為原點的慣性坐 標空間下的相對位置。由式 4.10 我們可以很方便的求出子節(jié)點在其直接意義上的父節(jié)點慣性坐標空間下的 位置數據。為了求得子節(jié)點在其拉班舞譜意義上的父節(jié)點慣性坐標空間中的坐標，我們還需要進行進一步 的運算。假設拉班舞譜意義上的父節(jié)點為 JOINT PARENT,拉班舞譜意義上的子節(jié)點為 JOINT CHILD，當它們在 運動數據中相鄰接時(即它們同時為直接意義上的父子幾點)可以直接通過式 4.10 求得慣性坐標系下的位置 數據。而當 JOINT PARENT 和 JOINT CHILD 在樹形結構中并不相鄰時，則我們需要先求出 JOINT PAPRENT 的實 際的子節(jié)點(設為 JOINT MIDDLE)的旋轉矩陣，再通過乘以 JOINT MIDDLE 的 OFFSET 信息獲取 JOINT MIDDLE 相對于 JOINT PARENT 的位置偏移 p1，而這個實際的子節(jié)點 JOINT MIDDLE 又是 JOINT CHILD 的直接意義上的 父節(jié)點，這時，再根據式 4.10 求得 JOINT CHILD 相對于中間節(jié)點 JOINT MIDDLE 的位置偏移 p2。同時，p1 和 p2 都是以慣性空間為參考，并且 p2 的原點為中間節(jié)點 JOINMIDDLE 的位置，因而 p1+p2 獲得的新的位置偏 移 p3 就是拉班意義上的子節(jié)點 JOINT CHILD 相對于其父節(jié)點 JOINT PARENT 的位置偏移。正如下圖 4.6 顯示 了不相鄰父子節(jié)點的情況。 支撐欄動作分析

通過前面對拉班舞譜的介紹，我們知道支撐欄在拉班舞譜的 3 線 11 欄中屬于最為重要和特殊的一欄， 它是用來記錄人體支撐部位的動作，即人體的哪一個或是哪幾個部位起支撐人體重心的作用，那么它或它 們的動作就會被記錄在支撐欄里。 一般來講，人體各個部位都可以起到支撐人體重心的作用，因此它們都可以 看作支撐部位。例如，在現代街舞中，許多頭轉的動作都是頭部作為支撐點，支撐整個人體的重量;還 有許多舞蹈中用手作為支撐做一些倒立的舞蹈動作。但是，絕大多數的舞蹈動作還是以腿部作為主要支撐 的。為了便于分類，我們把能起支撐作用的部位分為 12 類，他們依次是左腳和右腳，左膝和右膝，左手和 右手，左肘和右肘，左肩和右肩，還有軀干和頭部。表 4.1 對著 12 個身體部位進行了整理和歸類。

根據式 4.10 我們可以求出當前節(jié)點在其直接意義上的父節(jié)點的慣性坐標空間下的坐標，那么再加上其 父節(jié)點的世界坐標，我們可以很方便的求得當前節(jié)點的世界坐標 Child..xyz 二 Parent.rotation x Child.of}set+Parent.xyz

六、系統(tǒng)功能實現
在基于以上的討論和研究的基礎之上，該系統(tǒng)平臺實現的功能主要有: (1)讀取并解析 BVH 文件; (2)播放 BVH 文件(通過調用 BVH player 程序來播放; (3)完成 BVH 文件向拉班舞譜的轉化。 這些功能通過構造幾個主要的類來實現，下圖 5.1 顯示了拉班舞譜的生成過程 及主要類的功能。

界面及結果展示

首先，我們:,.iii 要讀取一個 r}v}}文件，如下 ICI s.2 所示，通過點擊“瀏覽”按鈕

點擊“確定”按鈕之后，進入舞譜設置界面

通過 bvhplayer，我們就能夠以人體節(jié)點模型的形式播放我們讀取的 BVH 文州 了，顯示了 BVH 文件的播放。

對應的舞譜及人像對比：

上圖(1)為原始數據的開始階段，由于在前 100 多幀中各節(jié)點并沒有發(fā)生任何運動，我們對各身體 部位加入了速度判斷，不發(fā)生運動的部位是不會被記錄的，所以在(1)的位置并沒有舞譜符號;在(2)中，人體 慢慢向前移動，右腳邁出，帶動人體前進，從而產生了右腿在前左腿在后的情況，正如左側(2)部分所示， 生成的拉班舞譜符號與人體在這段時間內的運動相一致;在(3)中，人體繼續(xù)運動，該時間段內人體各部位的 動作分別為左腿向前，右腿向后，左手向左，右手向右，頭部有一個比較明顯向前的動作，與其生成的舞 譜符號相一致:(4)中，人體各部位的動作分別為左腿向后，右腿向前，左手臂向左前，右手臂向右，與 其生成的舞譜符號基本相同。由于在人體運動過程中，人體的朝向在不斷發(fā)生著變化，而我們目前所使用 的判斷身體各部位動作的方法還沒有將人體朝向的判斷加入其中，因而導致了一些不恰當的舞譜符號的產 生，這也是我們接下來要進行研究的方向。通過上面的結果對比圖，我們可以看出，在運動不是很復雜的 情況下，或是在人體朝向相對于初始位置沒有發(fā)生很大變化的情況下，生成的拉班舞譜結果與運動捕捉數 據中的記錄基本一致，還是比較令人滿意的。在接下來的研究工作中，我們首先會加入人體朝向的判斷， 并將其作為判斷身體各部位運動方向的前提，進而提高我們所生成的拉班舞譜的準確率。



  本文關鍵詞：基于運動捕捉數據的拉班舞譜生成，由筆耕文化傳播整理發(fā)布。