本文選題：人物行為語義　切入點：社交關(guān)系　出處：《南京郵電大學(xué)》2017年碩士論文　論文類型：學(xué)位論文

【摘要】：識別視頻中人物行為與社交關(guān)系是理解視頻語義的重要任務(wù),其主要難點在于如何通過運用深度學(xué)習(xí)等算法來分析和整合與人物行為相關(guān)的視頻語義線索。近年來傳統(tǒng)的深度學(xué)習(xí)算法在簡單靜態(tài)圖片識別方面取得了突出成就,但是仍不能滿足視頻中復(fù)雜的人物行為與社交關(guān)系識別要求。本學(xué)位論文以識別視頻中的人物行為語義與社交關(guān)系為研究目標,首先提出一種基于長短期記憶(LSTM)模型的語義識別算法來識別視頻中人物行為,再通過一種基于無向有權(quán)圖的節(jié)點聚類算法來完成視頻中人物社交分組,最后通過部分標記因子圖模型(SPLP-FGM)來推斷視頻中人物的社交關(guān)系。此外,本文在微軟視頻描述語料、電影描述的語料庫兩個數(shù)據(jù)集上進行人物行為語義識別實驗,在電視劇Friends數(shù)據(jù)集上進行人物社交關(guān)系識別實驗。實驗結(jié)果表明,本文提出的基于LSTM模型的語義識別算法能夠高效和全面地識別視頻中人物的行為語義,部分標記因子圖模型能夠有效地識別視頻中人物之間的社交關(guān)系。本文的工作創(chuàng)新主要體現(xiàn)在以下三個方面:(1)利用卷積神經(jīng)網(wǎng)絡(luò)并行地抽取每個視頻場景中的人物身份、人物動作和上下文等三個方面的中層語義特征,通過兩層循環(huán)神經(jīng)網(wǎng)絡(luò)來融合這三個方面的語義信息來完成視頻中人物行為語義的識別;(2)將視頻中的人物社交映射成無向有權(quán)圖,通過一種基于無向有權(quán)圖的節(jié)點聚類算法來完成視頻中人物的社交分組;(3)在完成視頻中人物的社交分組和行為語義識別的基礎(chǔ)上,通過構(gòu)建和學(xué)習(xí)部分標記因子圖模型來推斷視頻中所有的未知人物社交關(guān)系。
[Abstract]:It is an important task to understand the meaning of video to identify the relationship between the behavior and social relationship of the characters in the video. The main difficulty lies in how to analyze and integrate the video semantic clues related to the behavior of characters by using deep learning algorithms. In recent years, traditional depth learning algorithms have made outstanding achievements in simple static image recognition. However, it still can not meet the requirements of complex character behavior and social relationship recognition in video. This dissertation aims to identify the semantic and social relationship of character behavior in video. Firstly, a semantic recognition algorithm based on LSTM (long and short memory) model is proposed to identify the behavior of characters in video. Then, a node clustering algorithm based on undirected weighted graph is proposed to realize the social grouping of characters in video. Finally, the social relationship of the characters in the video is inferred by the partial tagging factor graph model (SPLP-FGM). In addition, the experiment of character behavior semantic recognition is carried out on the two data sets of Microsoft video description corpus and movie description corpus. The experiment of character social relationship recognition on TV series Friends dataset shows that the proposed semantic recognition algorithm based on LSTM model can effectively and comprehensively recognize the behavioral semantics of the characters in the video. Part of the tagging factor graph model can effectively identify the social relationship between the characters in the video. The work innovation of this paper is mainly reflected in the following three aspects: 1) using convolution neural network to extract the identity of the characters in each video scene in parallel. The middle semantic features of character action and context, The two-layer cyclic neural network is used to fuse the semantic information of these three aspects to realize the semantic recognition of the behavior of the characters in the video. (2) the social interaction of the characters in the video is mapped into an undirected weighted graph. In this paper, a node clustering algorithm based on undirected weighted graph is used to realize the social grouping of the characters in the video, which is based on the recognition of the social grouping and behavioral semantics of the characters in the video. By constructing and learning partial marker factor graph model, we infer the social relationship of all unknown characters in the video.
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP391.41

【相似文獻】

相關(guān)期刊論文 前10條

1 ;四款微視頻服務(wù)介紹:微視頻時代即將到來?[J];硅谷;2011年10期

2 楊富強;愛維德在中國拓展新視頻領(lǐng)域[J];今日電子;1996年04期

3 王縵縵;愛維德技術(shù)公司在中國拓展新視頻領(lǐng)域[J];現(xiàn)代電信科技;1996年04期

4 陳永東;;2010年網(wǎng)絡(luò)視頻領(lǐng)域發(fā)展趨勢[J];軟件工程師;2010年Z1期

5 蘇巖;;微視頻發(fā)展歷史研究[J];軟件導(dǎo)刊(教育技術(shù));2011年11期

6 瞬雨;;視頻突破:聚合的開放性意義[J];軟件工程師;2009年06期

7 吳勇毅;;以創(chuàng)新破困局——2012視頻網(wǎng)業(yè)之嬗變[J];軟件工程師;2012年05期

8 李蕭然;;三視頻巨頭棄成見結(jié)盟 二三線陣營面臨生死抉擇[J];IT時代周刊;2012年10期

9 賈志宏 ,康文萱;1993年《國際音視頻》雜志視頻大獎賽[J];今日電子;1994年01期

10 莫黎,方驊;多媒體技術(shù)在視頻領(lǐng)域中的應(yīng)用[J];計算機與數(shù)字工程;2002年05期

相關(guān)會議論文 前10條

1 楊黎娟;秦榮;;淺談研究生學(xué)位論文檔案管理及開發(fā)利用[A];陜西省檔案學(xué)會第八次檔案學(xué)術(shù)討論會論文選輯[C];2004年

2 龔樂年;;芻議影響研究生業(yè)務(wù)培養(yǎng)質(zhì)量的幾個原因[A];第二屆全國高校電氣工程及其自動化專業(yè)教學(xué)改革研討會論文集（下冊）[C];2004年

3 蔡妙花;曹春;趙乃良;;優(yōu)化管理提升研究生培養(yǎng)質(zhì)量的探索和實踐[A];電子高等教育學(xué)會2008年學(xué)術(shù)年會論文集[C];2008年

4 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國控制與決策學(xué)術(shù)年會論文集[C];1996年

5 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國智能自動化會議論文集（上冊）[C];2003年

6 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡單規(guī)劃的識別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集[C];2009年

7 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

8 鐘義信;;知識論:神經(jīng)網(wǎng)絡(luò)的新機遇——紀念中國神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

9 許進;保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

10 金龍;朱詩武;趙成志;陳寧;;數(shù)值預(yù)報產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報應(yīng)用[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

相關(guān)重要報紙文章 前10條

1 西平;億萬財富百日造 網(wǎng)絡(luò)視頻的現(xiàn)實抉擇[N];中國經(jīng)濟時報;2006年

2 薛娟;網(wǎng)絡(luò)視頻：燒錢不賺錢？[N];中國經(jīng)濟時報;2007年

3 張牧涵;網(wǎng)絡(luò)視頻挑戰(zhàn)電視[N];市場報;2007年

4 張亞萍;“新規(guī)”加速視頻業(yè)健康發(fā)展[N];光明日報;2009年

5 本報記者 黃智軍;第一視頻 出擊微視頻 打造明星團隊[N];計算機世界;2010年

6 本報記者 劉燕;第一視頻主推微視頻[N];科技日報;2010年

7 實習(xí)記者 俞悅;網(wǎng)絡(luò)視頻試圖聯(lián)姻傳統(tǒng)行業(yè) 基因成本眾多因素左右其抉擇[N];中國計算機報;2008年

8 商報實習(xí)記者 魏蔚;新浪推微視頻趕搭行業(yè)末班車[N];北京商報;2011年

9 本報記者 王榮;激動網(wǎng)首推視頻云計劃[N];中國證券報;2011年

10 本報記者 任曉寧;微視頻一路升溫：產(chǎn)業(yè)前景日見清晰[N];中國新聞出版報;2012年

相關(guān)博士學(xué)位論文 前10條

1 趙敏丞;無線網(wǎng)絡(luò)中視頻跨層傳輸關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2015年

2 耿杰;視頻概念檢測中的領(lǐng)域自適應(yīng)和語義關(guān)聯(lián)研究[D];北京交通大學(xué);2016年

3 劉桂清;視頻摘要技術(shù)的研究與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2004年

4 梅濤;家用視頻內(nèi)容分析方法研究[D];中國科學(xué)技術(shù)大學(xué);2006年

5 宋彥;視頻語義標注方法和理論的研究[D];中國科學(xué)技術(shù)大學(xué);2006年

6 付暢儉;基于內(nèi)容的視頻結(jié)構(gòu)挖掘方法研究[D];國防科學(xué)技術(shù)大學(xué);2008年

7 于翔;國家可持續(xù)發(fā)展實驗區(qū)能力評估及示范效應(yīng)實證研究[D];西南交通大學(xué);2015年

8 Akanand Singh;[D];重慶醫(yī)科大學(xué);2016年

9 AJAY KUMAR MISHRA;[D];重慶醫(yī)科大學(xué);2016年

10 PRIYANKA SHUKLA;[D];重慶醫(yī)科大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 高翔;基于視頻深度學(xué)習(xí)的人物行為分析與社交關(guān)系識別[D];南京郵電大學(xué);2017年

2 王俊;隨機步長無向環(huán)網(wǎng)通信延遲的研究[D];安徽工業(yè)大學(xué);2017年

3 王嫣然;視頻的美學(xué)和有趣性計算角度[D];復(fù)旦大學(xué);2014年

4 陳倬;3D視頻c\索引擎中3D視頻識別和聚類的研究[D];電子科技大學(xué);2014年

5 范玉憲;視頻監(jiān)控中人體跟蹤的研究與實現(xiàn)[D];浙江工業(yè)大學(xué);2015年

6 姜麗秋;視頻網(wǎng)站傳播模式及發(fā)展策略研究[D];湖南師范大學(xué);2015年

7 張艷茹;視頻網(wǎng)站成本費用控制分析[D];首都經(jīng)濟貿(mào)易大學(xué);2016年

8 尹路通;基于隱語義模型的網(wǎng)絡(luò)視頻推薦系統(tǒng)研究[D];新疆大學(xué);2016年

9 王浩宇;特效在微視頻領(lǐng)域的應(yīng)用研究[D];上海師范大學(xué);2016年

10 任曉琴;鬼畜視頻的“熱傳播”現(xiàn)象研究[D];四川師范大學(xué);2016年

，

本文編號：1565196