短視頻作為一種新興社交媒介,具有時長短,入門簡單,易于分享等特點,更加滿足當(dāng)前網(wǎng)絡(luò)社交的需求。使其在十年之內(nèi)得到了快速發(fā)展,經(jīng)歷萌芽期,成長期,如今已進(jìn)入爆發(fā)期。然而,伴隨著用戶數(shù),短視頻庫存量,以及市場規(guī)模的快速增長,如何管理和組織好海量的短視頻是當(dāng)前短視頻行業(yè)發(fā)展所面臨的一個巨大的挑戰(zhàn)。本學(xué)位論文旨在通過使用機器學(xué)習(xí)技術(shù)進(jìn)行自動化的短視頻表示學(xué)習(xí),促進(jìn)海量短視頻的自動化、智能化地組織和管理,解決實際應(yīng)用中存在的關(guān)鍵問題。同時,該研究成果也可以被推廣至其他相關(guān)科學(xué)領(lǐng)域,如傳統(tǒng)長視頻的理解,多媒體內(nèi)容推薦,社交網(wǎng)絡(luò)分析等,一定程度上解決相關(guān)理論研究中存在的科學(xué)問題。雖然國內(nèi)外學(xué)者對于短視頻表示學(xué)習(xí)的研究已經(jīng)取得一系列優(yōu)秀成果,但是這些工作都未充分考慮短視頻的自身特點,孤立的考慮內(nèi)容信息對于表示學(xué)習(xí)的影響,忽略了其中所涉及的復(fù)雜關(guān)系。因此,本課題從短視頻自身特點出發(fā),探索短視頻表示學(xué)習(xí)過程中存在的復(fù)雜關(guān)系,并對其進(jìn)行建模以優(yōu)化短視頻表示學(xué)習(xí)。因此,本學(xué)位論文以短視頻表示學(xué)習(xí)過程中存在的復(fù)雜關(guān)系為主要研究對象,并結(jié)合實際應(yīng)用進(jìn)行深入挖掘與分析,將短視頻應(yīng)用中存在的復(fù)雜關(guān)系由內(nèi)及外歸納為三個... 

【文章來源】：山東大學(xué)山東省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：121 頁

【學(xué)位級別】：博士

【部分圖文】：

圖１－１短視頻特點及其發(fā)展歷史??

１??模的短Ｍ表小學(xué)習(xí)＾＾頻共現(xiàn)關(guān)系趣Ｉ??基于復(fù)雜關(guān)系建模＿?１???＾——????????????＿——＿?＿?＿１??的短視頻表示學(xué)習(xí)???－－－－－－－－，??４?“ＩＳＳＳ?—?釅個”??賺木學(xué)ｄ?��；簽人？系狐?化推＃??，一一?一一一一?一?一一一?一?—?）??￥Ｈ．混合關(guān)系讓設(shè)的視頻－ｗ戶ｍ（同投１??Ｉ????????????Ｉ??圖１－３木學(xué)位論文研究Ｓ標(biāo)及研宂內(nèi)容??上限制了短視頻表示向量的表達(dá)能力。具體地，對于短視頻不同模態(tài)間的關(guān)系，??現(xiàn)有的方法僅僅考慮不同模態(tài)之間存在的一致性部分，而對于存在的其他關(guān)系??鮮有涉獵；對短視頻間存在的相互關(guān)聯(lián)，尚沒有工作進(jìn)行探索；除此之外，作??為短視頻重要組成部分的社交信息也遠(yuǎn)遠(yuǎn)沒有得到充分研宂；進(jìn)而，對于多種??不同關(guān)系同時＃在的混合關(guān)系更是Ａ前方法所沒行探索的屯要研宄內(nèi)容。ｗ此，??本論文結(jié)合短視頻特點提出貓ｒｓ雜關(guān)系建模的短視頻表示學(xué)習(xí)技術(shù)研究是非??常有必要的。??１．３研究目標(biāo)、研究內(nèi)容及主要創(chuàng)新點??１．３．１研究＠標(biāo)??本論文旨在研究短視頻應(yīng)用中存在的復(fù)雜關(guān)系對于短視頻表示學(xué)習(xí)的作用，??針對＋同關(guān)系的特點進(jìn)行建模并將其融入短視頻表示中，以加強表示向量的表??達(dá)能力。除此之外，本論文將理論方法與具體任務(wù)相結(jié)合以驗證本論文所提出??方法的有效性，具體目標(biāo)如圖１－３，具體研究目標(biāo)如下：??１．研究并實現(xiàn)一種關(guān)系敏感的神經(jīng)協(xié)同學(xué)習(xí)模型，該方法可以自動的發(fā)現(xiàn)、建??模不同模態(tài)信息間的一致性關(guān)系以及互補性關(guān)系，并利用這

視頻??中音頻質(zhì)量低的問題，并利用不同模態(tài)間的一致性關(guān)系進(jìn)行多模態(tài)的融合，最??終獲得更好的實驗結(jié)果。綜合以上方法不難發(fā)現(xiàn)，各學(xué)者通過引入共空間并將??異構(gòu)數(shù)據(jù)投影到該空間中以期獲得多模態(tài)信息的融合表示。然而，在投影過程??中，不可避免地造成單一模態(tài)所特有信息的損失，這很大程度上影響了短視頻??的表達(dá)學(xué)習(xí)。??ＭＭ－?－Ｈ＆ｉＪｉｌ??Ａｉｇｉｒｌｊｆｅｅｄｓ?ｔｈｅ?ｃｕｔｅｊｄｏｇｊｗｉｔｈ?ａ?ｇｉａｎｔｐｏｌｌｉｐｏｑｊｏｎ?ｔｈｅ［ｃａｍｐｕ４??了?爭???｜??圖２－１視覺模態(tài)與文本模態(tài)之間的關(guān)系示意圖??進(jìn)一步分析可知，現(xiàn)有的方法在多模態(tài)融合中僅考慮了不同模態(tài)間存在的共??同部分，即一致信息，而忽略了構(gòu)成多模態(tài)間復(fù)雜關(guān)系的其他部分。事實上，多??模態(tài)之間的關(guān)系不僅是一致性關(guān)系，它是更復(fù)雜的，例如，互補性關(guān)系是存在??于不同模態(tài)間的另一種與一致性關(guān)系同樣重要的關(guān)系類型。在本章的研宄內(nèi)容??中，將進(jìn)一步闡明由一致性和互補性關(guān)系組成的協(xié)同關(guān)系。本章中將一致性部??分定義為以不同形式存在于多個模態(tài)中的相同信息，如圖２－１所示，視覺模態(tài)中??紅色的糖以及文本模態(tài)中的單詞“ｌｏｌｌｉｐｏｐ”可以被認(rèn)為是屬于一致性信息。相??反地，互補信息表示為僅以一種形式出現(xiàn)的排他性信息。例如，圖２－１文本模態(tài)??中的“ｇｉｒｌ”和視覺模態(tài)中的草地，很難找到他們在其他模態(tài)中的對應(yīng)信息。因??＂１２??

【參考文獻(xiàn)】：
期刊論文
[1]聯(lián)合場景和行為特征的短視頻行為識別[J]. 董旭,譚勵,周麗娜,宋艷艷.  計算機科學(xué)與探索. 2020(10)

碩士論文
[1]融合視覺和文本的短標(biāo)注視頻情感分析研究[D]. 萬俊偉.南京郵電大學(xué) 2019
[2]基于深度學(xué)習(xí)的分類預(yù)測算法研究及實現(xiàn)[D]. 高旭旭.北京郵電大學(xué) 2019
[3]融合社交關(guān)系的人像短視頻推薦系統(tǒng)的研究與實現(xiàn)[D]. 鄔桐.遼寧大學(xué) 2019
[4]面向短視頻的自然語言生成描述方法[D]. 艾江波.電子科技大學(xué) 2019
[5]基于內(nèi)容的短視頻拷貝檢測系統(tǒng)的設(shè)計與實現(xiàn)[D]. 李東浩.北京交通大學(xué) 2018



本文編號：3087640