在機器學習中,經常會遇到對幾個相關聯(lián)的任務建立機器學習模型的情況,比如關于人臉的識別、人臉表情的判斷、人年齡的預測等。這些任務本質上都是對人臉數(shù)據(jù)進行建模,但是傳統(tǒng)的機器學習往往通過單任務學習的方法進行訓練,針對每個任務單獨學習一個模型。這種單任務學習的方法忽略了多個任務之間的聯(lián)系,損失了一些存在于數(shù)據(jù)或者模型參數(shù)之間的信息。特別是在單任務本身數(shù)據(jù)量不足的情況下,單任務學習很難通過訓練得到足夠的數(shù)據(jù)分布信息,因此學習效果會有不同程度的下降。多任務學習的提出就是為了解決單任務學習的這種弊端,通過進行合理的假設,充分挖掘任務之間的關系,從而為每一個任務提供額外的訓練信息,最終提高每個任務的表現(xiàn)。本論文主要針對多任務學習的情況,對不同場景下的多任務學習方法進行研究,希望通過多任務學習的方法提高每個任務的學習效果。目前已有的多任務學習方法大致可以分為三類:基于特征分享的多任務學習方法、基于模型參數(shù)分享的多任務學習方法、基于深度學習的多任務學習方法。相比于單任務學習方法,這些多任務學習方法的效果已經在多個數(shù)據(jù)集上得到了驗證。但是已有的方法也存在缺陷,主要包含以下幾個方面(1)多任務學習需要同時使用多個任務的數(shù)據(jù),效率上受到限制,求解復雜度高。(2)只考慮特征之間的關系或者模型之間的關系,沒有將二者進行結合,從而導致任務之間的關系不夠緊密。(3)線性多任務學習方法拓展到非線性核空間復雜度高,不易求解。(4)現(xiàn)有方法只考慮了當前任務的性能,學習到的模型很難遷移到將來某個相關的任務中。該論文針對現(xiàn)有方法存在的問題,分別設計新的多任務學習算法,從而改善現(xiàn)有方法的缺點。主要可以分為四個部分:基于近似支持向量機的多任務學習方法、基于特征分享與模型參數(shù)分享的多任務學習方法,基于特征函數(shù)的多任務學習方法以及多任務學習的拓展。其中基于近似支持向量機的多任務學習方法,旨在提高多任務學習的效率,降低多任務學習的復雜度。該方法能夠對多任務學習目標函數(shù)進行顯式的求解,求解過程中本文對矩陣的相關運算進行優(yōu)化,減少了訓練樣本增多帶來的訓練效率下降的問題。最終該方法的運行時間在多個數(shù)據(jù)集上能有一個量級的提高,并且能夠保證多任務學習的效果。針對多任務學習信息利用不完全的問題,本文提出基于特征分享與模型參數(shù)分享相結合的多任務學習方法。該方法同時衡量特征之間與模型參數(shù)之間的關系,避免了任務之間關系挖掘不充分的缺點,在多個數(shù)據(jù)集上的表現(xiàn)都比分別基于特征分享或者模型參數(shù)分享的多任務模型要好。在該方法中,本文提出并證明了將非凸目標函數(shù)轉化為等價凸優(yōu)化問題的可行性,并給出了最優(yōu)解,降低了求解的復雜度。最后,本文給出了泛化誤差的理論分析,從理論上證明了該方法的優(yōu)越性。為了實現(xiàn)線性多任務學習模型能夠簡單的拓展到非線性核空間,該論文提出了基于特征函數(shù)的多任務學習方法,該方法實現(xiàn)簡單并且有著良好的實驗表現(xiàn)�；谔卣骱瘮�(shù)的多任務學習思想也是本文提出的全新的研究多任務學習的思路,為后面多任務學習的研究提供了新方法。該方法也在實驗和理論兩方面上證明了其有效性。除了上述嚴格意義上的多任務學習方法,本文還研究了多任務學習的兩個拓展問題。首先提出了基于神經網絡將分類任務與特征學習任務相結合的學習方法,使得分類與特征學習之間互相促進。其次,為了解決多任務學習模型難以拓展到將來的相關任務上的問題,本文提出了基于域自適應的多任務學習方法,通過域自適應學習,能夠學習到不同任務共有的特征,從而將模型很好的遷移到將來的某個關聯(lián)任務上。本論文的貢獻及創(chuàng)新點大致可以總結如下:·該論文針對現(xiàn)有方法的不同缺點提出了多個多任務學習算法,改善了現(xiàn)有方法效率低、任務之間關系衡量不充分、難以拓展到非線性核空間等問題�！ぴ撜撐牟粌H在實驗上證明了本文提出方法的有效性,并且給出了理論證明,對提出方法的有效性給出了合理的數(shù)學解釋及分析�！ぴ撜撐奶岢龅幕谔卣骱瘮�(shù)的多任務學習方法從一個全新的角度去衡量任務之間的關系,為后面多任務學習的研究提供了新思路。·該論文對多任務學習進行了拓展,提出了將不同目標的任務聯(lián)合學習以及如何對將來的任務進行高效的學習。
【學位單位】：中國科學技術大學
【學位級別】：博士
【學位年份】：2018
【中圖分類】：TP181
【部分圖文】：

逡逑要思想可以通過圖１．２表示，圖中有５個相關連的任務，８個不同的特征，基于特逡逑征分享的多任務學習方法希望學習到一些所有任務都共享的特征，然后基于這逡逑些特征進行模型的學習，這些共享的特征就代表了不同任務之間的關系。比如逡逑Ａｒｇｙｒｉｏｕ邋等人提出的邋“Ｃｏｎｖｅｘ邋Ｍｕｌｔｉ－ｔａｓｋ邋Ｆｅａｔｕｒｅ邋Ｌｅａｍｉｎｇ”［８］方法是基于特征分逡逑享的一個經典的多任務學習方法，文中提出了以Ｌ２１范數(shù)作為特征約束學習稀逡逑疏的共享特征，在Ｌ２１范數(shù)的約束下大部分特征系數(shù)都會趨于零值，只有少部分逡逑特征系數(shù)非零，而這些非零的特征就是所有任務共享的特征。文中提出的目標函逡逑數(shù)非凸，為了方便求解，該非凸目標函數(shù)被轉換為凸函數(shù)，并在多個數(shù)據(jù)集上進逡逑行了實驗，效果相對于單任務學習和以前的多任務學習方法得到了提升。Ｇｏｎｇ逡逑等人指出“Ｃｏｎｖｅｘ邋Ｍｕｌｔｉ－ｔａｓｋ邋Ｆｅａｔｕｒｅ邋Ｌｅａｒｎｉｎｇ”邋一文中假設所有的任務都分享一逡逑部分特征的約束過于強

一些底部的層學習一些共有的低層次的特征，為了保證任務的獨特性，每個任務逡逑在頂部擁有自己獨特的層學習高層次的特征。這種方法底層共享的參數(shù)是完全逡逑相同的。圖１．４代表的是另外一種多任務深度學習方法，該方法不要求底部的參逡逑數(shù)完全一樣，而是對不同任務底部的參數(shù)進行正則化，比如ｄｕｏｎｇ等人［１７］提出逡逑的用Ｌ２范數(shù)對不同任務之間的參數(shù)進行距離約束保證任務之間的關聯(lián)性，Ｙａｎｇ逡逑等人［１８］提出的用ｔｒａｃｅ邋ｎｏｒｍ對底部參數(shù)進行正則化等。相對于硬參數(shù)約束的多逡逑任務深度學習模型，軟約束的多任務學習模型的約束更加寬松，當任務關系不是逡逑特別緊密的時候，有可能學習得到更好的結果。多任務深度學習模型需要同時學逡逑習一個適合多個任務的網絡構架，一般來說模型具有更好的魯棒性，不容易過擬逡逑合。逡逑任務Ａ邐任務Ｂ邐任務Ｃ逡逑廠１＿彳ｉ邋「＂Ｉｎ任務特有層逡逑Ｉ邐Ｉ逡逑共享層逡逑ｒ：＇＇＇邐１逡逑圖１．３基于硬約束的多任務深度學習方法示意圖。逡逑｜任務Ａ邋｜邐｜任務Ｂ邋｜邐｜任務Ｃ邋｜逡逑ＺＺＺ逡逑ｒ￣ｉ邐ｒｐ邐ｒ￣ｎ逡逑Ｉ邐ｈ￣￣￣逡逑ｌ邋＾邐￣￣受限層逡逑Ｌ—二—邐Ｊ￣＂ＴＶ：Ｖ」逡逑圖１．４基于軟約束的多任務深度學習方法示意圖。逡逑１．２．４．現(xiàn)有方法存在的問題逡逑雖然多任務學習相對于單任務學習有明顯的優(yōu)勢，但是現(xiàn)有多任務學習也逡逑存在一定的缺陷。具體總結如下：逡逑？多任務學習方法通常要使用多個任務的數(shù)據(jù)，因此效率上會受到很大的限逡逑制

一些底部的層學習一些共有的低層次的特征，為了保證任務的獨特性，每個任務逡逑在頂部擁有自己獨特的層學習高層次的特征。這種方法底層共享的參數(shù)是完全逡逑相同的。圖１．４代表的是另外一種多任務深度學習方法，該方法不要求底部的參逡逑數(shù)完全一樣，而是對不同任務底部的參數(shù)進行正則化，比如ｄｕｏｎｇ等人［１７］提出逡逑的用Ｌ２范數(shù)對不同任務之間的參數(shù)進行距離約束保證任務之間的關聯(lián)性，Ｙａｎｇ逡逑等人［１８］提出的用ｔｒａｃｅ邋ｎｏｒｍ對底部參數(shù)進行正則化等。相對于硬參數(shù)約束的多逡逑任務深度學習模型，軟約束的多任務學習模型的約束更加寬松，當任務關系不是逡逑特別緊密的時候，有可能學習得到更好的結果。多任務深度學習模型需要同時學逡逑習一個適合多個任務的網絡構架，一般來說模型具有更好的魯棒性，不容易過擬逡逑合。逡逑任務Ａ邐任務Ｂ邐任務Ｃ逡逑廠１＿彳ｉ邋「＂Ｉｎ任務特有層逡逑Ｉ邐Ｉ逡逑共享層逡逑ｒ：＇＇＇邐１逡逑圖１．３基于硬約束的多任務深度學習方法示意圖。逡逑｜任務Ａ邋｜邐｜任務Ｂ邋｜邐｜任務Ｃ邋｜逡逑ＺＺＺ逡逑ｒ￣ｉ邐ｒｐ邐ｒ￣ｎ逡逑Ｉ邐ｈ￣￣￣逡逑ｌ邋＾邐￣￣受限層逡逑Ｌ—二—邐Ｊ￣＂ＴＶ：Ｖ」逡逑圖１．４基于軟約束的多任務深度學習方法示意圖。逡逑１．２．４．現(xiàn)有方法存在的問題逡逑雖然多任務學習相對于單任務學習有明顯的優(yōu)勢，但是現(xiàn)有多任務學習也逡逑存在一定的缺陷。具體總結如下：逡逑？多任務學習方法通常要使用多個任務的數(shù)據(jù)，因此效率上會受到很大的限逡逑制

【相似文獻】

相關期刊論文 前10條

1 謝超蘭;;高中英語任務型閱讀教學初探[J];青少年日記(教育教學研究);2016年08期

2 楊玲麗;;優(yōu)化方式,自主探究——“任務學習單”在綜合實踐活動中的運用[J];華夏教師;2014年S1期

3 華芳;;例談用好“任務學習單”[J];七彩語文(教師論壇);2015年08期

4 ;介紹Jane Willis著《任務學習法概覽》[J];外語教學與研究;1998年04期

5 許棣華;王志堅;;基于多任務學習的郵件過濾系統(tǒng)的研究[J];計算機技術與發(fā)展;2010年10期

6 李松林,甘健侯;基于任務學習法的素質教育研究[J];學術探索;2002年02期

7 韓鳳娟;肖春靜;王歡;;基于多任務學習的微博流行度預測[J];河南大學學報(自然科學版);2017年05期

8 馬愷;;基于樹結構的多任務學習算法[J];福建電腦;2017年09期

9 嚴育洪;;設計好“大任務”,讓學生看見“知識就是力量”[J];小學教學(數(shù)學版);2018年03期

10 馬建陽;張寶鵬;基于多任務學習的多源數(shù)據(jù)分類研究[J];計算機應用研究;2018年11期

相關會議論文 前4條

1 ;任務驅動式教學法[A];中學教育科研2017年5-6期（總第216-217期）[C];2017年

2 張宇;張鵬遠;顏永紅;;基于注意力LSTM和多任務學習的遠場語音識別[A];第十四屆全國人機語音通訊學術會議（NCMMSC’2017）論文集[C];2017年

3 雷加美;;英語教學中的任務型閱讀模式研究[A];十三五規(guī)劃科研成果匯編(第二卷)[C];2017年

4 田滿紅;;中級工數(shù)學課程與專業(yè)結合的教學實踐[A];中國職協(xié)2016年度優(yōu)秀科研成果獲獎論文集（學校二等獎）[C];2016年

相關重要報紙文章 前4條

1 江蘇省無錫市錫山教師進修學校 嚴育洪;尋找撬起課堂的支點[N];中國教師報;2017年

2 記者 徐愛龍;緊抓首要政治任務學習宣傳貫徹好十八大精神 緊密聯(lián)系自身實際主動服務全面小康社會建設[N];甘肅日報;2012年

3 記者 徐愛龍;緊抓首要政治任務學習宣傳貫徹好十八大精神 緊密聯(lián)系自身實際主動服務全面小康社會建設[N];甘肅法制報;2012年

4 撰稿 段麗 策劃 吉奉剛;MVP注入發(fā)展新動力[N];中國郵政報;2012年

相關博士學位論文 前3條

1 李亞;多任務學習的研究[D];中國科學技術大學;2018年

2 浦劍;多任務學習算法研究[D];復旦大學;2013年

3 楊名;矩陣廣義逆高斯分布在多任務學習中的應用[D];浙江大學;2014年

相關碩士學位論文 前10條

1 金鳳;多視角的構建及其在單任務學習和多任務學習中的應用[D];華東師范大學;2010年

2 黃艾青;基于疊加模型的多任務學習及應用[D];中國科學技術大學;2015年

3 劉凌波;基于多任務學習的年齡估計研究[D];中南大學;2012年

4 戴美銀;基于動態(tài)模糊集的半監(jiān)督多任務學習[D];蘇州大學;2012年

5 周茜;基于多任務學習的人臉識別方法[D];西北大學;2013年

6 鄒亮;基于多任務學習的微博信息流重排序研究[D];西安電子科技大學;2017年

7 曹佳炯;基于多任務學習和度量學習的人臉屬性分類研究[D];浙江大學;2018年

8 田貝貝;基于流形學習和多任務學習的腫瘤基因表達數(shù)據(jù)分類方法研究[D];武漢科技大學;2015年

9 羅忠莉;網絡環(huán)境下任務牽引式教學在初中信息技術課程中的應用探究[D];云南師范大學;2017年

10 程哠;多任務學習技術在混合推薦中的應用研究與實現(xiàn)[D];浙江大學;2012年

本文編號：2809605