本文選題：U-過程 + 集中不等式�。� 參考：《華中科技大學》2015年博士論文

【摘要】：偏序?qū)W習和排序?qū)W習在機器學習、信息檢索領域受到廣泛的關注,在統(tǒng)計學習理論的框架下,我們基于U-過程的理論,對偏序?qū)W習和排序?qū)W習進行推廣性的分析。 本文面向兩個緊密相連的研究領域：一是U-過程的最大值集中不等式,二是學習算法的推廣性能的界。 集中不等式描述一個隨機變量是否集中在某個數(shù)值(如數(shù)學期望)附近。在統(tǒng)計學習理論中,一個主要的數(shù)學工具就是集中不等式,經(jīng)驗過程的集中不等式廣泛的應用在學習算法的收斂速率的研究中。而一些學習問題又可以歸結(jié)到U-統(tǒng)計的表達形式。這樣促使我們研究U-過程最大值的集中不等式。U-過程與經(jīng)驗過程緊既有區(qū)別又有聯(lián)系,這種緊密的聯(lián)系使我們自然地想到用來證明經(jīng)驗過程的熵方法也能夠用來證明U-過程。區(qū)別是U-過程具有弱的相關結(jié)構(gòu),所以我們使用退耦的技巧來分解這種復雜的結(jié)構(gòu)。 在本文中我們的主要貢獻和創(chuàng)新點如下： 首先,我們給出了三種類型的集中不等式： ·關于非退化核的集中不等式, ·關于退化核的集中不等式, ·關于相關隨機變量的集中不等式。前兩個是關于U-過程的,其實當我們把這種弱相關整體看成一個泛函時,這樣仍然可以當做獨立同分布的情形來證明,只是在證明過程中使用退耦不等式來分解這種非獨立的結(jié)構(gòu)。在證明第一個不等式時,我們分成了兩步,先是證明非負核的U-過程的集中不等式,然后證明有界的核。我們使用非退化的不等式的研究了逐對損失的學習問題。第二個不等式的證明更復雜一些,我們證明的結(jié)果和經(jīng)驗過程有相同的結(jié)構(gòu)。第三個是非獨立的隨機變量的泛函,可以看作是圖上的數(shù)據(jù),每一個隨機變量是圖的頂點,我們借助于分數(shù)覆蓋的理論,把非獨立的隨機變量,分解成一些塊的和,而每一塊是獨立同分布的隨機變量之和,結(jié)合已有的結(jié)果和染色數(shù)的概念,我們就得到了非獨立的集中不等式。此外,我們還推廣了自有界函數(shù)的結(jié)構(gòu),定義了推廣的自有界函數(shù),并且給出了一個集中不等式。 第二個是學習算法的推廣性能的界。集中不等式和統(tǒng)計學習緊密的相連,二階的U-過程是適用于逐對的損失的學習問題。在本文中我們主要集中于偏序?qū)W習和排序?qū)W習,采用兩種分割假設空問的方法,一是基于相對風險的分割,二是基于方差的分割。 采用我們新證明的不等式,應用到逐點損失學習,不同于已有的文獻。在已有的結(jié)果中,作者采用了先把U-過程進行分解,然后分別用經(jīng)驗過程理論和退化的U-過程來界定。而我們的方法是統(tǒng)一的進行處理,然后再分解然后分別用Rademacher復雜度和Rademacher chaos復雜度來界定。這樣做的好處是,對于基于U-過程的不同的經(jīng)驗風險最小化的學習問題,我們主要研究其損失函數(shù)的不同。我們分別提供了偏序?qū)W習的樣本誤差的上界和帶懲罰的MP排序的風險的界。
[Abstract]:In the field of machine learning and information retrieval, partial order learning and ranking learning are paid more and more attention. Under the framework of statistical learning theory, we analyze the generalization of partial order learning and ranking learning based on U- process theory.This paper focuses on two closely connected research areas: one is the inequality of the maximum set of U- processes and the other is the bound of the generalized performance of the learning algorithm.A set inequality describes whether a random variable is concentrated near a numerical value, such as mathematical expectation.In statistical learning theory, one of the main mathematical tools is lumped inequality, which is widely used in the study of convergence rate of learning algorithm.Some learning problems can be attributed to the expression of U- statistics.This leads us to study the set inequality of the maximum value of U- process. U- process and empirical process are closely related and different. This close relation makes us naturally think that the entropy method used to prove the empirical process can also be used to prove the U- process.The difference is that U- processes have weak correlation structures, so we use decoupling techniques to decompose this complex structure.Our main contributions and innovations in this article are as follows:First, we give three types of set inequalities:On the set inequalities of nondegenerate kernels,On inequalities in sets of degenerate kernels,On the set inequality of correlated random variables.The first two are about U- processes, but when we look at this weakly correlated whole as a functional, we can still prove it as a case of independent co-distribution.It is only in the process of proof that decoupling inequalities are used to decompose this non-independent structure.When we prove the first inequality, we divide it into two steps: first, we prove the set inequality of the U-process with non-negative kernel, then we prove the bounded kernel.We study the learning problem of pair by pair loss by using nondegenerate inequalities.The proof of the second inequality is more complicated. The result of our proof has the same structure as the empirical process.The third is the functional of the dependent random variable, which can be regarded as the data on the graph, and each random variable is the vertex of the graph. We decompose the non-independent random variable into the sum of some blocks with the help of the fractional covering theory.And each block is the sum of random variables with independent and same distribution. Combined with the existing results and the concept of coloring number, we obtain an independent set inequality.In addition, we generalize the structure of the self-bounded function, define the generalized self-bounded function, and give a set inequality.The second is the bound of the generalized performance of the learning algorithm.Set inequality is closely related to statistical learning. Second order U- process is suitable for pair by pair loss learning problem.In this paper, we mainly focus on partial order learning and ranking learning. We use two segmentation methods, one is based on relative risk and the other is based on variance.By using our newly proved inequality, we apply it to point by point loss learning, which is different from the existing literature.In the existing results, the U- process is first decomposed and then defined by the empirical process theory and the degenerate U- process, respectively.Our method is unified, then decomposed and then defined by Rademacher complexity and Rademacher chaos complexity respectively.The advantage of this is that we mainly study the difference of loss function for different empirical risk minimization problems based on U- process.We provide the upper bound of the sample error of partial order learning and the bound of the risk of MP ordering with penalty, respectively.
【學位授予單位】：華中科技大學
【學位級別】：博士
【學位授予年份】：2015
【分類號】：TP18

【相似文獻】

相關期刊論文 前10條

1 李文海;學習,世紀之交的呼喚[J];采.寫.編;1999年01期

2 姜永平;網(wǎng)絡環(huán)境下的學習[J];中國青年科技;2004年09期

3 程智;網(wǎng)絡教育中建構(gòu)主義學習理論的運用[J];廣州大學學報(社會科學版);2002年11期

4 胡秋梅;;簡析建構(gòu)主義學習理論在多媒體教學中的實踐應用[J];教育與職業(yè);2004年28期

5 陳明選;基于建構(gòu)主義學習理論下的網(wǎng)絡教育觀[J];教育信息化;2004年12期

6 王婧;淺談學習理論在網(wǎng)絡教育中的應用[J];黑龍江教育學院學報;2005年05期

7 雷敏;;淺談建構(gòu)主義學習理論指導下的多媒體教學[J];赤峰學院學報(自然科學版);2006年06期

8 丁新;;主持人語:積極推進適應網(wǎng)絡時代的學習理論研究[J];廣東廣播電視大學學報;2010年03期

9 楊強;;基于建構(gòu)主義的網(wǎng)絡課程的設計研究[J];科技信息;2012年02期

10 R.C.Schank;張曉東;董稚明;;學習之我見[J];計算機科學;1989年05期

相關會議論文 前10條

1 楊靜萍;;教師角色的轉(zhuǎn)變與學習理論的學習[A];第四屆全國中學化學教學研討會論文集（一）[C];2004年

2 侯維芝;呂鑫祥;;基于建構(gòu)主義學習理論的高職教育教學設計[A];中國職業(yè)技術教育學會2006年學術年會論文集[C];2006年

3 王華容;;現(xiàn)代建構(gòu)主義學習理論的困惑[A];第十屆全國心理學學術大會論文摘要集[C];2005年

4 武杰;;特殊教育實踐對幾種學習理論的檢驗及其分析[A];第九屆全國心理學學術會議文摘選集[C];2001年

5 王志遠;陳作珊;;重溫陳云《學習是共產(chǎn)黨員的責任》[A];陳云和他的事業(yè)——陳云生平與思想研討會論文集（下）[C];1995年

6 艾辛;;和青年朋友談治學[A];忘年交書簡五十封[C];2007年

7 陳勇;鄭東;;陳云有關學習論述的啟示[A];陳云百周年紀念-全國陳云生平和思想研討會論文集（中）[C];2005年

8 周婷;;如何發(fā)揮好預習在小學高年段數(shù)學學習中的作用——實證研究報告[A];江蘇省教育學會2006年年會論文集（理科專輯）[C];2006年

9 吳思為;伍新春;;從建構(gòu)主義到復雜科學[A];第十二屆全國心理學學術大會論文摘要集[C];2009年

10 王光龍;;略論毛澤東民主革命時期的學習思想[A];紀念《教育史研究》創(chuàng)刊二十周年論文集（2）——中國教育思想史與人物研究[C];2009年

相關重要報紙文章 前10條

1 記者 周波;市委辦機關黨員學習十七大精神[N];桂林日報;2007年

2 張斌;學習實踐活動要解決“形而象”的問題[N];赤峰日報;2010年

3 定陶二中 蔡玲;如何激發(fā)學生學習化學的興趣[N];學知報;2011年

4 湖南省委建設學習型黨組織辦公室主任 肖君華;“學習大國”的理論特質(zhì)與實踐意義[N];光明日報;2014年

5 張正華;學習是一種責任[N];沈陽日報;2004年

6 鄒仕樘;勤奮學習應成為政協(xié)工作者首要之責[N];光華時報;2006年

7 特約記者 崔孝宗 裴文華;天水國稅中心組學習做到“五保證”[N];甘肅經(jīng)濟日報;2006年

8 郭春秋;讓學習常態(tài)化[N];戰(zhàn)士報;2008年

9 ;黨員干部要牢固樹立終身學習的理念[N];組織人事報;2008年

10 劉力 菏澤市立醫(yī)院;新形勢下更需要學習[N];菏澤日報;2009年

相關博士學位論文 前6條

1 任傳寶;U-過程集中不等式及其在學習理論中的應用[D];華中科技大學;2015年

2 劉菊;關聯(lián)主義學習理論及其視角下的教與學組織研究[D];東北師范大學;2011年

3 魏晶;外語學習者計算機網(wǎng)絡生態(tài)環(huán)境優(yōu)化研究[D];上海外國語大學;2012年

4 馮云龍;統(tǒng)計學習理論中基于核的算法研究[D];中國科學技術大學;2012年

5 李麗;追尋學習的生存論意義[D];華東師范大學;2007年

6 曹揚;基于博弈與學習理論的無線網(wǎng)絡自組織策略與算法研究[D];華中科技大學;2014年

相關碩士學位論文 前10條

1 陳倩;基于深度學習理論的教學法的研究[D];上海師范大學;2015年

2 李賢慧;基于稀疏學習的專家列表排序?qū)W習方法研究[D];昆明理工大學;2015年

3 唐莉蓉;美國成人轉(zhuǎn)化學習理論發(fā)展研究[D];西南大學;2015年

4 季烈;農(nóng)村留守兒童身份認同和英語學習的調(diào)查研究[D];沈陽師范大學;2014年

5 張旭;基于生活化學習理論的成長記錄袋網(wǎng)站設計與研究[D];貴州師范大學;2015年

6 高樹勇;外來務工者子女的學習問題與教育策略[D];內(nèi)蒙古師范大學;2015年

7 陸春梅;服務—學習理論在我國高校實踐育人中的有效運用研究[D];華中師范大學;2015年

8 張竣堯;建構(gòu)主義學習理論指導下的語文教學研究[D];貴州師范大學;2014年

9 詹曉梅;建構(gòu)主義學習理論運用于田徑技術教學的實驗研究[D];江西師范大學;2005年

10 姚銳;關于技術與學習理論互動關系的研究[D];廣西師范大學;2007年

，

本文編號：1752350