本文選題：U-過(guò)程 + 集中不等式��； 參考：《華中科技大學(xué)》2015年博士論文

【摘要】：偏序?qū)W習(xí)和排序?qū)W習(xí)在機(jī)器學(xué)習(xí)、信息檢索領(lǐng)域受到廣泛的關(guān)注,在統(tǒng)計(jì)學(xué)習(xí)理論的框架下,我們基于U-過(guò)程的理論,對(duì)偏序?qū)W習(xí)和排序?qū)W習(xí)進(jìn)行推廣性的分析。 本文面向兩個(gè)緊密相連的研究領(lǐng)域：一是U-過(guò)程的最大值集中不等式,二是學(xué)習(xí)算法的推廣性能的界。 集中不等式描述一個(gè)隨機(jī)變量是否集中在某個(gè)數(shù)值(如數(shù)學(xué)期望)附近。在統(tǒng)計(jì)學(xué)習(xí)理論中,一個(gè)主要的數(shù)學(xué)工具就是集中不等式,經(jīng)驗(yàn)過(guò)程的集中不等式廣泛的應(yīng)用在學(xué)習(xí)算法的收斂速率的研究中。而一些學(xué)習(xí)問(wèn)題又可以歸結(jié)到U-統(tǒng)計(jì)的表達(dá)形式。這樣促使我們研究U-過(guò)程最大值的集中不等式。U-過(guò)程與經(jīng)驗(yàn)過(guò)程緊既有區(qū)別又有聯(lián)系,這種緊密的聯(lián)系使我們自然地想到用來(lái)證明經(jīng)驗(yàn)過(guò)程的熵方法也能夠用來(lái)證明U-過(guò)程。區(qū)別是U-過(guò)程具有弱的相關(guān)結(jié)構(gòu),所以我們使用退耦的技巧來(lái)分解這種復(fù)雜的結(jié)構(gòu)。 在本文中我們的主要貢獻(xiàn)和創(chuàng)新點(diǎn)如下： 首先,我們給出了三種類(lèi)型的集中不等式： ·關(guān)于非退化核的集中不等式, ·關(guān)于退化核的集中不等式, ·關(guān)于相關(guān)隨機(jī)變量的集中不等式。前兩個(gè)是關(guān)于U-過(guò)程的,其實(shí)當(dāng)我們把這種弱相關(guān)整體看成一個(gè)泛函時(shí),這樣仍然可以當(dāng)做獨(dú)立同分布的情形來(lái)證明,只是在證明過(guò)程中使用退耦不等式來(lái)分解這種非獨(dú)立的結(jié)構(gòu)。在證明第一個(gè)不等式時(shí),我們分成了兩步,先是證明非負(fù)核的U-過(guò)程的集中不等式,然后證明有界的核。我們使用非退化的不等式的研究了逐對(duì)損失的學(xué)習(xí)問(wèn)題。第二個(gè)不等式的證明更復(fù)雜一些,我們證明的結(jié)果和經(jīng)驗(yàn)過(guò)程有相同的結(jié)構(gòu)。第三個(gè)是非獨(dú)立的隨機(jī)變量的泛函,可以看作是圖上的數(shù)據(jù),每一個(gè)隨機(jī)變量是圖的頂點(diǎn),我們借助于分?jǐn)?shù)覆蓋的理論,把非獨(dú)立的隨機(jī)變量,分解成一些塊的和,而每一塊是獨(dú)立同分布的隨機(jī)變量之和,結(jié)合已有的結(jié)果和染色數(shù)的概念,我們就得到了非獨(dú)立的集中不等式。此外,我們還推廣了自有界函數(shù)的結(jié)構(gòu),定義了推廣的自有界函數(shù),并且給出了一個(gè)集中不等式。 第二個(gè)是學(xué)習(xí)算法的推廣性能的界。集中不等式和統(tǒng)計(jì)學(xué)習(xí)緊密的相連,二階的U-過(guò)程是適用于逐對(duì)的損失的學(xué)習(xí)問(wèn)題。在本文中我們主要集中于偏序?qū)W習(xí)和排序?qū)W習(xí),采用兩種分割假設(shè)空問(wèn)的方法,一是基于相對(duì)風(fēng)險(xiǎn)的分割,二是基于方差的分割。 采用我們新證明的不等式,應(yīng)用到逐點(diǎn)損失學(xué)習(xí),不同于已有的文獻(xiàn)。在已有的結(jié)果中,作者采用了先把U-過(guò)程進(jìn)行分解,然后分別用經(jīng)驗(yàn)過(guò)程理論和退化的U-過(guò)程來(lái)界定。而我們的方法是統(tǒng)一的進(jìn)行處理,然后再分解然后分別用Rademacher復(fù)雜度和Rademacher chaos復(fù)雜度來(lái)界定。這樣做的好處是,對(duì)于基于U-過(guò)程的不同的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的學(xué)習(xí)問(wèn)題,我們主要研究其損失函數(shù)的不同。我們分別提供了偏序?qū)W習(xí)的樣本誤差的上界和帶懲罰的MP排序的風(fēng)險(xiǎn)的界。
[Abstract]:In the field of machine learning and information retrieval, partial order learning and ranking learning are paid more and more attention. Under the framework of statistical learning theory, we analyze the generalization of partial order learning and ranking learning based on U- process theory.This paper focuses on two closely connected research areas: one is the inequality of the maximum set of U- processes and the other is the bound of the generalized performance of the learning algorithm.A set inequality describes whether a random variable is concentrated near a numerical value, such as mathematical expectation.In statistical learning theory, one of the main mathematical tools is lumped inequality, which is widely used in the study of convergence rate of learning algorithm.Some learning problems can be attributed to the expression of U- statistics.This leads us to study the set inequality of the maximum value of U- process. U- process and empirical process are closely related and different. This close relation makes us naturally think that the entropy method used to prove the empirical process can also be used to prove the U- process.The difference is that U- processes have weak correlation structures, so we use decoupling techniques to decompose this complex structure.Our main contributions and innovations in this article are as follows:First, we give three types of set inequalities:On the set inequalities of nondegenerate kernels,On inequalities in sets of degenerate kernels,On the set inequality of correlated random variables.The first two are about U- processes, but when we look at this weakly correlated whole as a functional, we can still prove it as a case of independent co-distribution.It is only in the process of proof that decoupling inequalities are used to decompose this non-independent structure.When we prove the first inequality, we divide it into two steps: first, we prove the set inequality of the U-process with non-negative kernel, then we prove the bounded kernel.We study the learning problem of pair by pair loss by using nondegenerate inequalities.The proof of the second inequality is more complicated. The result of our proof has the same structure as the empirical process.The third is the functional of the dependent random variable, which can be regarded as the data on the graph, and each random variable is the vertex of the graph. We decompose the non-independent random variable into the sum of some blocks with the help of the fractional covering theory.And each block is the sum of random variables with independent and same distribution. Combined with the existing results and the concept of coloring number, we obtain an independent set inequality.In addition, we generalize the structure of the self-bounded function, define the generalized self-bounded function, and give a set inequality.The second is the bound of the generalized performance of the learning algorithm.Set inequality is closely related to statistical learning. Second order U- process is suitable for pair by pair loss learning problem.In this paper, we mainly focus on partial order learning and ranking learning. We use two segmentation methods, one is based on relative risk and the other is based on variance.By using our newly proved inequality, we apply it to point by point loss learning, which is different from the existing literature.In the existing results, the U- process is first decomposed and then defined by the empirical process theory and the degenerate U- process, respectively.Our method is unified, then decomposed and then defined by Rademacher complexity and Rademacher chaos complexity respectively.The advantage of this is that we mainly study the difference of loss function for different empirical risk minimization problems based on U- process.We provide the upper bound of the sample error of partial order learning and the bound of the risk of MP ordering with penalty, respectively.
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類(lèi)號(hào)】：TP18

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李文海;學(xué)習(xí),世紀(jì)之交的呼喚[J];采.寫(xiě).編;1999年01期

2 姜永平;網(wǎng)絡(luò)環(huán)境下的學(xué)習(xí)[J];中國(guó)青年科技;2004年09期

3 程智;網(wǎng)絡(luò)教育中建構(gòu)主義學(xué)習(xí)理論的運(yùn)用[J];廣州大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2002年11期

4 胡秋梅;;簡(jiǎn)析建構(gòu)主義學(xué)習(xí)理論在多媒體教學(xué)中的實(shí)踐應(yīng)用[J];教育與職業(yè);2004年28期

5 陳明選;基于建構(gòu)主義學(xué)習(xí)理論下的網(wǎng)絡(luò)教育觀[J];教育信息化;2004年12期

6 王婧;淺談學(xué)習(xí)理論在網(wǎng)絡(luò)教育中的應(yīng)用[J];黑龍江教育學(xué)院學(xué)報(bào);2005年05期

7 雷敏;;淺談建構(gòu)主義學(xué)習(xí)理論指導(dǎo)下的多媒體教學(xué)[J];赤峰學(xué)院學(xué)報(bào)(自然科學(xué)版);2006年06期

8 丁新;;主持人語(yǔ):積極推進(jìn)適應(yīng)網(wǎng)絡(luò)時(shí)代的學(xué)習(xí)理論研究[J];廣東廣播電視大學(xué)學(xué)報(bào);2010年03期

9 楊強(qiáng);;基于建構(gòu)主義的網(wǎng)絡(luò)課程的設(shè)計(jì)研究[J];科技信息;2012年02期

10 R.C.Schank;張曉東;董稚明;;學(xué)習(xí)之我見(jiàn)[J];計(jì)算機(jī)科學(xué);1989年05期

相關(guān)會(huì)議論文 前10條

1 楊靜萍;;教師角色的轉(zhuǎn)變與學(xué)習(xí)理論的學(xué)習(xí)[A];第四屆全國(guó)中學(xué)化學(xué)教學(xué)研討會(huì)論文集（一）[C];2004年

2 侯維芝;呂鑫祥;;基于建構(gòu)主義學(xué)習(xí)理論的高職教育教學(xué)設(shè)計(jì)[A];中國(guó)職業(yè)技術(shù)教育學(xué)會(huì)2006年學(xué)術(shù)年會(huì)論文集[C];2006年

3 王華容;;現(xiàn)代建構(gòu)主義學(xué)習(xí)理論的困惑[A];第十屆全國(guó)心理學(xué)學(xué)術(shù)大會(huì)論文摘要集[C];2005年

4 武杰;;特殊教育實(shí)踐對(duì)幾種學(xué)習(xí)理論的檢驗(yàn)及其分析[A];第九屆全國(guó)心理學(xué)學(xué)術(shù)會(huì)議文摘選集[C];2001年

5 王志遠(yuǎn);陳作珊;;重溫陳云《學(xué)習(xí)是共產(chǎn)黨員的責(zé)任》[A];陳云和他的事業(yè)——陳云生平與思想研討會(huì)論文集（下）[C];1995年

6 艾辛;;和青年朋友談治學(xué)[A];忘年交書(shū)簡(jiǎn)五十封[C];2007年

7 陳勇;鄭東;;陳云有關(guān)學(xué)習(xí)論述的啟示[A];陳云百周年紀(jì)念-全國(guó)陳云生平和思想研討會(huì)論文集（中）[C];2005年

8 周婷;;如何發(fā)揮好預(yù)習(xí)在小學(xué)高年段數(shù)學(xué)學(xué)習(xí)中的作用——實(shí)證研究報(bào)告[A];江蘇省教育學(xué)會(huì)2006年年會(huì)論文集（理科專(zhuān)輯）[C];2006年

9 吳思為;伍新春;;從建構(gòu)主義到復(fù)雜科學(xué)[A];第十二屆全國(guó)心理學(xué)學(xué)術(shù)大會(huì)論文摘要集[C];2009年

10 王光龍;;略論毛澤東民主革命時(shí)期的學(xué)習(xí)思想[A];紀(jì)念《教育史研究》創(chuàng)刊二十周年論文集（2）——中國(guó)教育思想史與人物研究[C];2009年

相關(guān)重要報(bào)紙文章 前10條

1 記者 周波;市委辦機(jī)關(guān)黨員學(xué)習(xí)十七大精神[N];桂林日?qǐng)?bào);2007年

2 張斌;學(xué)習(xí)實(shí)踐活動(dòng)要解決“形而象”的問(wèn)題[N];赤峰日?qǐng)?bào);2010年

3 定陶二中 蔡玲;如何激發(fā)學(xué)生學(xué)習(xí)化學(xué)的興趣[N];學(xué)知報(bào);2011年

4 湖南省委建設(shè)學(xué)習(xí)型黨組織辦公室主任 肖君華;“學(xué)習(xí)大國(guó)”的理論特質(zhì)與實(shí)踐意義[N];光明日?qǐng)?bào);2014年

5 張正華;學(xué)習(xí)是一種責(zé)任[N];沈陽(yáng)日?qǐng)?bào);2004年

6 鄒仕樘;勤奮學(xué)習(xí)應(yīng)成為政協(xié)工作者首要之責(zé)[N];光華時(shí)報(bào);2006年

7 特約記者 崔孝宗 裴文華;天水國(guó)稅中心組學(xué)習(xí)做到“五保證”[N];甘肅經(jīng)濟(jì)日?qǐng)?bào);2006年

8 郭春秋;讓學(xué)習(xí)常態(tài)化[N];戰(zhàn)士報(bào);2008年

9 ;黨員干部要牢固樹(shù)立終身學(xué)習(xí)的理念[N];組織人事報(bào);2008年

10 劉力 菏澤市立醫(yī)院;新形勢(shì)下更需要學(xué)習(xí)[N];菏澤日?qǐng)?bào);2009年

相關(guān)博士學(xué)位論文 前6條

1 任傳寶;U-過(guò)程集中不等式及其在學(xué)習(xí)理論中的應(yīng)用[D];華中科技大學(xué);2015年

2 劉菊;關(guān)聯(lián)主義學(xué)習(xí)理論及其視角下的教與學(xué)組織研究[D];東北師范大學(xué);2011年

3 魏晶;外語(yǔ)學(xué)習(xí)者計(jì)算機(jī)網(wǎng)絡(luò)生態(tài)環(huán)境優(yōu)化研究[D];上海外國(guó)語(yǔ)大學(xué);2012年

4 馮云龍;統(tǒng)計(jì)學(xué)習(xí)理論中基于核的算法研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2012年

5 李麗;追尋學(xué)習(xí)的生存論意義[D];華東師范大學(xué);2007年

6 曹揚(yáng);基于博弈與學(xué)習(xí)理論的無(wú)線網(wǎng)絡(luò)自組織策略與算法研究[D];華中科技大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 陳倩;基于深度學(xué)習(xí)理論的教學(xué)法的研究[D];上海師范大學(xué);2015年

2 李賢慧;基于稀疏學(xué)習(xí)的專(zhuān)家列表排序?qū)W習(xí)方法研究[D];昆明理工大學(xué);2015年

3 唐莉蓉;美國(guó)成人轉(zhuǎn)化學(xué)習(xí)理論發(fā)展研究[D];西南大學(xué);2015年

4 季烈;農(nóng)村留守兒童身份認(rèn)同和英語(yǔ)學(xué)習(xí)的調(diào)查研究[D];沈陽(yáng)師范大學(xué);2014年

5 張旭;基于生活化學(xué)習(xí)理論的成長(zhǎng)記錄袋網(wǎng)站設(shè)計(jì)與研究[D];貴州師范大學(xué);2015年

6 高樹(shù)勇;外來(lái)務(wù)工者子女的學(xué)習(xí)問(wèn)題與教育策略[D];內(nèi)蒙古師范大學(xué);2015年

7 陸春梅;服務(wù)—學(xué)習(xí)理論在我國(guó)高校實(shí)踐育人中的有效運(yùn)用研究[D];華中師范大學(xué);2015年

8 張竣堯;建構(gòu)主義學(xué)習(xí)理論指導(dǎo)下的語(yǔ)文教學(xué)研究[D];貴州師范大學(xué);2014年

9 詹曉梅;建構(gòu)主義學(xué)習(xí)理論運(yùn)用于田徑技術(shù)教學(xué)的實(shí)驗(yàn)研究[D];江西師范大學(xué);2005年

10 姚銳;關(guān)于技術(shù)與學(xué)習(xí)理論互動(dòng)關(guān)系的研究[D];廣西師范大學(xué);2007年

，

本文編號(hào)：1752350