發(fā)布時間：2018-03-06 05:22

  本文選題：正則化學(xué)習(xí)　切入點：高斯過程　出處：《蘭州大學(xué)》2016年博士論文　論文類型：學(xué)位論文

【摘要】：統(tǒng)計學(xué)習(xí)涉及到大量為分析和理解數(shù)據(jù)而開發(fā)的模型,并與計算機科學(xué)尤其是機器學(xué)習(xí)相互融合、促進與發(fā)展。在這些模型中,使用正定核進行估計和學(xué)習(xí)的核方法變得越來越流行,已被廣泛應(yīng)用于諸如回歸、預(yù)測和分類等問題。但是在將核方法模型應(yīng)用于實際具體問題如預(yù)測、聚類時,還存在著不夠靈活、主觀選擇等不足因素。此外,時間序列預(yù)測是根據(jù)過去及現(xiàn)在的有關(guān)信息,建立適當?shù)哪Ｐ屯诰蚴挛飪?nèi)在規(guī)律及其趨勢,從而為社會經(jīng)濟活動中的決策提供科學(xué)依據(jù)及技術(shù)支撐。盡管時間序列的研究早已開展,但由于現(xiàn)實中時間序列的多樣性與復(fù)雜性,它一直是學(xué)術(shù)界研究的重點和難點課題。本論文就如何利用基于正則化框架下的核方法對時間序列的多步向前預(yù)測展開深入的研究。正則化框架理論為再生希爾伯特空間中的函數(shù)學(xué)習(xí)提供了一般意義的處理辦法�；趯嶋H問題的不同,所采取的損失函數(shù)也不同,最終獲得的模型也不一樣。本文第三章在正則化框架下采用二次損失函數(shù),分別從頻率論角度和貝葉斯視角進行考察,獲得了正則單核學(xué)習(xí)模型(核嶺回歸(KRR)和高斯過程模型(GPR)),且就這兩種模型的相同和差異進行了對比,并將所獲得的正則單核學(xué)習(xí)模型應(yīng)用于時間序列的多步迭代向前預(yù)測。為克服模型多步向前預(yù)測誤差將逐步放大的不足與缺陷,本文第三章提出了基于數(shù)據(jù)驅(qū)動的經(jīng)驗小波分解(EWT)信號濾波方法對時間序列數(shù)據(jù)進行預(yù)處理,從而降低噪聲數(shù)據(jù)對預(yù)測過程的干擾。另外,第三章構(gòu)造了三個基于降噪的單核方法的多步預(yù)測模型,即兩個多步向前預(yù)測的復(fù)合模型(EWT-KRR,EWT-GPR)和一個多步向前預(yù)測的組合模型。其中該組合預(yù)測模型是在現(xiàn)有的常見模型(ARIMA)和單核學(xué)習(xí)模型(LSSVM、SVM和ELM)對預(yù)處理之后的時間序列進行多步向前預(yù)測的基礎(chǔ)上,利用高斯過程模型對預(yù)測值進行組合和優(yōu)化,將確定性預(yù)測值轉(zhuǎn)化為不確定預(yù)測信息,從而獲得更為精確的預(yù)測值,同時提供預(yù)測的風險。在對所提模型訓(xùn)練過程中,本章提出了運用核距離學(xué)習(xí)來度量輸入數(shù)據(jù)之間的相似度,同時,提出用耦合模擬退火算法選取模型的參數(shù),以克服模型參數(shù)值容易陷入局部最優(yōu)和穩(wěn)定性不足的缺陷。在使用單核學(xué)習(xí)模型(包括上述的核嶺回歸和高斯過程模型)對時間序列進行預(yù)測時,需要為該模型預(yù)先選定核函數(shù)以進行相應(yīng)的模型訓(xùn)練與驗證。然而,選擇合適的用于度量數(shù)據(jù)之間信息的單一核函數(shù),并非易事。另外,在實際應(yīng)用中,常會遇到執(zhí)行多個任務(wù)的預(yù)測問題,而多次執(zhí)行單一預(yù)測任務(wù)是解決問題的方法之一。然而,當預(yù)測任務(wù)之間存在著相互關(guān)聯(lián)時,多任務(wù)同時學(xué)習(xí)并進行預(yù)測就顯得非常有必要。鑒于此,本文第四章提出了頻率論視角下的混合范數(shù)多核學(xué)習(xí)的預(yù)測模型,并形成了兩種任務(wù)模型,即單一任務(wù)多核學(xué)習(xí)模型和多任務(wù)多核學(xué)習(xí)模型,繼而產(chǎn)生了單一任務(wù)多核學(xué)習(xí)的時間序列多步向前迭代預(yù)測,以及多任務(wù)多核學(xué)習(xí)的多步向前同步預(yù)測。在所提出的多核學(xué)習(xí)模型中,首先將候選的若干個核函數(shù)進行線性組合,在混合范數(shù)的限制條件下進行核函數(shù)選取與模型訓(xùn)練,以便自動挑選出較為合適的特征表述。此外,在執(zhí)行時間序列的多個預(yù)測值輸出時,本章提出了采用布雷格曼距離指標度量兩個時間序列之間距離來確定多個時間序列之間的相似性,并將此信息融入到了所提出的模型當中。高斯過程預(yù)測模型,雖然在時間序列預(yù)測的不確定性和風險方面表現(xiàn)出巨大的優(yōu)勢,但是在應(yīng)用的過程中,異常數(shù)據(jù)的出現(xiàn)可能會極大地降低該模型的推理精度,而且核函數(shù)的類型和參數(shù)的選擇亦影響著該模型的預(yù)測性能。另外,在實際應(yīng)用中,時常會遇到執(zhí)行多輸出任務(wù)的預(yù)測問題。為此,本文第五章提出了貝葉斯視角下的推廣的核學(xué)習(xí)方法預(yù)測模型。它是在多元線性模型的基礎(chǔ)上,形成的關(guān)于函數(shù)的雙曲線分布的理論模型。具有矩陣變量的廣義雙曲線分布的良好特性,同時融入了貝葉斯推理和核技巧。此預(yù)測模型克服了高斯過程因異常數(shù)據(jù)所導(dǎo)致的推理精度下降的不足,對帶有異常數(shù)據(jù)的時間序列預(yù)測具有良好的穩(wěn)健性。在上述所提到的核學(xué)習(xí)模型基礎(chǔ)上,我們自然地延伸出兩種特殊的模型,即單一輸出的核學(xué)習(xí)回歸模型和多輸出的核學(xué)習(xí)回歸模型。在應(yīng)用于時間序列的多步向前預(yù)測時,單一輸出的核學(xué)習(xí)模型產(chǎn)生迭代向前分布預(yù)測,而多輸出的核學(xué)習(xí)模型則同時產(chǎn)生多步向前的預(yù)測分布,以獲取時間序列多步向前預(yù)測的不確定性和風險。另外,在對所提模型訓(xùn)練過程中,本章提出了用耦合模擬退火算法最大化似然函數(shù)以獲取最佳模型參數(shù)。而且,針對多輸出的時間序列預(yù)測,本章提出了采用布雷格曼距離指標度量兩個時間序列之間的距離進而確定時間序列之間的相關(guān)性,并將此作為先驗信息融入所提出的模型。為了驗證本文建立的模型的預(yù)測有效性并拓展其實際價值,本文將它們應(yīng)用于中國華北地區(qū)某風場的風速預(yù)測領(lǐng)域中。實驗結(jié)果表明,相對于傳統(tǒng)預(yù)測模型,它們的預(yù)測性能與精度都有較大的提高。
[Abstract]:Statistical learning involves a large number of data for analyzing and understanding and the development of the model, and the computer science especially machine learning integration, promotion and development. In these models, the use of nuclear positive definite kernel estimation method and learning becomes more and more popular, has been widely used in such as regression, prediction and classification problems. But in the application of kernel method model to actual specific problems such as prediction, clustering, there is not flexible enough, such as lack of subjective choice factors. In addition, the time series prediction is based on past and present relevant information, establish the appropriate mining model inherent law and trend, so as to provide scientific basis and technical support for the social economy in the decision. Although research has long time series to carry out, but in reality because of the diversity and complexity of time series, it has been the focus of academic research and difficult Topic. This paper on how to use regularization kernel method under the framework of time series multi step ahead prediction in-depth study. Based on the framework of regularization theory as a function of regeneration in the Hilbert space learning approach provides a general sense of the same. Based on the practical problems, the loss function is also different. The final model is not the same. The third chapter in the regularization framework using two loss function, respectively from the perspective of frequency and Bayesian perspective, the regular single kernel learning model (kernel ridge regression (KRR) and Gauss model (GPR)), and compare these two kinds of model similarities and differences, and the iteration obtained regular single kernel learning model is applied to time series prediction model forward. In order to overcome the multi step ahead prediction error and the lack of lack of will gradually enlarge the depression, this paper The third chapter puts forward the experience of wavelet decomposition based on data driven (EWT) signal filtering method to preprocess the time-series data, thereby reducing the interference of noise prediction process data. In addition, the third chapter constructs three multi-step predictive model based on single kernel method for noise reduction, the composite model of two multi step ahead prediction the (EWT-KRR, EWT-GPR) model and a multi step ahead prediction. The combination forecasting model is common in the existing models (ARIMA) and single kernel learning model (LSSVM, SVM and ELM) based multi step ahead prediction of time series after pretreatment, using the Gauss model the predictive value of combination and optimization, the deterministic forecasting value into uncertainty forecast information, so as to obtain more accurate predicted at the same time provide the forecast risk. In the proposed model training process, this chapter puts forward the application Nuclear distance learning to measure the similarity between the input data, at the same time, the parameters of coupling with the simulated annealing algorithm selection model, in order to overcome the defects of the model parameter values is easy to fall into local optimum and stability. In the use of single kernel learning model (including the kernel ridge regression and Gauss model) to predict the time series the need for this model, pre selected kernel function for model training and verification. However, it is not easy to choose suitable for single kernel function, measurement data between information. In addition, in practice, often encounter prediction problem to perform multiple tasks, and repeatedly perform a single prediction task is one of the methods to solve the problem. However, when there is correlation between the prediction task, it is very necessary to study and predict multiple tasks at the same time. In view of this, the fourth chapter of this paper presents The frequency of prediction model of mixed norm multiple kernel learning perspective, and has formed two kinds of task model, namely single task and multi kernel learning model and multi task multi kernel learning model, and then created a time series prediction of multiple kernel learning single task and multi step ahead iteration, and multi task multi kernel learning step forward synchronous prediction. In the proposed multi kernel learning model, firstly, a plurality of candidate by linear combination of kernel function, kernel function selection and training model of constraints on mixed norm, in order to automatically select the appropriate features. In addition, the output value in multiple time series prediction is carried out, this chapter puts forward the index Bregman distance metric distance between two time series to determine the similarity between multiple time series, and the information will be integrated into the proposed model. The process of Gauss The prediction model, although uncertainty and risk prediction in time series shows a great advantage, but in the application process, the abnormal data can greatly reduce the reasoning accuracy of the model, and the type of kernel function and its parameters selection also affects the prediction performance of the model. In addition, in the actual in the application, often encounter prediction problem of implementing multiple output tasks. Therefore, the fifth chapter introduces the prediction model of generalized kernel learning methods from the perspective of Bias. It is based on a multivariate linear model, the formation of a hyperbolic function distribution of the theoretical model. The good properties of generalized hyperbolic distribution with matrix variable at the same time, with Bias reasoning and nuclear techniques. This model overcomes the shortcomings of decreased reasoning accuracy Gauss process caused by the abnormal data, with abnormal data Time series prediction robustness. In the above mentioned kernel learning model, we naturally extend two special models, namely single output kernel regression model and multi output kernel regression model. When applied to time series multi-step forward prediction, kernel learning model single output iterative forward distribution prediction, and multi output kernel learning model is also produced multi step ahead predictive distribution, to obtain the time series of multi step ahead predictive uncertainty and risk. In addition, in the training process of the proposed model, this chapter proposes using simulated annealing algorithm to maximize the likelihood of coupling function to obtain the optimal model parameters. Moreover, according to the time sequence of multi output prediction, this chapter puts forward the measure between two time series using Bregman distance index and then determine the time sequence of the The correlation between, and this as a priori information into the proposed model. In order to predict and verify the validity of this model and expand its actual value, this paper applies them to the wind in North China Chinese a wind field prediction field. The experimental results show that compared with the traditional prediction model, the prediction performance and the accuracy of them has been greatly improved.

【學(xué)位授予單位】：蘭州大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：O211.61

【相似文獻】

相關(guān)期刊論文 前10條

1 施久玉,杜金觀;有限個狀態(tài)時間序列的某些結(jié)果[J];應(yīng)用數(shù)學(xué)學(xué)報;1990年01期

2 馮希杰;長江三峽及其鄰區(qū)斷裂活動時間序列[J];華南地震;1991年02期

3 王霞,郭嗣琮,劉淑娟;時間序列模糊滑動預(yù)測[J];遼寧工程技術(shù)大學(xué)學(xué)報(自然科學(xué)版);1999年03期

4 溫品人;時間序列預(yù)測法的實際應(yīng)用分析[J];江蘇廣播電視大學(xué)學(xué)報;2001年06期

5 許清海;混沌投資時間序列的嬗變[J];漳州師范學(xué)院學(xué)報(自然科學(xué)版);2003年01期

6 程毛林;時間序列系統(tǒng)建模預(yù)測的一種新方法[J];數(shù)學(xué)的實踐與認識;2004年08期

7 高潔;長記憶時間序列適應(yīng)性預(yù)測的應(yīng)用[J];江南大學(xué)學(xué)報;2004年05期

8 高潔;孫立新;;長記憶時間序列的適應(yīng)性預(yù)測誤差的譜密度[J];統(tǒng)計與決策;2006年13期

9 楊鐘瑾;;淺談時間序列的分析預(yù)測[J];中國科技信息;2006年14期

10 李健;孫廣中;許胤龍;;基于時間序列的預(yù)測模型應(yīng)用與異常檢測[J];計算機輔助工程;2006年02期

相關(guān)會議論文 前10條

1 周家斌;張海福;楊桂英;;多維多步時間序列預(yù)報方法及其應(yīng)用[A];中國現(xiàn)場統(tǒng)計研究會第九屆學(xué)術(shù)年會論文集[C];1999年

2 馬培蓓;紀軍;;基于時間序列的航空備件消耗預(yù)測[A];中國系統(tǒng)工程學(xué)會決策科學(xué)專業(yè)委員會第六屆學(xué)術(shù)年會論文集[C];2005年

3 盧世坤;李夕海;牛超;陳蛟;;時間序列的非線性非平穩(wěn)特性研究綜述[A];國家安全地球物理叢書（八）——遙感地球物理與國家安全[C];2012年

4 李強;;基于線性模型方法對時間序列中異常值的檢測及證券實證分析[A];加入WTO和中國科技與可持續(xù)發(fā)展——挑戰(zhàn)與機遇、責任和對策（上冊）[C];2002年

5 戴麗金;何振峰;;基于云模型的時間序列相似性度量方法[A];第八屆中國不確定系統(tǒng)年會論文集[C];2010年

6 謝美萍;趙希人;莊秀龍;;多維非線性時間序列的投影尋蹤學(xué)習(xí)逼近[A];'99系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會論文集[C];1999年

7 張大斌;李紅燕;劉肖;張文生;;非線性時問序列的小波-模糊神經(jīng)網(wǎng)絡(luò)集成預(yù)測方法[A];第十五屆中國管理科學(xué)學(xué)術(shù)年會論文集（下）[C];2013年

8 黃云貴;;基于時間序列的電網(wǎng)固定資產(chǎn)投資規(guī)模研究[A];2012年云南電力技術(shù)論壇論文集（文摘部分）[C];2012年

9 李松臣;張世英;;時間序列高階矩持續(xù)和協(xié)同持續(xù)性研究[A];21世紀數(shù)量經(jīng)濟學(xué)（第8卷）[C];2007年

10 陳赫;羅聲求;;歷史橫斷面數(shù)據(jù)的時間序列化[A];科學(xué)決策與系統(tǒng)工程——中國系統(tǒng)工程學(xué)會第六次年會論文集[C];1990年

相關(guān)重要報紙文章 前6條

1 ;《時間序列與金融數(shù)據(jù)分析》[N];中國信息報;2004年

2 何德旭 王朝陽;時間序列計量經(jīng)濟學(xué)：協(xié)整與有條件的異方差自回歸[N];中國社會科學(xué)院院報;2003年

3 劉俏;讓數(shù)據(jù)坦白真相[N];21世紀經(jīng)濟報道;2003年

4 西南證券高級研究員 董先安邋德圣基金研究中心 郭奔宇;預(yù)計6月CPI同比上漲7.2%[N];證券時報;2008年

5 東證期貨 王愛華　楊衛(wèi)東;兩年漲跌輪回 秋季普遍下跌[N];期貨日報;2009年

6 任勇邋鄭重;中國對世界鋼材價格的影響實證分析[N];現(xiàn)代物流報;2007年

相關(guān)博士學(xué)位論文 前10條

1 張墨謙;遙感時間序列數(shù)據(jù)的特征挖掘：在生態(tài)學(xué)中的應(yīng)用[D];復(fù)旦大學(xué);2014年

2 張德成;滑坡預(yù)測預(yù)報研究[D];昆明理工大學(xué);2015年

3 苗圣法;時間序列的模式檢測[D];蘭州大學(xué);2015年

4 翁同峰;時間序列與復(fù)雜網(wǎng)絡(luò)之間等價性問題及表征應(yīng)用研究[D];哈爾濱工業(yè)大學(xué);2015年

5 楊婷婷;用Argo浮標結(jié)合衛(wèi)星觀測估算北太平洋經(jīng)向熱輸運[D];中國科學(xué)院研究生院(海洋研究所);2015年

6 史文彬;時間序列的相關(guān)性及信息熵分析[D];北京交通大學(xué);2016年

7 原繼東;時間序列分類算法研究[D];北京交通大學(xué);2016年

8 盧偉;基于粒計算的時間序列分析與建模方法研究[D];大連理工大學(xué);2015年

9 胡建明;基于正則化核學(xué)習(xí)模型的時間序列多步預(yù)測的研究與應(yīng)用[D];蘭州大學(xué);2016年

10 王曉曄;時間序列數(shù)據(jù)挖掘中相似性和趨勢預(yù)測的研究[D];天津大學(xué);2003年

相關(guān)碩士學(xué)位論文 前10條

1 陳健;基于多變量相空間重構(gòu)的投資組合策略研究[D];華南理工大學(xué);2015年

2 蘭鑫;時間序列的復(fù)雜網(wǎng)絡(luò)轉(zhuǎn)換策略研究[D];西南大學(xué);2015年

3 米曉將;區(qū)域尺度下月均氣溫的時空演化格局研究[D];昆明理工大學(xué);2015年

4 張鳴敏;基于支持向量回歸的PM_(2.5)濃度預(yù)測研究[D];南京信息工程大學(xué);2015年

5 林健;基于改進小世界回聲狀態(tài)網(wǎng)的時間序列預(yù)測[D];渤海大學(xué);2015年

6 曹智麗;日氣溫和干旱指數(shù)支持向量回歸預(yù)測方法[D];南京信息工程大學(xué);2015年

7 高雄飛;基于分形理論的土壤含水量時間序列特性分析[D];長安大學(xué);2015年

8 姚茜;城市安全生產(chǎn)發(fā)展目標研究[D];中國地質(zhì)大學(xué)(北京);2015年

9 謝翠穎;蘇州社會消費品零售總額簡析[D];蘇州大學(xué);2015年

10 包仁義;基于時間序列的搜索引擎評估模型算法研究[D];東北師范大學(xué);2015年

，

本文編號：1573505