本文關(guān)鍵詞：結(jié)構(gòu)稀疏模型及其算法研究進(jìn)展

  更多相關(guān)文章： 稀疏 組稀疏 罰函數(shù) 組套索 特征組選擇 組內(nèi)特征選擇 算法

【摘要】：結(jié)構(gòu)稀疏模型在統(tǒng)計(jì)學(xué)、信號(hào)處理和機(jī)器學(xué)習(xí)等領(lǐng)域中具有重要的應(yīng)用。結(jié)構(gòu)稀疏模型主要通過(guò)在目標(biāo)函數(shù)中引入會(huì)導(dǎo)致組稀疏效果的罰函數(shù)來(lái)實(shí)現(xiàn)特征組結(jié)構(gòu)選擇。有趣的是一些組稀疏模型不僅能實(shí)現(xiàn)特征組選擇,而且同時(shí)能夠?qū)崿F(xiàn)組內(nèi)的特征選擇。根據(jù)使用的罰函數(shù)的類(lèi)型,結(jié)構(gòu)稀疏模型主要分為組套索模型和非凸罰組稀疏模型兩大類(lèi)。系統(tǒng)地總結(jié)了重要的組結(jié)構(gòu)稀疏模型,分析了各種組結(jié)構(gòu)稀疏模型之間的區(qū)別與聯(lián)系,歸納比較了各種組結(jié)構(gòu)稀疏模型的統(tǒng)計(jì)特性(例如模型選擇一致性、參數(shù)估計(jì)一致性和oracle性質(zhì))和組結(jié)構(gòu)稀疏模型的求解算法。當(dāng)前,結(jié)構(gòu)套索模型主要包括普通組套索模型、L∞,1組套索模型、重疊組套索模型、樹(shù)組套索模型、多輸出樹(shù)組套索模型、混合組套索模型、自適應(yīng)組套索模型、邏輯斯蒂組套索模型和貝葉斯組套索模型。非凸罰組稀疏模型包括組SCAD罰模型、組橋模型和組MC罰模型等。求解組稀疏模型的算法有組最小角回歸算法、塊坐標(biāo)下降(上升)算法、活動(dòng)集算法、內(nèi)點(diǎn)算法、投影梯度算法、譜投影梯度算法、輪換方向乘子算法和塊坐標(biāo)梯度下降算法等,結(jié)合組稀疏模型對(duì)這些算法進(jìn)行了詳細(xì)的分析。在使用上述優(yōu)化方法前,通常需要對(duì)目標(biāo)函數(shù)進(jìn)行預(yù)處理,將不平滑的、非凸的、塊坐標(biāo)不可分離的組稀疏模型的目標(biāo)函數(shù)向平滑、凸、塊坐標(biāo)可分離的方向進(jìn)行轉(zhuǎn)化,這一步常利用的技巧有變分不等式、Nesterov的平滑近似技巧、局部一階泰勒展開(kāi)近似、局部二次近似、對(duì)偶范數(shù)和對(duì)偶函數(shù)等。接著給出了最新提出的一些組稀疏模型,如關(guān)于廣義加模型的組套索模型、復(fù)合組橋模型、平方根組套索模型和關(guān)于Tobit模型的組套索模型等。最后,對(duì)組稀疏模型未來(lái)的研究方向進(jìn)行了探討。
【作者單位】： 中國(guó)石油大學(xué)(北京)自動(dòng)化系;
【關(guān)鍵詞】： 稀疏 組稀疏 罰函數(shù) 組套索 特征組選擇 組內(nèi)特征選擇 算法
【基金】：中國(guó)石油大學(xué)(北京)基礎(chǔ)學(xué)科研究基金項(xiàng)目(JCXK-2011-07)資助
【分類(lèi)號(hào)】：TP181
【正文快照】： 本文受中國(guó)石油大學(xué)(北京)基礎(chǔ)學(xué)科研究基金項(xiàng)目(JCXK-2011-07)資助。1引言隨著社交網(wǎng)絡(luò)、電子商務(wù)平臺(tái)、基因組工程、智慧城市和智能電網(wǎng)等大數(shù)據(jù)應(yīng)用的飛速發(fā)展,產(chǎn)生了大量幾百維到十幾萬(wàn)維的高維或超高維數(shù)據(jù)。這些數(shù)據(jù)的高維輸入變量中只有很少一些變量與輸出變量有比較高

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前1條

1 王占鋒;吳耀華;趙林城;;刪失回歸模型中一個(gè)LASSO型變量選擇和估計(jì)方法(英文)[J];應(yīng)用概率統(tǒng)計(jì);2010年01期

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前5條

1 劉建偉;崔立鵬;羅雄麟;;結(jié)構(gòu)稀疏模型及其算法研究進(jìn)展[J];計(jì)算機(jī)科學(xué);2016年S1期

2 楊恢先;劉昭;劉陽(yáng);劉凡;賀迪龍;;基于超像素和局部稀疏表示的目標(biāo)跟蹤方法[J];系統(tǒng)仿真學(xué)報(bào);2016年05期

3 葉仁玉;;刪失回歸模型的分位數(shù)變量選擇和壓縮估計(jì)[J];中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào);2014年02期

4 孫靜;;基于套索的小微企業(yè)貸款審批[J];合作經(jīng)濟(jì)與科技;2013年14期

5 劉顯慧;王占鋒;吳耀華;;刪失回歸模型中SCAD型變量選擇與估計(jì)(英文)[J];中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào);2013年03期

【二級(jí)參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前2條

1 金曼,方易新,趙林城;刪失回歸模型中的變量選擇(英文)[J];應(yīng)用概率統(tǒng)計(jì);2005年02期

2 ;RANDOM WEIGHTING METHOD FOR CENSORED REGRESSION MODEL[J];Journal of Systems Science and Complexity;2004年02期

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 盛守照,王道波,黃向華;有限樣本下模型選擇理論與方法研究[J];系統(tǒng)工程與電子技術(shù);2005年04期

2 黃東遠(yuǎn);陳曉云;;一種新的支持向量回歸機(jī)的模型選擇方法[J];福州大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年04期

3 盛守照,王道波;基于預(yù)測(cè)風(fēng)險(xiǎn)最小化的模型選擇理論與方法研究[J];系統(tǒng)工程;2004年04期

4 黃光遠(yuǎn),朱月秋;森林火災(zāi)的模型及其撲滅問(wèn)題[J];系統(tǒng)工程理論與實(shí)踐;1988年02期

5 舒曉娟;陳洋波;任啟偉;;模型選擇準(zhǔn)則在洪水頻率分析中的應(yīng)用[J];水利學(xué)報(bào);2010年01期

6 陳建東;王小明;;LS-SVM模型選擇的秩準(zhǔn)則及其比較[J];計(jì)算機(jī)工程;2011年18期

7 J.G.Fossum ,徐玉輝;SOI MOSFET電路模擬的模型選擇[J];微電子學(xué);1989年02期

8 黃梯云,吳菲,盧濤;模型自動(dòng)選擇方法研究的進(jìn)展[J];計(jì)算機(jī)應(yīng)用研究;2001年04期

9 李海濤;李福忠;;基于信息流角度的企業(yè)結(jié)構(gòu)式和簡(jiǎn)式模型選擇[J];情報(bào)雜志;2007年03期

10 吳婭輝;劉剛;郭軍;;基于模型混淆度的模型組合算法研究[J];自動(dòng)化學(xué)報(bào);2009年05期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前9條

1 張維;;模型選擇:現(xiàn)狀與發(fā)展[A];全國(guó)青年管理科學(xué)與系統(tǒng)科學(xué)論文集（第1卷）[C];1991年

2 金偉;周浩;于永利;;維修管理IDSS的設(shè)計(jì)方法[A];設(shè)備維修與改造技術(shù)論文集[C];2000年

3 曾菊英;許冰;;制度變遷及其模型選擇[A];21世紀(jì)數(shù)量經(jīng)濟(jì)學(xué)（第10卷）[C];2009年

4 廖冬初;秦壽康;;縣級(jí)規(guī)劃總體優(yōu)化模型及其計(jì)算方法[A];發(fā)展戰(zhàn)略與系統(tǒng)工程——第五屆系統(tǒng)工程學(xué)會(huì)年會(huì)論文集[C];1986年

5 張維;;關(guān)于模型選擇中的若干理論問(wèn)題[A];科學(xué)決策與系統(tǒng)工程——中國(guó)系統(tǒng)工程學(xué)會(huì)第六次年會(huì)論文集[C];1990年

6 戰(zhàn)明華;李生校;;貨幣與產(chǎn)出的關(guān)系(1995～2003):不同模型的分析結(jié)果及其比較[A];中國(guó)金融學(xué)會(huì)第八屆優(yōu)秀論文評(píng)選獲獎(jiǎng)?wù)撐募痆C];2005年

7 王樹(shù)盛;;Probit模型及其在交通方式分擔(dān)中的應(yīng)用研究[A];可持續(xù)發(fā)展的中國(guó)交通——2005全國(guó)博士生學(xué)術(shù)論壇（交通運(yùn)輸工程學(xué)科）論文集（下冊(cè)）[C];2005年

8 戴鋒;梁玲;李興兵;馮俊濤;;經(jīng)濟(jì)增長(zhǎng)的動(dòng)態(tài)進(jìn)程模型及實(shí)證研究[A];第十四屆中國(guó)管理科學(xué)學(xué)術(shù)年會(huì)論文集(上冊(cè))[C];2012年

9 韓珂;尹勤;;大學(xué)生手機(jī)話(huà)費(fèi)模型的建立和分析[A];江蘇省現(xiàn)場(chǎng)統(tǒng)計(jì)研究會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2006年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前3條

1 建南;幫你建立有效客戶(hù)關(guān)系[N];中國(guó)商報(bào);2001年

2 首創(chuàng)期貨研發(fā)中心金融工程組 徐澤平;方差-協(xié)方差法的VaR計(jì)量模型選擇[N];期貨日?qǐng)?bào);2007年

3 證券時(shí)報(bào)記者 楊波　金燁 程俊琳;量化投資走在中國(guó) 六年學(xué)步漸入佳境[N];證券時(shí)報(bào);2010年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前9條

1 夏小超;統(tǒng)計(jì)檢驗(yàn)與模型選擇相關(guān)問(wèn)題研究[D];重慶大學(xué);2015年

2 朱素玲;模型選擇與模型平均研究[D];蘭州大學(xué);2014年

3 房小兆;基于稀疏和低秩約束的模型學(xué)習(xí)研究[D];哈爾濱工業(yè)大學(xué);2016年

4 呂子昂;模型選擇的曲率方法研究[D];北京交通大學(xué);2012年

5 常群;支持向量機(jī)的核方法及其模型選擇[D];哈爾濱工業(yè)大學(xué);2007年

6 賀利堅(jiān);多Agent系統(tǒng)中信任和信譽(yù)模型的研究[D];北京交通大學(xué);2011年

7 張立明;結(jié)合可滿(mǎn)足的基于模型等價(jià)性驗(yàn)證及不一致診斷問(wèn)題研究[D];吉林大學(xué);2012年

8 毛文濤;支持向量回歸機(jī)模型選擇研究及在綜合力學(xué)環(huán)境預(yù)示中的應(yīng)用[D];西安交通大學(xué);2011年

9 劉靖旭;支持向量回歸的模型選擇及應(yīng)用研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2006年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 張亞楠;基于宏微觀模型推斷鋼構(gòu)件強(qiáng)度的無(wú)損檢測(cè)技術(shù)研究[D];中國(guó)礦業(yè)大學(xué);2015年

2 單昕彤;認(rèn)知診斷中模型—資料的測(cè)驗(yàn)擬合檢驗(yàn)統(tǒng)計(jì)量研究[D];江西師范大學(xué);2015年

3 井海銀;超高維可加模型下的特征篩選[D];重慶大學(xué);2015年

4 江婷婷;基于修正負(fù)二項(xiàng)分布的索賠次數(shù)模型研究[D];重慶大學(xué);2015年

5 孫志濱;LDA模型的研究及其在推薦系統(tǒng)中的應(yīng)用[D];浙江大學(xué);2016年

6 仝景景;“碎片化數(shù)據(jù)”的模型平均方法[D];華東師范大學(xué);2016年

7 肖馨梅;融合Lasso罰模型的理論與應(yīng)用研究[D];燕山大學(xué);2016年

8 尹瀟瀟;Meta分析中的模型選擇與模型平均[D];云南財(cái)經(jīng)大學(xué);2016年

9 陳笑弟;交互效應(yīng)下的模型選擇[D];中國(guó)科學(xué)技術(shù)大學(xué);2016年

10 孫式雪;高維數(shù)據(jù)在直接控制FDR下的模型選擇[D];華中師范大學(xué);2016年

，

本文編號(hào)：843799