本文選題：結(jié)構(gòu)化概率模型 + 推理學(xué)習(xí)算法　； 參考：《上海交通大學(xué)》2014年博士論文

【摘要】：數(shù)據(jù)采集、網(wǎng)絡(luò)服務(wù)和存儲(chǔ)技術(shù)的發(fā)展逐漸產(chǎn)生大量具有復(fù)雜結(jié)構(gòu)的異構(gòu)數(shù)據(jù)。具有多種統(tǒng)計(jì)特性、復(fù)雜分布的異構(gòu)數(shù)據(jù)壓縮的關(guān)鍵在于捕捉其中復(fù)雜的結(jié)構(gòu)依賴性�；诮Y(jié)構(gòu)化概率模型學(xué)習(xí)利用概率圖模型來(lái)表示異構(gòu)數(shù)據(jù)的復(fù)雜結(jié)構(gòu)，并進(jìn)行模型推斷和學(xué)習(xí)，以及由推理算法優(yōu)化學(xué)習(xí)過(guò)程。通過(guò)優(yōu)化學(xué)習(xí)，結(jié)構(gòu)化概率模型能夠根據(jù)異構(gòu)數(shù)據(jù)的復(fù)雜結(jié)構(gòu)，對(duì)預(yù)測(cè)問(wèn)題進(jìn)行同步的集合預(yù)測(cè)，能夠產(chǎn)生少于逐個(gè)進(jìn)行預(yù)測(cè)的信息量，所以它們更適合用于異構(gòu)結(jié)構(gòu)壓縮中。本文首先根據(jù)異構(gòu)數(shù)據(jù)的結(jié)構(gòu)特點(diǎn)建立廣義上下文模型，并在此基礎(chǔ)上，將基于結(jié)構(gòu)化概率模型學(xué)習(xí)應(yīng)用于異構(gòu)數(shù)據(jù)壓縮中，如基因測(cè)序序列壓縮、圖像無(wú)損編碼以及視頻幀內(nèi)編碼等。 首先，本文拓展了采用已預(yù)測(cè)子序列后綴的經(jīng)典上下文，通過(guò)組合重排和多方向擴(kuò)展，生成多個(gè)方向上已預(yù)測(cè)符號(hào)的任意組合作為上下文，并構(gòu)建模型。對(duì)于具有多方向上已預(yù)測(cè)符號(hào)有限價(jià)組合的組合排列的上下文結(jié)構(gòu)，廣義上下文模型引入和建立模型樹(shù)來(lái)表示和選取它們的結(jié)構(gòu)，并使用歸一化最大似然函數(shù)來(lái)估計(jì)最優(yōu)上下文模型組合的結(jié)構(gòu)和參數(shù)，及進(jìn)一步對(duì)廣義上下文模型類進(jìn)行上下文篩選來(lái)排除冗余模型，最終獲得最小描述長(zhǎng)度準(zhǔn)則下最優(yōu)模型組合。基于所選最優(yōu)模型組合，能夠推導(dǎo)出用于預(yù)測(cè)的加權(quán)估計(jì)概率。廣義上下文模型的模型冗余被證明為與數(shù)據(jù)大小無(wú)關(guān)。 廣義上下文模型充分考慮符號(hào)間依賴性，得出它們的預(yù)測(cè)概率，因此其實(shí)質(zhì)上為結(jié)構(gòu)化概率模型。將它應(yīng)用在Calgary全集中異構(gòu)數(shù)據(jù)以及可執(zhí)行程序中時(shí)，基于最大似然估計(jì)預(yù)測(cè)的壓縮性有所提升。因此可以預(yù)期基于結(jié)構(gòu)化概率模型學(xué)習(xí)應(yīng)用于異構(gòu)數(shù)據(jù)壓縮中會(huì)有更好的壓縮性能。于是我們將基于結(jié)構(gòu)化概率模型學(xué)習(xí)應(yīng)用于三種異構(gòu)數(shù)據(jù)：基因、圖像和視頻中。 本文提出了一種基于結(jié)構(gòu)化概率模型學(xué)習(xí)的基因測(cè)序序列壓縮方案，通過(guò)分層預(yù)測(cè)結(jié)構(gòu)來(lái)優(yōu)化目標(biāo)和參考序列的差值以用于小波編碼。該方案為目標(biāo)序列中的每個(gè)核苷酸片段找出最匹配的參考片段，通過(guò)為包括匹配位移和大小的各種邊信息配置尋找具有最小編碼代價(jià)的片段來(lái)獲得。這樣獲得的差值序列適合于進(jìn)行小波編碼，因?yàn)槠渲蟹?hào)主要為零。同時(shí)馬爾可夫鏈被用來(lái)表示各片段邊信息間依賴性，并在此約束下進(jìn)行邊信息預(yù)測(cè)。置信傳播過(guò)程被用來(lái)獲得這些預(yù)測(cè)，通過(guò)在馬爾可夫鏈各結(jié)點(diǎn)間傳播最可能預(yù)測(cè)來(lái)結(jié)構(gòu)化地預(yù)測(cè)各結(jié)點(diǎn)對(duì)應(yīng)邊信息的邊際概率，并隨時(shí)進(jìn)行更新。這種基于結(jié)構(gòu)化概率模型學(xué)習(xí)的基因測(cè)序序列壓縮方案能夠通過(guò)目標(biāo)和參考序列的差值有效利用它們間相關(guān)性，并同時(shí)利用邊信息間的依賴性來(lái)預(yù)測(cè)概率分布減少額外編碼開(kāi)銷，因此相對(duì)于參照算法能夠明顯提升編碼性能。 本文提出了一種基于結(jié)構(gòu)化概率模型學(xué)習(xí)的圖像無(wú)損編碼方案，能夠同時(shí)利用基于二維上下文的空間統(tǒng)計(jì)相關(guān)性進(jìn)行最優(yōu)預(yù)測(cè)，以及通過(guò)數(shù)據(jù)驅(qū)動(dòng)的結(jié)構(gòu)依賴性約束預(yù)測(cè)誤差使之與碼字估計(jì)真實(shí)分布一致。使用最大邊際馬爾可夫網(wǎng)絡(luò)，通過(guò)局部結(jié)構(gòu)一致性的聯(lián)合約束來(lái)結(jié)構(gòu)化地組合支持向量機(jī)，由此對(duì)整個(gè)相關(guān)區(qū)域進(jìn)行最大邊際估計(jì)。通過(guò)訓(xùn)練不同上下文環(huán)境下的模型參數(shù)，使得訓(xùn)練中各像素真實(shí)值與其它可能值之間的區(qū)別邊際最大，從而得到基于上下文的最優(yōu)預(yù)測(cè)。在可分解損失函數(shù)下隨著充分采樣，預(yù)測(cè)誤差能夠漸近逼近訓(xùn)練誤差。自然測(cè)試圖像無(wú)損編碼的結(jié)果也驗(yàn)證了其性能。 本文提出了一種基于結(jié)構(gòu)化概率模型學(xué)習(xí)的視頻幀內(nèi)編碼方案�；诮Y(jié)構(gòu)化概率模型學(xué)習(xí)的預(yù)測(cè)與高性能視頻編碼進(jìn)行集成，作為可選模式進(jìn)行率失真優(yōu)化，從而對(duì)整個(gè)亮度塊同時(shí)預(yù)測(cè)得到最優(yōu)率失真性能。并且使用最大邊際馬爾可夫網(wǎng)絡(luò)約束整個(gè)亮度塊基于最大邊際估計(jì)的預(yù)測(cè)，使之符合二維離散余弦變換的真實(shí)概率分布，，所以拉普拉斯損失函數(shù)被用來(lái)衡量訓(xùn)練與預(yù)測(cè)中的損失。由于有損編碼中殘差通常符合拉普拉斯分布，在求解最優(yōu)預(yù)測(cè)的過(guò)程，期望傳播算法被用來(lái)以函數(shù)族逼近該真實(shí)分布。同時(shí)使用期望傳播來(lái)進(jìn)行信息傳遞與推斷能夠保證預(yù)測(cè)的全局最優(yōu)性，從而避免了置信傳播可能使迭代過(guò)程停止在局部最優(yōu)點(diǎn)的問(wèn)題。由于損失函數(shù)可分解，所以充分采樣下預(yù)測(cè)誤差漸近等價(jià)訓(xùn)練誤差。實(shí)驗(yàn)結(jié)果證實(shí)本方案相較于高性能視頻編碼標(biāo)準(zhǔn)具有更好的率失真性能和重建圖像視覺(jué)質(zhì)量。
[Abstract]:The development of data acquisition , network service and storage technology has gradually generated a lot of heterogeneous data with complex structure . The key of heterogeneous data compression with multiple statistical characteristics and complex distribution is to capture the complex structure dependence . Based on the structural probability model learning , the complex structure of heterogeneous data is captured , and the learning process is optimized by inference algorithm . Based on the structural characteristics of heterogeneous data , the structured probability model can be used in heterogeneous structural compression . Based on the structural characteristics of heterogeneous data , the structure probability model can be applied to heterogeneous data compression , such as gene sequencing , image lossless coding and intra - frame coding .

First , this paper extends the classical context of using the suffix of predicted sub - sequence . By combining the rearrangement and the multi - direction extension , we generate arbitrary combination of the predicted symbols in multiple directions as the context and construct the model . The generalized context model is used to estimate the structure and parameters of the combination of the optimal context model by using the normalized maximum likelihood function , and the generalized context model class is used to estimate the optimal model combination . Based on the combination of the selected optimal model , the weighted estimation probability for the prediction can be derived . The model redundancy of the generalized context model is proved to be independent of the data size .

The generalized context model takes full account of inter - symbol dependencies to derive their predicted probabilities , and therefore is essentially a structured probability model . It is expected to improve the compression performance based on maximum likelihood estimation predictions when applied in heterogeneous data and executable programs . Therefore , it is expected that learning applications based on structured probability models will have better compression performance in heterogeneous data compression . We then apply the structured probability model learning to three heterogeneous data : genes , images , and videos .

This paper proposes a gene sequencing sequence compression scheme based on structured probability model learning . The difference between target and reference sequence is optimized by hierarchical prediction structure to obtain the most matching reference fragment . This scheme is used to find out the most matching reference fragment for each nucleotide segment in the target sequence .

This paper presents an image lossless coding scheme based on structured probability model learning , which can be used to predict the correlation of spatial statistics based on two - dimensional context .

This paper presents a video intra - frame coding scheme based on structured probability model learning . Based on the prediction of structured probability model learning and high performance video coding , the optimal rate distortion performance is predicted .

【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2014
【分類號(hào)】：TN919.81

【共引文獻(xiàn)】

相關(guān)期刊論文 前6條

1 ;A new method for removing mixed noises[J];Science China(Information Sciences);2011年01期

2 張勇;蘭義華;任浩征;李明;;一種利用局部塊相似均值去噪的方法[J];計(jì)算機(jī)工程與應(yīng)用;2011年29期

3 鄭鈺輝;孫權(quán)森;夏德深;;基于2DPCA的有效非局部濾波方法[J];自動(dòng)化學(xué)報(bào);2010年10期

4 吳學(xué)文;劉娜;宋云云;;基于多模板方向的圖像修復(fù)方法[J];科學(xué)技術(shù)與工程;2014年14期

5 吳學(xué)文;陳松;;基于樣本的自適應(yīng)圖像修復(fù)方法[J];信息技術(shù);2015年04期

6 李兵;劉全升;徐家偉;羅曉軍;;去除混合噪音的一種新方法[J];中國(guó)科學(xué):信息科學(xué);2010年09期

相關(guān)會(huì)議論文 前1條

1 Hong-jun Li;Wei Hu;Zheng-guang Xie;Yan Yan;;Filter Parameter Estimation in Non-Local Means Algorithm[A];2013年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（第二分冊(cè)）[C];2013年

相關(guān)博士學(xué)位論文 前7條

1 陳一平;圖像增強(qiáng)及其在視覺(jué)跟蹤中的應(yīng)用[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

2 翟廣濤;基于人眼視覺(jué)系統(tǒng)特性的數(shù)字圖像處理技術(shù)的研究[D];上海交通大學(xué);2009年

3 張軍;基于分?jǐn)?shù)階變分PDE的圖像建模與去噪算法研究[D];南京理工大學(xué);2010年

4 姚晨;彩色化和色彩轉(zhuǎn)移圖像處理關(guān)鍵技術(shù)研究[D];上海交通大學(xué);2012年

5 紀(jì)則軒;基于模糊聚類的腦磁共振圖像分割技術(shù)研究[D];南京理工大學(xué);2012年

6 哈瑪達(dá)（Musab Elkheir Salih Hamad）;一種針對(duì)大量噪聲的增強(qiáng)型相似性非局部均值去噪魯棒算法[D];華中科技大學(xué);2014年

7 詹軼;基于非局部均值的血管內(nèi)超聲序列運(yùn)動(dòng)補(bǔ)償方法研究[D];華中科技大學(xué);2014年

相關(guān)碩士學(xué)位論文 前2條

1 杜文琦;基于壓縮感知原理的核磁共振成像算法研究[D];杭州電子科技大學(xué);2014年

2 韓斐斐;基于小波變換和自適應(yīng)Context建模的圖像編碼[D];云南大學(xué);2014年

本文編號(hào)：1818940