圖像的分類和檢索一直是計算機視覺、模式識別和機器學習領域的核心課題之一�；诰植刻卣鞯膱D像表示模型是圖像分類和檢索中最為有效和常用的方法。然而,由于眾所周知的語義鴻溝,以及局部特征在表達高級視覺概念方面的局限性,傳統(tǒng)的圖像表示模型通常存在許多缺陷,包括對細微噪聲的敏感性太強、特征編碼的空間結構信息缺失、無法捕捉實際問題中的興趣區(qū)域,等等。本文針對這些問題進行了充分的研究,討論和改進了兩種基于局部特征的圖像表示模型,即視覺詞袋模型和深度卷積神經(jīng)網(wǎng)絡。從實際應用的角度出發(fā),我們抽象出若干重要的科學問題,并且利用創(chuàng)新性的方法解決這些問題。我們將圖像表示模型拆分為多個模塊,包括特征抽取、特征編碼、特征組合以及后處理等,逐一進行深入探索。在模塊化研究的基礎上,我們開創(chuàng)性地提出一種能夠同時處理圖像分類和檢索任務的模型,完成了兩者的統(tǒng)一。最后,我們提出了兩個富有挑戰(zhàn)性的計算機視覺新問題,并且提供了新穎的初步解決方案。本文的主要創(chuàng)新點包括以下六個方面:?提出一種局部特征強化算法:從圖像分類和檢索的實際情況出發(fā),論述局部特征的翻轉不變的必要性,并且設計了一種簡單的解決方案。?提出一種利用空間位置信息強化特征編碼的算法:通過構造幾何視覺短語和基于短語的池化算法,使得特征編碼具有描述局部特征組的能力。?提出兩種圖像空間匹配模型:針對特定圖像分類問題(細粒度分類和場景分類)的特殊特征組合算法,提升了圖像表示的質量。?提出兩種針對圖像檢索問題的后處理算法:利用基于圖結構和隨機游走理論的擴散算法,大幅提升準確率和召回率,并且應用于大規(guī)模網(wǎng)絡圖像搜索。?提出一種統(tǒng)一的圖像分類和檢索模型:利用強有力的圖像表示和魯棒的距離計算方法,同時處理分類和檢索問題,并且在兩類任務上都達到先進水平。?提出兩個計算機視覺領域的新問題:同時利用前面幾章的研究成果以及創(chuàng)新性的框架結構,對新問題進行探索,并且提出了初步的解決方案。本文所提出的方法大多具有很強的推廣性,能夠很方便地移植到其他應用問題中。我們的研究,為計算機視覺領域的科研人員提供了許多有價值的線索;我們提出的有趣而富有挑戰(zhàn)性的新問題,也為我們未來的研究工作奠定了基礎。
【學位單位】：清華大學
【學位級別】：博士
【學位年份】：2015
【中圖分類】：TP391.41
【文章目錄】：
摘要
abstract
第1章 引言
    1.1 研究背景和現(xiàn)實意義
    1.2 研究現(xiàn)狀和難點
    1.3 全文的結構和創(chuàng)新點
        1.3.1 本文的組織結構
        1.3.2 本文的主要創(chuàng)新點
第2章 背景知識
    2.1 人工智能與計算機視覺
        2.1.1 典型問題
        2.1.2 相關研究領域
    2.2 視覺詞袋模型
        2.2.1 描述子抽取
        2.2.2 視覺碼本訓練
        2.2.3 特征編碼
        2.2.4 特征組合和圖像分類
        2.2.5 特征索引和圖像檢索
    2.3 卷積神經(jīng)網(wǎng)絡
        2.3.1 總體結構
        2.3.2 網(wǎng)絡訓練
        2.3.3 其他應用
        2.3.4 網(wǎng)絡的快速計算
    2.4 其他知識
        2.4.1 圖像分割
        2.4.2 邊緣檢測
        2.4.3 物體檢測
        2.4.4 最近鄰搜索
第3章 局部特征的翻轉不變強化
    3.1 研究動機
    3.2 翻轉不變性的重要性
    3.3 翻轉不變的局部特征
        3.3.1 局部特征的翻轉
        3.3.2 Max-SIFT特征
        3.3.3 RIDE算法
        3.3.4 將RIDE擴展到其他局部特征
        3.3.5 圖像應用
        3.3.6 與已有方法的對比
    3.4 實驗部分
        3.4.1 數(shù)據(jù)集和基本設置
        3.4.2 局部特征的匹配
        3.4.3 細粒度物體識別
        3.4.4 全局翻轉和局部翻轉
        3.4.5 場景識別
        3.4.6 計算復雜度
    3.5 本章小結
第4章 局部特征的強化編碼
    4.1 研究動機
    4.2 提取互補的局部特征
        4.2.1 SIFT和Edge-SIFT特征
        4.2.2 融合兩種特征
        4.2.3 實驗和討論
        4.2.4 局限性
    4.3 幾何短語池化
        4.3.1 GPP算法
        4.3.2 GPP的深入解釋
        4.3.3 增強GPP的效果
        4.3.4 時間復雜度和稀疏性
        4.3.5 早期融合與后期融合
    4.4 基于邊緣的空間加權
        4.4.1 邊緣圖像的模糊化
        4.4.2 加權算法的效果和討論
        4.4.3 計算復雜度
    4.5 實驗部分
        4.5.1 基本設置
        4.5.2 一般物體分類
        4.5.3 特定物體分類
        4.5.4 場景識別
        4.5.5 討論
    4.6 本章小結
第5章 圖像分類：局部特征的優(yōu)化組合
    5.1 研究動機
    5.2 樸素的空間切分：空間金字塔匹配
        5.2.1 特征組合與指數(shù)子集
        5.2.2 標準的金字塔匹配
        5.2.3 推廣的規(guī)則匹配
        5.2.4 實驗部分
        5.2.5 結論
    5.3 細粒度分類：層次化部件匹配
        5.3.1 問題綜述
        5.3.2 細粒度分類數(shù)據(jù)集
        5.3.3 物體部件的切分
        5.3.4 層次化結構學習
        5.3.5 幾何池化策略
        5.3.6 實驗部分
        5.3.7 結論
    5.4 場景分類：朝向金字塔匹配
        5.4.1 問題綜述
        5.4.2 朝向金字塔匹配
        5.4.3 計算3D朝向
        5.4.4 實驗部分
        5.4.5 結論
    5.5 本章小結
第6章 圖像檢索：特征索引和后處理
    6.1 研究動機
    6.2 異質圖傳播算法
        6.2.1 問題綜述
        6.2.2 異質圖傳播
        6.2.3 實驗部分
        6.2.4 結論
    6.3 圖像網(wǎng)絡算法
        6.3.1 問題綜述
        6.3.2 Image Web數(shù)據(jù)結構
        6.3.3 參數(shù)選擇過程的折中思想
        6.3.4 實驗部分
        6.3.5 結論
    6.4 本章小結
第7章 統(tǒng)一的圖像分類和檢索模型
    7.1 研究動機
    7.2 ONE算法
        7.2.1 統(tǒng)一的分類和檢索模型
        7.2.2 ONE算法
        7.2.3 感興趣的物體區(qū)域
        7.2.4 近似最近鄰搜索
        7.2.5 GPU加速
    7.3 實驗部分
        7.3.1 數(shù)據(jù)集和實現(xiàn)細節(jié)
        7.3.2 模型和參數(shù)
        7.3.3 與現(xiàn)有方法對比
        7.3.4 時間和空間開銷
    7.4 本章小結
第8章 新問題的探索
    8.1 研究動機
    8.2 細粒度圖像搜索
        8.2.1 問題介紹
        8.2.2 問題描述
        8.2.3 細粒度搜索系統(tǒng)
        8.2.4 實驗部分
        8.2.5 結論
    8.3 基于視覺內(nèi)容的網(wǎng)頁質量分析
        8.3.1 問題介紹
        8.3.2 網(wǎng)頁質量分析的相關工作
        8.3.3 問題設定
        8.3.4 我們的算法
        8.3.5 實驗部分
        8.3.6 結論
    8.4 本章小結
第9章 總結與展望
    9.1 本文的總結
    9.2 未來的展望
參考文獻
致謝
附錄A RIDE算法的補充說明
    A.1 密集SIFT特征的朝向估計
        A.1.1 SIFT的實現(xiàn)
        A.1.2 重構SIFT的整體朝向
    A.2 RIDE的推廣：RIDE-4和RIDE-8
        A.2.1 RIDE-2、RIDE-4和RIDE-8
        A.2.2 實驗
個人簡歷、在學期間發(fā)表的學術論文與研究成果

【相似文獻】

相關期刊論文 前10條

1 黃巍;陳傳波;鄭運平;吳雪麗;;可重疊矩形多值圖像表示及其上的幾何矩生成[J];計算機科學;2008年10期

2 陶金金;黃秀清;陸云;高強;;基于重疊矩形圖像表示方法的貝塞爾-傅里葉矩快速計算[J];軟件導刊;2013年07期

3 曹奎,馮玉才,王元珍;一種基于顏色的圖像表示及全局相似檢索技術[J];計算機研究與發(fā)展;2001年09期

4 程兵,賈新春,鄭南寧,袁澤劍;基于水平差集的多精度圖像表示及繪制[J];西安交通大學學報;2002年04期

5 黃巍;陳傳波;鄭運平;吳雪麗;;基于非對稱逆布局圖像表示的近鄰尋找算法[J];計算機工程與科學;2009年03期

6 舒振球;趙春霞;張浩峰;;局部敏感的稀疏概念編碼及其在圖像表示中的應用[J];計算機輔助設計與圖形學學報;2014年01期

7 康寅;楊文川;;圖像表示及在檢索系統(tǒng)中的應用[J];軟件;2011年01期

8 宋彥;蔣兵;戴禮榮;;基于多視覺碼本的圖像表示[J];模式識別與人工智能;2013年10期

9 劉艷麗,曹奎;一種基于PCA的圖像表示與檢索技術[J];計算機應用與軟件;2003年04期

10 張琳波;王春恒;肖柏華;邵允學;;基于Bag-of-phrases的圖像表示方法[J];自動化學報;2012年01期

相關博士學位論文 前10條

1 江波;基于圖理論與稀疏約束模型的圖像表示、匹配與識別[D];安徽大學;2015年

2 謝凌曦;基于局部特征的圖像表示模型理論與實踐[D];清華大學;2015年

3 李大瑞;基于大規(guī)模視覺模式學習的高性能圖像表示[D];中國科學技術大學;2014年

4 黃巍;基于可重疊矩形子模式的圖像表示和操作方法研究[D];華中科技大學;2008年

5 李亞峰;圖像表示的若干問題研究[D];西安電子科技大學;2011年

6 吳中;大規(guī)模圖像搜索中的圖像表示模型[D];清華大學;2010年

7 肖延輝;基于矩陣分解的圖像表示理論及其應用研究[D];北京交通大學;2014年

8 吳雪麗;基于斜面分解的非對稱逆布局圖像表示方法與處理算法研究[D];華中科技大學;2009年

9 鄭運平;基于Gouraud陰影法和多子模式的NAM圖像表示方法研究[D];華中科技大學;2008年

10 夏暉;矩形NAM圖像表示模型的存儲與運算方法研究[D];華中科技大學;2009年

相關碩士學位論文 前2條

1 焦緒國;基于單層稀疏自編碼和支持向量機的場景分類[D];重慶大學;2015年

2 陸永亮;基于偏微分方程和多邊形的非對稱逆布局圖像表示方法研究[D];華中科技大學;2009年

本文編號：2849410