本文關(guān)鍵詞： 圖像檢索 用戶意圖 社交網(wǎng)絡(luò) 用戶行為 表征學(xué)習(xí)　出處：《清華大學(xué)》2016年博士論文　論文類型：學(xué)位論文

【摘要】：圖像檢索在信息檢索領(lǐng)域中扮演著越來越重要的角色。傳統(tǒng)的圖像檢索方法由于很難獲取到用戶的個人信息,因此更側(cè)重于語義鴻溝(即圖像底層特征到高層語義之間的鴻溝),而缺乏對意圖鴻溝(即用戶內(nèi)心的搜索意圖和表達出來的搜索請求之間的鴻溝)的研究。近些年來興起的社交網(wǎng)絡(luò)為研究者獲取用戶個人信息,分析用戶個人興趣偏好提供了有效的途徑。本文通過將用戶行為、個人屬性、用戶關(guān)系等社交上下文信息與圖像的視覺信息在圖像表征、距離度量、結(jié)果重排序等圖像檢索中的三個主要階段進行融合,借助對用戶偏好的建模分析理解用戶在圖像檢索中的意圖,從而提出面向用戶意圖的社會化圖像檢索方案來解決圖像檢索中的意圖鴻溝問題。本文的主要貢獻如下:1.提出社交信息嵌入的圖像視覺表征學(xué)習(xí)方法。本文通過多任務(wù)深度學(xué)習(xí)框架,在圖像表征學(xué)習(xí)階段將用戶行為信息和圖像語義信息進行融合,同時考慮了社交行為數(shù)據(jù)的稀疏性、不可靠性等問題。通過對圖像分類任務(wù)與興趣學(xué)習(xí)任務(wù)的聯(lián)合優(yōu)化,使得學(xué)習(xí)到的圖像特征可以同時包含用戶興趣和圖像語義兩方面信息,從而更好地理解圖像推薦與檢索任務(wù)中的用戶意圖。2.提出知識圖譜關(guān)系嵌入的圖像表征學(xué)習(xí)方法。該方法針對傳統(tǒng)基于標注信息進行圖像表征學(xué)習(xí)的方法中標注信息的準確性及完整性有所欠缺的問題,將知識圖譜中概念之間的多種關(guān)系信息嵌入到多標簽圖像表征學(xué)習(xí)任務(wù)中,并利用關(guān)系約束的回歸卷積神經(jīng)網(wǎng)絡(luò)模型對兩個問題進行聯(lián)合優(yōu)化,使得學(xué)習(xí)到的圖像表征不僅能夠反映圖像標簽信息,還可以包含概念之間的關(guān)聯(lián)關(guān)系。3.提出社交信息嵌入的圖像度量學(xué)習(xí)方法。在以用戶為中心的應(yīng)用(如圖像檢索、推薦等)問題中,傳統(tǒng)的基于視覺特征的圖像距離度量方式無法有效捕捉用戶的實際意圖。本文提出社交信息嵌入的圖像距離度量學(xué)習(xí)方法,將圖像對應(yīng)的社交行為相似度嵌入到視覺特征空間中。對圖像的視覺特征空間進行變換,使得變換后的相似度與用戶的社交行為相似度達到一致。通過這種方法,可以僅利用圖像的視覺特征對它們的社交相似度進行預(yù)測。同時,本工作驗證了學(xué)習(xí)到的圖像度量函數(shù)相比于傳統(tǒng)的圖像度量方法,能夠更好地反應(yīng)用戶在搜索、瀏覽行為中的用戶意圖。4.提出社交行為與視覺信息融合的個性化圖像重排序方法。本方法利用用戶所在群組在社交平臺中的行為信息,理解用戶的興趣,從而為用戶提供個性化的圖像搜索結(jié)果。面對社交信息的稀疏性,以及社交空間多模態(tài)信息的復(fù)雜性等問題,本方法利用隨機游走模型,在基于社交信息和視覺內(nèi)容的混合圖上對搜索結(jié)果進行重排序,從而在給出符合用戶個人偏好的搜索結(jié)果的同時保證結(jié)果的語義相關(guān)性。同時,本工作還證明了社交信息在個性化搜索中的有效性和重要性。
[Abstract]:Image retrieval plays an increasingly important role in the field of information retrieval. Traditional image retrieval methods are difficult to obtain personal information of users. Therefore, more emphasis is placed on the semantic gap (that is, the gap between the underlying features of the image and the high-level semantics). However, there is a lack of research on the intention gap (that is, the gap between the user's internal search intention and the expressed search request). In recent years, social networks have emerged to obtain user personal information for researchers. Analysis of users' personal interest preferences provides an effective way. This paper uses social context information such as user behavior, personal attributes, user relations and visual information of images in image representation, distance measurement. Results the three main stages of image retrieval such as reordering were fused to understand the intention of users in image retrieval by modeling and analyzing user preferences. In order to solve the problem of intention gap in image retrieval, a socialized image retrieval scheme oriented to user's intention is proposed. The main contributions of this paper are as follows:. 1. An image representation learning method based on social information embedding is proposed. In the phase of image representation learning, user behavior information and image semantic information are fused, and the sparsity of social behavior data is considered. Through the joint optimization of image classification task and interest learning task, the image features can include both user interest and image semantic information. In order to better understand the user's intention in image recommendation and retrieval task. 2. An image representation learning method based on knowledge map relation embedding is proposed. This method is aimed at the traditional image representation learning method based on annotated information. The accuracy and completeness of tagging information are deficient. The relational information between concepts in knowledge map is embedded into the learning task of multi-label image representation, and the two problems are jointly optimized by using the regression convolution neural network model with relation constraints. So that the image representation can not only reflect the image label information. It can also include the relationship between concepts. 3. An image metric learning method for social information embedding is proposed. In user-centered applications (such as image retrieval, recommendation, etc.). Traditional image distance measurement based on visual features can not effectively capture the actual intention of users. This paper proposes an image distance measurement learning method based on social information embedding. The social behavior similarity of the image is embedded into the visual feature space and the visual feature space of the image is transformed. This method can only use the visual features of images to predict their social similarity. At the same time. This work verifies that the image metric function can better reflect the user in search than the traditional image measurement method. User intention in browsing behavior. 4. A personalized image reordering method based on the fusion of social behavior and visual information is proposed. This method uses the behavior information of the user's group in the social platform to understand the interests of the user. In order to provide users with personalized image search results, this method uses random walk model to solve the problems of sparse social information and complexity of multi-modal information in social space. The search results are reordered on the mixed graph based on social information and visual content, so that the semantic correlation of the results can be guaranteed while giving the search results in accordance with the user's personal preferences. This work also proves the validity and importance of social information in personalized search.
【學(xué)位授予單位】：清華大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2016
【分類號】：TP391.41

【相似文獻】

相關(guān)期刊論文 前10條

1 江士方,汪英姿;圖像及圖像檢索應(yīng)用前景的探討[J];江蘇工業(yè)學(xué)院學(xué)報(社會科學(xué)版);2003年04期

2 韓法旺;;基于云計算模式的圖像檢索研究[J];情報科學(xué);2011年10期

3 何巖;;以計算機為基礎(chǔ)的色彩圖像檢索方法與研究[J];計算機光盤軟件與應(yīng)用;2013年12期

4 郭海鳳;李廣水;仇彬任;;基于融合多特征的社會網(wǎng)上圖像檢索方法[J];計算機與現(xiàn)代化;2013年12期

5 柏正堯,周紀勤;基于復(fù)數(shù)矩不變性的圖像檢索方法研究[J];計算機應(yīng)用;2000年10期

6 夏峰,張文龍;一種圖像檢索的新方法[J];計算機應(yīng)用研究;2002年11期

7 鄧誠強,馮剛;基于內(nèi)容的多特征綜合圖像檢索[J];計算機應(yīng)用;2003年07期

8 斯白露,高文,盧漢清,曾煒,段立娟;基于感興趣區(qū)域的圖像檢索方法[J];高技術(shù)通訊;2003年05期

9 劉怡,于沛;基于“知網(wǎng)”的新聞圖像檢索方法[J];河南師范大學(xué)學(xué)報(自然科學(xué)版);2003年02期

10 張榮,鄭浩然,李金龍,王煦法;進化加速技術(shù)在圖像檢索中的應(yīng)用[J];計算機工程與應(yīng)用;2004年16期

相關(guān)會議論文 前10條

1 陳旭文;朱紅麗;;一種高效的圖像檢索方法[A];中國儀器儀表學(xué)會第九屆青年學(xué)術(shù)會議論文集[C];2007年

2 周向東;張亮;張琪;劉莉;殷慷;施伯樂;;一種新的圖像檢索相關(guān)反饋方法[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2002年

3 陳世亮;李戰(zhàn)懷;閆劍鋒;;一種基于本體描述的空間語義圖像檢索方法[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2004年

4 趙海英;彭宏;;基于最優(yōu)近似反饋的圖像檢索[A];’2004系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會論文集[C];2004年

5 許相莉;張利彪;于哲舟;周春光;;基于商空間粒度計算的圖像檢索[A];第八屆全國信息隱藏與多媒體安全學(xué)術(shù)大會湖南省計算機學(xué)會第十一屆學(xué)術(shù)年會論文集[C];2009年

6 李凌偉;周榮貴;劉怡;;基于概念的圖像檢索方法[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2002年

7 楊關(guān)良;李忠杰;徐小杰;;基于代表色的圖像檢索方法研究[A];首屆信息獲取與處理學(xué)術(shù)會議論文集[C];2003年

8 彭瑜;喬奇峰;魏昆娟;;基于多示例學(xué)習(xí)的圖像檢索方法[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

9 胡敬;武港山;;基于語義特征的風(fēng)景圖像檢索[A];2009年研究生學(xué)術(shù)交流會通信與信息技術(shù)論文集[C];2009年

10 許天兵;;一種基于語義分類的圖像檢索方法[A];中國圖象圖形學(xué)會第十屆全國圖像圖形學(xué)術(shù)會議（CIG’2001）和第一屆全國虛擬現(xiàn)實技術(shù)研討會（CVR’2001）論文集[C];2001年

相關(guān)博士學(xué)位論文 前10條

1 崔超然;圖像檢索中自動標注、標簽處理和重排序問題的研究[D];山東大學(xué);2015年

2 楊迪;基于內(nèi)容的分布式圖像檢索[D];北京郵電大學(xué);2015年

3 張旭;網(wǎng)絡(luò)圖像檢索關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2014年

4 吳夢麟;基于半監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像檢索研究[D];南京理工大學(xué);2015年

5 高毫林;基于哈希技術(shù)的圖像檢索研究[D];解放軍信息工程大學(xué);2014年

6 李清亮;圖像檢索中判別性增強研究[D];吉林大學(xué);2016年

7 劉爽;多特征融合圖像檢索方法及其應(yīng)用研究[D];哈爾濱理工大學(xué);2016年

8 程航;密文JPEG圖像檢索研究[D];上海大學(xué);2016年

9 李強;基于語義理解的圖像檢索研究[D];天津大學(xué);2015年

10 劉少偉;面向用戶意圖的社會化圖像檢索[D];清華大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 趙鴻;基于尺度不變局部特征的圖像檢索研究[D];華南理工大學(xué);2015年

2 孫劍飛;基于圖像索引的熱點話題檢索方法研究[D];蘭州大學(xué);2015年

3 章進洲;圖像檢索中的用戶意圖分析[D];南京理工大學(xué);2015年

4 苗思楊;移動圖像檢索中的漸進式傳輸方式研究[D];大連海事大學(xué);2015年

5 都業(yè)剛;基于顯著性的移動圖像檢索[D];大連海事大學(xué);2015年

6 王夢蕾;基于用戶反饋和改進詞袋模型的圖像檢索[D];南京理工大學(xué);2015年

7 許鵬飛;基于草圖的海量圖像檢索方法研究[D];浙江大學(xué);2015年

8 馮進麗;基于BoF的圖像檢索與行為識別研究[D];山西大學(xué);2015年

9 喬維強;基于低級特征和語義特征的醫(yī)學(xué)圖像檢索[D];北京理工大學(xué);2015年

10 蔣國寶;基于內(nèi)容的概念建模和圖像檢索重排序[D];復(fù)旦大學(xué);2014年

，

本文編號：1486464