本文關(guān)鍵詞： 圖像檢索 用戶意圖 社交網(wǎng)絡(luò) 用戶行為 表征學(xué)習(xí)　出處：《清華大學(xué)》2016年博士論文　論文類型：學(xué)位論文

【摘要】：圖像檢索在信息檢索領(lǐng)域中扮演著越來(lái)越重要的角色。傳統(tǒng)的圖像檢索方法由于很難獲取到用戶的個(gè)人信息,因此更側(cè)重于語(yǔ)義鴻溝(即圖像底層特征到高層語(yǔ)義之間的鴻溝),而缺乏對(duì)意圖鴻溝(即用戶內(nèi)心的搜索意圖和表達(dá)出來(lái)的搜索請(qǐng)求之間的鴻溝)的研究。近些年來(lái)興起的社交網(wǎng)絡(luò)為研究者獲取用戶個(gè)人信息,分析用戶個(gè)人興趣偏好提供了有效的途徑。本文通過(guò)將用戶行為、個(gè)人屬性、用戶關(guān)系等社交上下文信息與圖像的視覺信息在圖像表征、距離度量、結(jié)果重排序等圖像檢索中的三個(gè)主要階段進(jìn)行融合,借助對(duì)用戶偏好的建模分析理解用戶在圖像檢索中的意圖,從而提出面向用戶意圖的社會(huì)化圖像檢索方案來(lái)解決圖像檢索中的意圖鴻溝問(wèn)題。本文的主要貢獻(xiàn)如下:1.提出社交信息嵌入的圖像視覺表征學(xué)習(xí)方法。本文通過(guò)多任務(wù)深度學(xué)習(xí)框架,在圖像表征學(xué)習(xí)階段將用戶行為信息和圖像語(yǔ)義信息進(jìn)行融合,同時(shí)考慮了社交行為數(shù)據(jù)的稀疏性、不可靠性等問(wèn)題。通過(guò)對(duì)圖像分類任務(wù)與興趣學(xué)習(xí)任務(wù)的聯(lián)合優(yōu)化,使得學(xué)習(xí)到的圖像特征可以同時(shí)包含用戶興趣和圖像語(yǔ)義兩方面信息,從而更好地理解圖像推薦與檢索任務(wù)中的用戶意圖。2.提出知識(shí)圖譜關(guān)系嵌入的圖像表征學(xué)習(xí)方法。該方法針對(duì)傳統(tǒng)基于標(biāo)注信息進(jìn)行圖像表征學(xué)習(xí)的方法中標(biāo)注信息的準(zhǔn)確性及完整性有所欠缺的問(wèn)題,將知識(shí)圖譜中概念之間的多種關(guān)系信息嵌入到多標(biāo)簽圖像表征學(xué)習(xí)任務(wù)中,并利用關(guān)系約束的回歸卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)兩個(gè)問(wèn)題進(jìn)行聯(lián)合優(yōu)化,使得學(xué)習(xí)到的圖像表征不僅能夠反映圖像標(biāo)簽信息,還可以包含概念之間的關(guān)聯(lián)關(guān)系。3.提出社交信息嵌入的圖像度量學(xué)習(xí)方法。在以用戶為中心的應(yīng)用(如圖像檢索、推薦等)問(wèn)題中,傳統(tǒng)的基于視覺特征的圖像距離度量方式無(wú)法有效捕捉用戶的實(shí)際意圖。本文提出社交信息嵌入的圖像距離度量學(xué)習(xí)方法,將圖像對(duì)應(yīng)的社交行為相似度嵌入到視覺特征空間中。對(duì)圖像的視覺特征空間進(jìn)行變換,使得變換后的相似度與用戶的社交行為相似度達(dá)到一致。通過(guò)這種方法,可以僅利用圖像的視覺特征對(duì)它們的社交相似度進(jìn)行預(yù)測(cè)。同時(shí),本工作驗(yàn)證了學(xué)習(xí)到的圖像度量函數(shù)相比于傳統(tǒng)的圖像度量方法,能夠更好地反應(yīng)用戶在搜索、瀏覽行為中的用戶意圖。4.提出社交行為與視覺信息融合的個(gè)性化圖像重排序方法。本方法利用用戶所在群組在社交平臺(tái)中的行為信息,理解用戶的興趣,從而為用戶提供個(gè)性化的圖像搜索結(jié)果。面對(duì)社交信息的稀疏性,以及社交空間多模態(tài)信息的復(fù)雜性等問(wèn)題,本方法利用隨機(jī)游走模型,在基于社交信息和視覺內(nèi)容的混合圖上對(duì)搜索結(jié)果進(jìn)行重排序,從而在給出符合用戶個(gè)人偏好的搜索結(jié)果的同時(shí)保證結(jié)果的語(yǔ)義相關(guān)性。同時(shí),本工作還證明了社交信息在個(gè)性化搜索中的有效性和重要性。
[Abstract]:Image retrieval plays an increasingly important role in the field of information retrieval. Traditional image retrieval methods are difficult to obtain personal information of users. Therefore, more emphasis is placed on the semantic gap (that is, the gap between the underlying features of the image and the high-level semantics). However, there is a lack of research on the intention gap (that is, the gap between the user's internal search intention and the expressed search request). In recent years, social networks have emerged to obtain user personal information for researchers. Analysis of users' personal interest preferences provides an effective way. This paper uses social context information such as user behavior, personal attributes, user relations and visual information of images in image representation, distance measurement. Results the three main stages of image retrieval such as reordering were fused to understand the intention of users in image retrieval by modeling and analyzing user preferences. In order to solve the problem of intention gap in image retrieval, a socialized image retrieval scheme oriented to user's intention is proposed. The main contributions of this paper are as follows:. 1. An image representation learning method based on social information embedding is proposed. In the phase of image representation learning, user behavior information and image semantic information are fused, and the sparsity of social behavior data is considered. Through the joint optimization of image classification task and interest learning task, the image features can include both user interest and image semantic information. In order to better understand the user's intention in image recommendation and retrieval task. 2. An image representation learning method based on knowledge map relation embedding is proposed. This method is aimed at the traditional image representation learning method based on annotated information. The accuracy and completeness of tagging information are deficient. The relational information between concepts in knowledge map is embedded into the learning task of multi-label image representation, and the two problems are jointly optimized by using the regression convolution neural network model with relation constraints. So that the image representation can not only reflect the image label information. It can also include the relationship between concepts. 3. An image metric learning method for social information embedding is proposed. In user-centered applications (such as image retrieval, recommendation, etc.). Traditional image distance measurement based on visual features can not effectively capture the actual intention of users. This paper proposes an image distance measurement learning method based on social information embedding. The social behavior similarity of the image is embedded into the visual feature space and the visual feature space of the image is transformed. This method can only use the visual features of images to predict their social similarity. At the same time. This work verifies that the image metric function can better reflect the user in search than the traditional image measurement method. User intention in browsing behavior. 4. A personalized image reordering method based on the fusion of social behavior and visual information is proposed. This method uses the behavior information of the user's group in the social platform to understand the interests of the user. In order to provide users with personalized image search results, this method uses random walk model to solve the problems of sparse social information and complexity of multi-modal information in social space. The search results are reordered on the mixed graph based on social information and visual content, so that the semantic correlation of the results can be guaranteed while giving the search results in accordance with the user's personal preferences. This work also proves the validity and importance of social information in personalized search.
【學(xué)位授予單位】：清華大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 江士方,汪英姿;圖像及圖像檢索應(yīng)用前景的探討[J];江蘇工業(yè)學(xué)院學(xué)報(bào)(社會(huì)科學(xué)版);2003年04期

2 韓法旺;;基于云計(jì)算模式的圖像檢索研究[J];情報(bào)科學(xué);2011年10期

3 何巖;;以計(jì)算機(jī)為基礎(chǔ)的色彩圖像檢索方法與研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年12期

4 郭海鳳;李廣水;仇彬任;;基于融合多特征的社會(huì)網(wǎng)上圖像檢索方法[J];計(jì)算機(jī)與現(xiàn)代化;2013年12期

5 柏正堯,周紀(jì)勤;基于復(fù)數(shù)矩不變性的圖像檢索方法研究[J];計(jì)算機(jī)應(yīng)用;2000年10期

6 夏峰,張文龍;一種圖像檢索的新方法[J];計(jì)算機(jī)應(yīng)用研究;2002年11期

7 鄧誠(chéng)強(qiáng),馮剛;基于內(nèi)容的多特征綜合圖像檢索[J];計(jì)算機(jī)應(yīng)用;2003年07期

8 斯白露,高文,盧漢清,曾煒,段立娟;基于感興趣區(qū)域的圖像檢索方法[J];高技術(shù)通訊;2003年05期

9 劉怡,于沛;基于“知網(wǎng)”的新聞圖像檢索方法[J];河南師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2003年02期

10 張榮,鄭浩然,李金龍,王煦法;進(jìn)化加速技術(shù)在圖像檢索中的應(yīng)用[J];計(jì)算機(jī)工程與應(yīng)用;2004年16期

相關(guān)會(huì)議論文 前10條

1 陳旭文;朱紅麗;;一種高效的圖像檢索方法[A];中國(guó)儀器儀表學(xué)會(huì)第九屆青年學(xué)術(shù)會(huì)議論文集[C];2007年

2 周向東;張亮;張琪;劉莉;殷慷;施伯樂(lè);;一種新的圖像檢索相關(guān)反饋方法[A];第十九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2002年

3 陳世亮;李戰(zhàn)懷;閆劍鋒;;一種基于本體描述的空間語(yǔ)義圖像檢索方法[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

4 趙海英;彭宏;;基于最優(yōu)近似反饋的圖像檢索[A];’2004系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會(huì)論文集[C];2004年

5 許相莉;張利彪;于哲舟;周春光;;基于商空間粒度計(jì)算的圖像檢索[A];第八屆全國(guó)信息隱藏與多媒體安全學(xué)術(shù)大會(huì)湖南省計(jì)算機(jī)學(xué)會(huì)第十一屆學(xué)術(shù)年會(huì)論文集[C];2009年

6 李凌偉;周榮貴;劉怡;;基于概念的圖像檢索方法[A];第十九屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

7 楊關(guān)良;李忠杰;徐小杰;;基于代表色的圖像檢索方法研究[A];首屆信息獲取與處理學(xué)術(shù)會(huì)議論文集[C];2003年

8 彭瑜;喬奇峰;魏昆娟;;基于多示例學(xué)習(xí)的圖像檢索方法[A];第三屆全國(guó)信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

9 胡敬;武港山;;基于語(yǔ)義特征的風(fēng)景圖像檢索[A];2009年研究生學(xué)術(shù)交流會(huì)通信與信息技術(shù)論文集[C];2009年

10 許天兵;;一種基于語(yǔ)義分類的圖像檢索方法[A];中國(guó)圖象圖形學(xué)會(huì)第十屆全國(guó)圖像圖形學(xué)術(shù)會(huì)議（CIG’2001）和第一屆全國(guó)虛擬現(xiàn)實(shí)技術(shù)研討會(huì)（CVR’2001）論文集[C];2001年

相關(guān)博士學(xué)位論文 前10條

1 崔超然;圖像檢索中自動(dòng)標(biāo)注、標(biāo)簽處理和重排序問(wèn)題的研究[D];山東大學(xué);2015年

2 楊迪;基于內(nèi)容的分布式圖像檢索[D];北京郵電大學(xué);2015年

3 張旭;網(wǎng)絡(luò)圖像檢索關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2014年

4 吳夢(mèng)麟;基于半監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像檢索研究[D];南京理工大學(xué);2015年

5 高毫林;基于哈希技術(shù)的圖像檢索研究[D];解放軍信息工程大學(xué);2014年

6 李清亮;圖像檢索中判別性增強(qiáng)研究[D];吉林大學(xué);2016年

7 劉爽;多特征融合圖像檢索方法及其應(yīng)用研究[D];哈爾濱理工大學(xué);2016年

8 程航;密文JPEG圖像檢索研究[D];上海大學(xué);2016年

9 李強(qiáng);基于語(yǔ)義理解的圖像檢索研究[D];天津大學(xué);2015年

10 劉少偉;面向用戶意圖的社會(huì)化圖像檢索[D];清華大學(xué);2016年

相關(guān)碩士學(xué)位論文 前10條

1 趙鴻;基于尺度不變局部特征的圖像檢索研究[D];華南理工大學(xué);2015年

2 孫劍飛;基于圖像索引的熱點(diǎn)話題檢索方法研究[D];蘭州大學(xué);2015年

3 章進(jìn)洲;圖像檢索中的用戶意圖分析[D];南京理工大學(xué);2015年

4 苗思楊;移動(dòng)圖像檢索中的漸進(jìn)式傳輸方式研究[D];大連海事大學(xué);2015年

5 都業(yè)剛;基于顯著性的移動(dòng)圖像檢索[D];大連海事大學(xué);2015年

6 王夢(mèng)蕾;基于用戶反饋和改進(jìn)詞袋模型的圖像檢索[D];南京理工大學(xué);2015年

7 許鵬飛;基于草圖的海量圖像檢索方法研究[D];浙江大學(xué);2015年

8 馮進(jìn)麗;基于BoF的圖像檢索與行為識(shí)別研究[D];山西大學(xué);2015年

9 喬維強(qiáng);基于低級(jí)特征和語(yǔ)義特征的醫(yī)學(xué)圖像檢索[D];北京理工大學(xué);2015年

10 蔣國(guó)寶;基于內(nèi)容的概念建模和圖像檢索重排序[D];復(fù)旦大學(xué);2014年

，

本文編號(hào)：1486464