近年來,隨著電子商務(wù)平臺規(guī)模的不斷擴大,對商家上傳的商品圖像和文本描述信息進(jìn)行審核,判斷兩者是否匹配,成為一項任務(wù)量巨大的工作。目前電子商務(wù)平臺信息審核采用人工的方式進(jìn)行,存在自動化程度低、審核實時性難以保證和資源耗費大等問題。另外,電子商務(wù)平臺中的商品信息具有分類細(xì)致的特殊性,采用人工審核的方式難以區(qū)分出商品類別之間的細(xì)微差距,增加了審核工作的困難。因此,如何有效地對商品圖像和文本描述進(jìn)行細(xì)粒度的標(biāo)注,判斷圖像文本是否匹配,自動化且實時地完成審核過程是一個具有廣泛應(yīng)用前景的研究問題。本文從實際的需求出發(fā),提出了一個基于卷積神經(jīng)網(wǎng)絡(luò)與長短期記憶網(wǎng)絡(luò)的商品圖像和文本匹配方法。通過利用深度網(wǎng)絡(luò)模型的特征提取能力,來對圖像和文本進(jìn)行標(biāo)注,解決傳統(tǒng)提取特征后訓(xùn)練分類器的方法無法實現(xiàn)細(xì)粒度分類的問題,自動化地完成商品信息的審核任務(wù)。本文的主要研究工作包括:一、提出了一套基于深度網(wǎng)絡(luò)模型的圖像和文本匹配框架。不同于傳統(tǒng)的圖像或文本標(biāo)注方法將特征提取和分類器訓(xùn)練分為兩個獨立的步驟,該方法通過利用深度網(wǎng)絡(luò)模型的特征提取能力,完成端到端的訓(xùn)練,實現(xiàn)細(xì)粒度分類的目標(biāo),最后通過類別比較地方式實現(xiàn)圖像文本的匹... 

【文章來源】：上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

商品上架和購買流程

基于圖像識別與文本分類的商品信息匹配系統(tǒng)研究與實現(xiàn)第一，實現(xiàn)對商品圖像和文本描述的細(xì)粒度標(biāo)注。在電子商務(wù)平臺中商品分類采用層級的方式展開，對于標(biāo)注的結(jié)果滿足精確到具體子類別的要求，有效地解決人工審核難以區(qū)分細(xì)致商品區(qū)別的困難，同時為自動化審核提供基礎(chǔ)。第二，實現(xiàn)對商品圖像和文本描述的自動化審核。通過對圖像和文本的細(xì)粒度標(biāo)注結(jié)果進(jìn)行類別比較，實現(xiàn)計算機自動化審核以取代人工審核的方式，去除過多的需要人為介入的步驟，保證了電子商務(wù)平臺運行的自動性。第三，實現(xiàn)對商品圖像和文本描述的實時性審核。在人工審核的方式下上傳信息后需要平臺運營人員在工作時間才能處理，存在滯后性。在實現(xiàn)了自動化審核的基礎(chǔ)上，通過將耗時的模型訓(xùn)練過程變?yōu)殡x線操作，在線匹配過程只是調(diào)用模型，從而實現(xiàn)實時處理。2.2 商品圖像和文本匹配框架本文研究主要圍繞商品圖像和文本自動匹配展開，總體框架如圖 2-2 所示。

基于圖像識別與文本分類的商品信息匹配系統(tǒng)研究與實現(xiàn)為了達(dá)到細(xì)粒度分類的目的，本文采用的實驗數(shù)據(jù)集來自斯坦福大學(xué)的公開車輛數(shù)據(jù)集，訓(xùn)練的模型旨在對于車輛商品圖片的識別效果能夠精確到具體的品牌和型號，也就是不僅知道這是一張車的圖片，還要知道是哪一種車。本文選擇在 Caffe 平臺上實現(xiàn)對模型的訓(xùn)練，選擇 Caffe 主要是因為它具有以下幾個優(yōu)點1.開源框架，具備了工業(yè)級的代碼健壯性；2.運行速度快，能夠有效處理海量的數(shù)據(jù)，專精于圖像處理問題。訓(xùn)練過程前需要首先準(zhǔn)備好標(biāo)明了圖片路徑和對應(yīng)類別標(biāo)簽的文件；用于表明模型網(wǎng)絡(luò)結(jié)構(gòu)的 prototxt 文件，定義了當(dāng)前層的類別、名稱以及相關(guān)的參數(shù)，如卷積核大小等；以及包含了全局參數(shù)的配置文件。它們的結(jié)構(gòu)如圖 3-1 所示。

【參考文獻(xiàn)】：
期刊論文
[1]基于卷積神經(jīng)網(wǎng)絡(luò)的商品圖像分類研究[J]. 匡青.  軟件導(dǎo)刊. 2017(02)
[2]基于遞歸神經(jīng)網(wǎng)絡(luò)的文本分類研究[J]. 黃磊,杜昌順.  北京化工大學(xué)學(xué)報(自然科學(xué)版). 2017(01)
[3]基于深度學(xué)習(xí)混合模型遷移學(xué)習(xí)的圖像分類[J]. 石祥濱,房雪鍵,張德園,郭忠強.  系統(tǒng)仿真學(xué)報. 2016(01)

博士論文
[1]基于特征學(xué)習(xí)與關(guān)鍵詞精化的圖像句子標(biāo)注研究[D]. 張紅斌.武漢大學(xué) 2016

碩士論文
[1]基于貝葉斯網(wǎng)絡(luò)的文本分類算法研究[D]. 王沙沙.中國地質(zhì)大學(xué) 2016
[2]基于LSTM的語義關(guān)系分類研究[D]. 胡新辰.哈爾濱工業(yè)大學(xué) 2015
[3]一種基于SIFT的特征提取在人臉識別算法中的研究[D]. 于祥春.吉林大學(xué) 2015



本文編號：3093707