飲食記錄是飲食管理的關鍵環(huán)節(jié)。為了簡化記錄過程,研究者提出了基于食物圖片的食譜檢索技術,通過拍攝的圖片檢索到對應食譜,并據此生成營養(yǎng)信息,從而提高了記錄的便捷性。食譜檢索是典型的跨模態(tài)檢索問題,但與一般問題相比,其主要難點是食譜描述了從原材料到成品的一系列變化過程,而非直接可見的特征,因此模型需要深入理解原材料的處理過程。而當前食譜檢索研究工作采用線性方式處理文本,導致其捕捉食譜處理過程中的遠距離依賴現象的能力較差。針對這個問題,設計了一種基于自注意力機制的跨模態(tài)食譜檢索模型。該模型借助Transformer模型中的自注意力機制,捕捉食譜中遠距離的依賴關系,同時改進了傳統(tǒng)方法中的注意力機制,可以更好地挖掘食譜中的語義。實驗結果表明,該模型在食譜檢索任務的召回率上比基線方法提高了22%。

【文章頁數】：11 頁

【文章目錄】：
1 引言
2 相關工作
    2.1 跨模態(tài)檢索
    2.2 食譜檢索
3 模型設計
    3.1 模型框架概覽
    3.2 文字編碼模塊
        3.2.1 Transformer模型
        3.2.2 標題編碼
        3.2.3 原材料編碼
        3.2.4 步驟編碼
        3.2.5 環(huán)境向量的選擇
        3.2.6 文字整體編碼
    3.3 圖片編碼模塊
    3.4 聯合嵌入模塊
    3.5 損失函數
    3.6 模型訓練
4 實驗驗證
    4.1 數據集
    4.2 實驗設置
        4.2.1 實現細節(jié)
        4.2.2 評價指標
    4.3 結果比較
    4.4 對照實驗
        4.4.1 注意力機制
        4.4.2 消融研究
        4.4.3 參數靈敏度實驗
5 總結與期望



本文編號：3802483