【摘要】：自動解答是人工智能領(lǐng)域長期存在的研究問題。該問題旨在開發(fā)一種算法,使其可以完全自動地從學齡前兒童的教科書中產(chǎn)生可讀解決方案。近年來隨著自然語言處理(NLP)和機器推理技術(shù)的改進以及對更智能教育服務的迫切需求,該問題已經(jīng)成為許多研究問題的焦點。由于研究和應用的巨大潛力,許多視覺問答(VQA)問題方法已在許多領(lǐng)域提出并實施。其中VQA還涵蓋計算機視覺(CV)和自然語言處理(NLP),但與VQA不同,視覺問答僅關(guān)注圖片中的特定成分。然后根據(jù)一些常規(guī)問題,相關(guān)問題仍然需要特定的常識推理才能回答。并且基于初級1-3級教科書,他們獲得熟悉物體的信息圖像。在我的論文中,我已經(jīng)在視覺問答和語法語義模型框架的問題生成中表達了我的工作。我已經(jīng)表達了視覺提出問題的類別以及它們出現(xiàn)的表達方式。最后,我們已經(jīng)證明了這樣的結(jié)果:機器提出的問題似乎衡量了個人短語的詞匯能力,這個短語與教練寫的問題和詞匯能力的統(tǒng)一判斷有關(guān)。1.研究內(nèi)容包括兩個方面:1.1從教科書圖像中完全自動提取算術(shù)問題。1.2其次,為學齡前兒童數(shù)學學習提供基于VQA和語法-語義模型的交互式智能輔導系統(tǒng)。通過更廣泛地生成許多問題,或者學習者學習算術(shù)能力。在我們的研究中,我們的工作重點是自動化此過程。特別是,它更注重從教科書個人圖形自動生成數(shù)學學習問題的問題。2.在本節(jié)中,我們的研究描述了生成計算任務的整個流程,這些任務出現(xiàn)在機器提出的閱讀原始數(shù)學書的算術(shù)問題中。以下示例和他們的討論將實現(xiàn)以下目標:2.1舉例說明視覺問題回答任務這項任務和幾個細節(jié)問題;2.2確定此對象的名稱,因為工作無法完成所有任務;2.3與語法一語義模型中的其他問題建立關(guān)系,并總結(jié)該模型的方法和系統(tǒng)如何幫助自動回答問題。在計算機視覺(CV)和自然語言處理(NLP)組中,視覺問答(VQA)具有包含公認的加速注意力的復雜挑戰(zhàn)。從圖像或物理語言問題來看,它需要對圖像的圖像對象進行分析,并產(chǎn)生與推理相關(guān)答案的材料。3.雖然我們的研究將這些涉及視覺問題回答并說明了相關(guān)的任務,但我們的工作提出了一些方法。該部分描述了可見問答的結(jié)構(gòu),圖3.1闡明并描述了我們對結(jié)構(gòu)的實現(xiàn)。在第4章中,它將從本質(zhì)上評估該工具的某些部分,并將其分析為其他可能的方法。本文提出了一種用于解決算術(shù)圖形問題的共享框架和兩種算法。在第1步中,通過調(diào)整或翻譯單詞,將圖像中的對象及其數(shù)量轉(zhuǎn)換為更直接的聲明性表示。該研究涉及根除和澄清圖像的過程或?qū)ο蟮臄?shù)學關(guān)系放在一起。未來的工作可以適應其他語法一語義模型,將這些項目轉(zhuǎn)換為本節(jié)中的算術(shù)關(guān)系。在第2步中,通過實現(xiàn)明確定義的句法轉(zhuǎn)換(語法語義模型,數(shù)學算術(shù)模型等)的排序,將所提出的一串單詞轉(zhuǎn)換為許多問題。由于輸入內(nèi)容的各種單詞串,這些字符串的各種變換可能會變得不同,從而產(chǎn)生最好的問題。在第3階段,一些問題按照列出的功能和材料句子,輸入的一串單詞,相關(guān)問題和生成中使用的轉(zhuǎn)換進行評分。它提出了一個用于解決顯式算術(shù)問題的共享框架。這是開發(fā)共享框架的第一個,因為現(xiàn)有方法可以從單個圖像中提取對象及其數(shù)字。文本中使用的問答數(shù)據(jù)集由問答對和問答對組成。問題的形式是開放的,有多種選擇,相應的答案由1-2個單詞組成。為了研究圖片中包含的信息量和問題,我們只設計了問題(BoWQ,LSTM+Q,deeperLSTMQ),只設計圖像(I)和兩者(BoWQ+I)。在LSTMQ+I,DeepLSTMQ+范數(shù)1)的情況下回答了問題的結(jié)果。單獨使用一個方面不能獲得好的結(jié)果。本文提出的模型是開放的。公式和多個選擇都具有最佳結(jié)果。作為一個簡單的模型,VQA獲得圖像特征和嵌入句子以及多層感知器(MLP)運行。因為可以觀察到相關(guān)的方法,所以仍然可以使用與單詞嵌入相關(guān)的三層長短期記憶模型。為了得到一個明確的結(jié)論,將嵌入字精確地融合到接合層是有效的,然而,上述方法幾乎具有最先進的性能。同樣,可能不需要四個完全連接的層來實現(xiàn)更好的性能。但是我在一些程序之后仍然使用該方法,并且該方法的性能優(yōu)于包含應用多個層的方法。最重要的是,本章展示了視覺問答的幾個階段結(jié)構(gòu),以及我們對該結(jié)構(gòu)的應用。為了繪制第2章中展示的許多但并非所有任務而組織的結(jié)構(gòu),獲得了兩個基于學科的內(nèi)容,這些學科摘錄了圖像描述并將其轉(zhuǎn)換為候選問題,接下來通過統(tǒng)計方法逐步采用工具來描述更好的問題先于學習者。該工具從復雜的信息中提取信息,包括問題的表述。它使用深度學習和相關(guān)應用程序來使工具更有效,更強大,并且對于手工編碼具有挑戰(zhàn)性的現(xiàn)象。該研究開發(fā)了測試問題生產(chǎn)工具因素結(jié)果的實驗。在前面的章節(jié)中,研究顯示了一種用于視覺問答的結(jié)構(gòu)和應用工具。現(xiàn)在,我們考慮繼承的實驗評估通過該工具生成的問題的性能。該系統(tǒng)顯示了兩個類別的實驗。首先,它顯示了評估工具單個部分的實驗:顯示對工具第一階段中簡化描述提取部分的評估。顯示一個實驗,評估復雜語言類別在生成單詞時的識別能力。顯示評估問題的實驗。接下來,在這些實驗之后,該研究通過在圖像和文本級別上判斷測試集圖像的性能和問題數(shù)量來評估這些問題回答工具。這些判斷使用了判決申請人的修改版本來表達問題。在這一部分,我們探討了以下研究問題:簡化圖像語句提取器是否從復雜圖像中的固定范圍中提取流暢和語義正確的數(shù)學表達式。此提取器的結(jié)果與熟悉的圖像壓縮方法的結(jié)果相比較。在這一部分中,我們的研究評估了通過摘錄提出的簡化圖像,但沒有評估它們產(chǎn)生的問題(我們的研究判斷端到端申請人的輸出)。為了判斷提取器,該研究從隨機的相似主要教科書圖像集合中選擇了幾個圖像。對于實驗,我們確定基于1-3級基礎(chǔ)教科書,因為他們獲得了具有相當對象結(jié)構(gòu)的簡單信息圖像,而不是更高層次解釋我們表達的提取方法的優(yōu)點,這可能有助于我們理解結(jié)果。教育工作者沒有可能出現(xiàn)在復雜圖像中的進一步預處理錯誤。4.除此之外,我們還會顯示錯誤評估,以澄清該工具中不良問題的主要材料。向?qū)W習者展示外在評估本申請人協(xié)助教育者編寫閱讀材料的內(nèi)容。該研究還對問題提出結(jié)果進行了結(jié)論預期,研究了通過該工具提出的錯誤類別,并研究了學習者如何應用我們生成的問答系統(tǒng)的因素。我們的目的是生成一個視覺問題回答(問題開發(fā))的工具,它可以為輸入帶有一些檢測到的對象的圖形(例如,教育工作者可以選擇從教科書中增加組件的卡通圖片),并作為關(guān)于問題關(guān)系數(shù)量的產(chǎn)生依據(jù)。為了生成過程或查詢部分以評估學習者是否能夠理解數(shù)字及其算術(shù)關(guān)系,學習者可以選擇并回顧這些關(guān)于其主題的問題。關(guān)于圖形內(nèi)容的問題生成應該集中在一起,它不是表達數(shù)字關(guān)系信息而不是假設的單詞上下文。雖然明顯對象的問題生成計數(shù)圖片也很有趣,并且具有教育意義,同事如何將問題轉(zhuǎn)移到視頻,讓機器人實現(xiàn)自動教學,我們將這些問題留給未來的工作。
【學位授予單位】：華中師范大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：G613.4

【相似文獻】

相關(guān)期刊論文 前5條

1 蘇林忠;;兩種學習算法在算術(shù)關(guān)系抽取中的應用比較[J];電腦知識與技術(shù);2010年19期

2 ;“算術(shù)中的比”的思想價值和方法論意義(續(xù))[J];中小學數(shù)學(小學版);2012年11期

3 中然;話說歐元[J];黑龍江金融;1999年02期

4 ;發(fā)現(xiàn)小行星[J];科學大眾(中學版);2007年01期

5 常珂軍,苗明;Auto CAD編程參數(shù)化中的參數(shù)組織[J];起重運輸機械;2001年02期

相關(guān)碩士學位論文 前1條

1 孟皓;基于視覺問答的學前兒童數(shù)學學習教育方法[D];華中師范大學;2019年

本文編號：2718109