隨著大數(shù)據(jù)、深度學(xué)習(xí)的快速發(fā)展,作為語言的兩個(gè)基本屬性,語音和文本的研究有了突破性進(jìn)展。語言是教學(xué)場景中最主要的信息交流方式,因此文本和語音的研究對于教育+AI有著重要的意義。作為文本和語音研究中的一項(xiàng)基石工作,語言模型（Language Model,LM）主要應(yīng)用于語音識別、拍照搜題、機(jī)器翻譯、智能語音對話等教育+AI領(lǐng)域。目前,語言模型在訓(xùn)練語料相對充足的智能客服等垂直領(lǐng)域已經(jīng)取得了比較理想的效果。然而,對于語言模型在教學(xué)場景中的研究和應(yīng)用學(xué)術(shù)界著墨不多,主要有兩個(gè)原因,一是數(shù)據(jù)壁壘,高質(zhì)量的面向教學(xué)場景的語料積累太少;二是教學(xué)場景的數(shù)據(jù)有其自身的特點(diǎn):首先教學(xué)場景的語言具有獨(dú)特的話術(shù)性,如老師講課常用的話術(shù)、中英文數(shù)字結(jié)合等;第二,教學(xué)場景的語言具有知識點(diǎn)名詞專業(yè)性,如數(shù)學(xué)、物理、化學(xué)等學(xué)科的專有名詞;第三,教學(xué)場景中老師、學(xué)生的語言通常具有口語化的特點(diǎn);第四,教學(xué)場景具有領(lǐng)域綜合性,老師講課會(huì)涉及到其他領(lǐng)域的知識,其目的是把知識點(diǎn)更好地傳達(dá)給學(xué)生。因此,專門針對教學(xué)場景訓(xùn)練一個(gè)高性能的語言模型勢在必行。本論文主要針對教學(xué)場景的數(shù)據(jù)設(shè)計(jì)并實(shí)現(xiàn)了基于深度學(xué)習(xí)的教學(xué)場景語言模型,并完... 

【文章來源】：蘭州大學(xué)甘肅省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：65 頁

【學(xué)位級別】：碩士

【部分圖文】：

語言模型在教學(xué)場景中主要應(yīng)用示意圖

于基礎(chǔ)和核心的研究地位。但是面向教學(xué)場景的語言模型由于教學(xué)場景數(shù)據(jù)的缺、教學(xué)場景話術(shù)的獨(dú)特性、教學(xué)場景知識點(diǎn)的名詞專業(yè)性、教學(xué)場景語言口化和教學(xué)場景領(lǐng)域綜合性等原因，業(yè)界暫未出現(xiàn)一個(gè)高性能的語言模型。所以門針對教學(xué)場景進(jìn)行語言模型研究具有重要的意義。.2 語言模型及研究現(xiàn)狀語言模型其主旨是描述自然語言內(nèi)在固有規(guī)律的數(shù)學(xué)模型，應(yīng)用在各個(gè)需要句子序列進(jìn)行概率評估的任務(wù)中，是文本處理和語音信號處理的重點(diǎn)和基石。言模型的功能就是用來計(jì)算不同詞語組成一個(gè)句子的概率，利用語言模型可以斷哪個(gè)單詞序列出現(xiàn)的可能性更大、更加符合人說話的可能性。此外，語言模也可以通過給定若干個(gè)單詞序列，預(yù)測下一個(gè)最可能出現(xiàn)的單詞。聲學(xué)模型、言模型和解碼器構(gòu)成了一個(gè)完整的語音識別引擎，語言模型就是對解碼器解碼的眾多可能結(jié)果進(jìn)行概率評估，概率最大的那個(gè)單詞序列即為識別出的文本。言模型功能圖如圖 1-2 所示。

語言模型發(fā)展歷程圖


本文編號：3553472