本文關(guān)鍵詞：利用fMRI研究人類決策中估計(jì)誤差的表征和學(xué)習(xí)的神經(jīng)機(jī)制，由筆耕文化傳播整理發(fā)布。

【摘要】：決策過(guò)程中,選項(xiàng)的實(shí)際獎(jiǎng)賞/風(fēng)險(xiǎn)與預(yù)期獎(jiǎng)賞/風(fēng)險(xiǎn)之間的差別,稱之為獎(jiǎng)賞/風(fēng)險(xiǎn)估計(jì)誤差。強(qiáng)化學(xué)習(xí)的計(jì)算模型認(rèn)為,估計(jì)誤差的學(xué)習(xí)在強(qiáng)化學(xué)習(xí)過(guò)程中起到了關(guān)鍵作用。神經(jīng)生物學(xué)的研究表明,估計(jì)誤差的學(xué)習(xí)的神經(jīng)基礎(chǔ)可能存在于中腦多巴胺能神經(jīng)元及其投射的紋狀體和前額葉等。 然而,強(qiáng)化學(xué)習(xí)的估計(jì)誤差處理過(guò)程中,這些腦區(qū)的作用區(qū)分、以及是否都參與了估計(jì)誤差的學(xué)習(xí),并不清楚。我們提出這個(gè)問(wèn)題主要從以下三個(gè)角度考慮： 首先,不同的決策任務(wù)中,估計(jì)誤差的作用不同。有的任務(wù)中,各選項(xiàng)的輸/贏概率是明確的。此時(shí),各選項(xiàng)的期望獎(jiǎng)賞/風(fēng)險(xiǎn)可以直接估算出來(lái)。只因?yàn)槭歉怕适录?所以即便可以計(jì)算出期望獎(jiǎng)賞/風(fēng)險(xiǎn),實(shí)際結(jié)果也可能和期望值之間存在差別,即獎(jiǎng)賞/風(fēng)險(xiǎn)估計(jì)誤差。但這種情況下,估計(jì)誤差不代表期望獎(jiǎng)賞/風(fēng)險(xiǎn)改變了,即不被學(xué)習(xí),也不影響之后的預(yù)期；相反,有的任務(wù)中,各選項(xiàng)的概率是未知的。此時(shí),個(gè)體預(yù)估各選項(xiàng)的獎(jiǎng)賞/風(fēng)險(xiǎn)時(shí),之前的估計(jì)誤差是重要的學(xué)習(xí)內(nèi)容,可以幫助修正對(duì)輸/贏概率的認(rèn)知和各選項(xiàng)的預(yù)期。由此可見(jiàn),估計(jì)誤差的在不同的任務(wù)中,作用不同。為了表述的方便,這里,我們把與學(xué)習(xí)或者修正無(wú)關(guān)的認(rèn)知加工過(guò)程稱為估計(jì)誤差的表征,而用來(lái)學(xué)習(xí)和修正的認(rèn)知加工過(guò)程稱為估計(jì)誤差的學(xué)習(xí)。 其次,估計(jì)誤差的不同作用的神經(jīng)機(jī)制仍然不清楚。例如,Schonberg采用了一個(gè)概率未知的決策任務(wù),發(fā)現(xiàn),最終掌握概率的學(xué)會(huì)組,在產(chǎn)生獎(jiǎng)賞估計(jì)誤差時(shí)紋狀體激活；相反,未學(xué)會(huì)組的紋狀體則沒(méi)有激活。但是,在這個(gè)任務(wù)中,估計(jì)誤差可能有表征和學(xué)習(xí)兩個(gè)加工過(guò)程。未學(xué)會(huì)組的障礙可能是在表征,也可能是在學(xué)習(xí),所以紋狀體到底是參與了獎(jiǎng)賞估計(jì)誤差的表征還是學(xué)習(xí)仍然不清楚。此外,前人的神經(jīng)成像研究,也提示了強(qiáng)化學(xué)習(xí)中,估計(jì)誤差的處理存在不同的神經(jīng)基礎(chǔ)。在概率己知的決策任務(wù)中,風(fēng)險(xiǎn)估計(jì)誤差會(huì)引起腦島的激活。而在概率未知的決策任務(wù)中,風(fēng)險(xiǎn)估計(jì)誤差不僅與腦島有關(guān),還與前扣帶回、額葉等有關(guān)。這些結(jié)果提示,這兩種不同的決策任務(wù)中的估計(jì)誤差,可能有一部分共有的神經(jīng)基礎(chǔ)(如腦島),這些腦區(qū)的神經(jīng)活動(dòng)可能參與了估計(jì)誤差的表征；而概率未知的決策任務(wù)中,估計(jì)誤差可能涉及到了額外的腦區(qū)(如前扣帶回、額葉),這些腦區(qū)可能參與了修正估計(jì),即參與了估計(jì)誤差的學(xué)習(xí)。 最后,關(guān)于多巴胺的功能,目前主要的兩個(gè)理論是獎(jiǎng)賞估計(jì)誤差假設(shè)和動(dòng)機(jī)顯著假說(shuō)。前者認(rèn)為多巴胺的主要功能是學(xué)習(xí),尤其是對(duì)估計(jì)誤差的學(xué)習(xí)；而后者卻認(rèn)為,獎(jiǎng)賞估計(jì)誤差假設(shè)存在混淆因素,即動(dòng)機(jī)問(wèn)題,并且認(rèn)為多巴胺的功能不是參與估計(jì)誤差的學(xué)習(xí)。所以,我們區(qū)分估計(jì)誤差相關(guān)的腦區(qū)中的各自功能及與估計(jì)誤差學(xué)習(xí)有關(guān)的腦區(qū),有利于我們了解多巴胺系統(tǒng)的功能。 綜上,估計(jì)誤差的表征與學(xué)習(xí)的神經(jīng)機(jī)制是一個(gè)有意義,但尚未解決的問(wèn)題。為此,本研究采用兩個(gè)對(duì)比任務(wù),概率未知的愛(ài)荷華博弈任務(wù)(IGT)和概率已知的風(fēng)險(xiǎn)決策任務(wù)(RDT)。這兩個(gè)任務(wù)中,被試都需要對(duì)多個(gè)選項(xiàng)做出判斷,通過(guò)選擇有利的選項(xiàng)以獲得獎(jiǎng)賞。這兩個(gè)任務(wù)不同的是,在RDT中,由于獎(jiǎng)賞/風(fēng)險(xiǎn)的大小和概率都是已知的,個(gè)體在每次選擇時(shí)無(wú)需對(duì)估計(jì)誤差進(jìn)行學(xué)習(xí),就能夠直接做出判斷；然而在IGT中,對(duì)獎(jiǎng)賞/風(fēng)險(xiǎn)的概率和較優(yōu)選項(xiàng)的習(xí)得需要通過(guò)學(xué)習(xí)估計(jì)誤差來(lái)實(shí)現(xiàn)。兩個(gè)任務(wù)的核心差別在于是否需要學(xué)習(xí)估計(jì)誤差。所以,IGT和RDT中的共同腦區(qū),提示著可能與估計(jì)誤差表征相關(guān)；而IGT中特有的腦區(qū),可能與估計(jì)誤差的學(xué)習(xí)相關(guān)。 在本項(xiàng)fMRI研究中,有41名受試者完成了IGT任務(wù),另40名受試者完成RDT任務(wù)。通過(guò)比較IGT和RDT中估計(jì)誤差相關(guān)腦區(qū)的異同,我們發(fā)現(xiàn)：(1)在IGT和RDT中共同激活的腦區(qū),包括雙側(cè)尾核、前腦島和右側(cè)顳上回；只在IGT中激活的腦區(qū),包括喙側(cè)前扣帶回、后扣帶回和左側(cè)顳中回；(2)在兩種任務(wù)中共同激活的腦區(qū)中,獎(jiǎng)賞估計(jì)誤差相關(guān)腦區(qū)為雙側(cè)尾核,風(fēng)險(xiǎn)估計(jì)誤差相關(guān)腦區(qū)為前腦島,背側(cè)扣帶回和右側(cè)顳上回,沒(méi)有發(fā)現(xiàn)與兩種估計(jì)誤差都相關(guān)的腦區(qū)；而IGT獨(dú)有的腦區(qū)中,兩種估計(jì)誤差都和喙側(cè)前扣帶回、后扣帶回和左側(cè)顳中回相關(guān),卻沒(méi)有發(fā)現(xiàn)只與某種估計(jì)誤差相關(guān)的腦區(qū)。這些結(jié)果提示,共同腦區(qū)中的尾核參與了獎(jiǎng)賞估計(jì)誤差的表征,前腦島、背側(cè)扣帶回和右側(cè)顳上回參與風(fēng)險(xiǎn)估計(jì)誤差的表征；而IGT獨(dú)有腦區(qū),即喙側(cè)前扣帶回、后扣帶回和左側(cè)顳中回,參與了兩種估計(jì)誤差的學(xué)習(xí)。特別地,兩種估計(jì)誤差的表征可能具有獨(dú)立的神經(jīng)基礎(chǔ),而兩種估計(jì)誤差的學(xué)習(xí)則具有共同的神經(jīng)基礎(chǔ)。 然而,IGT中獨(dú)有的腦區(qū),其功能可能存在其他的解釋(而不是估計(jì)誤差的學(xué)習(xí)),例如任務(wù)難度的增加導(dǎo)致的更多表征腦區(qū)。為了更直接地驗(yàn)證,IGT和RDT共同的腦區(qū)與IGT獨(dú)有腦區(qū)的功能不同,我們做了進(jìn)一步補(bǔ)充分析。因?yàn)楣烙?jì)誤差學(xué)習(xí)相關(guān)的腦區(qū),其活動(dòng)水平應(yīng)該與學(xué)習(xí)進(jìn)程相關(guān),所以我們分析了這兩種腦區(qū)的活動(dòng)與“不確定性”的關(guān)系;此外,估計(jì)誤差學(xué)習(xí)相關(guān)的腦區(qū)如果參與了估計(jì)的修正,那么可能與獎(jiǎng)賞/風(fēng)險(xiǎn)估計(jì)有關(guān)腦區(qū)的存在功能連接,因此我們用生理心理交互作用的方法加以驗(yàn)證。 結(jié)果發(fā)現(xiàn)：(1)IGT獨(dú)有腦區(qū)(喙側(cè)前扣帶回、后扣帶回和左側(cè)顳中回)中,喙側(cè)前扣帶回對(duì)獎(jiǎng)賞估計(jì)誤差的響應(yīng)水平隨著不確定水平的降低而明顯增加(p0.05),而兩種任務(wù)共同的腦區(qū)對(duì)獎(jiǎng)賞/風(fēng)險(xiǎn)估計(jì)誤差的響應(yīng)水平則與不確定性無(wú)明顯關(guān)系；(2)在產(chǎn)生獎(jiǎng)賞估計(jì)誤差時(shí),喙側(cè)前扣帶回、后扣帶回與獎(jiǎng)賞估計(jì)的相關(guān)腦區(qū)存在功能連接,而其他腦區(qū)與獎(jiǎng)賞估計(jì)的相關(guān)腦區(qū)不存在顯著功能連接。 最后,由于fMRI的數(shù)據(jù)本質(zhì)上反映的是相關(guān)關(guān)系,所以我們運(yùn)用多通道經(jīng)顱直流電刺激(High-definition transcranial direct current stimulation, HD-tDCS),以微弱的電流暫時(shí)性抑制IGT獨(dú)有的腦區(qū)(喙側(cè)前扣帶回,后扣帶回)。結(jié)果發(fā)現(xiàn),抑制這些腦區(qū),降低了個(gè)體在IGT中的行為成績(jī),但不影響RDT的成績(jī)。這一結(jié)果進(jìn)一步提示了,IGT獨(dú)有的腦區(qū)對(duì)估計(jì)誤差的學(xué)習(xí)和決策優(yōu)化是必要的。 總之,我們通過(guò)對(duì)比IGT和RDT中估計(jì)誤差的相關(guān)腦區(qū),獲得了IGT和RDT中共有的腦區(qū)和IGT中獨(dú)有的腦區(qū),并發(fā)現(xiàn),共有的腦區(qū)中,獎(jiǎng)賞估計(jì)誤差和風(fēng)險(xiǎn)估計(jì)誤差有獨(dú)立的神經(jīng)基礎(chǔ),而在IGT獨(dú)有的腦區(qū)中,獎(jiǎng)賞估計(jì)誤差和風(fēng)險(xiǎn)估計(jì)誤差有共同的神經(jīng)基礎(chǔ)。此外,我們還進(jìn)一步驗(yàn)證了,IGT和RDT共有的腦區(qū)和IGT獨(dú)有的腦區(qū)的不同功能。最后用HD-tDCS方法驗(yàn)證IGT獨(dú)有腦區(qū)對(duì)估計(jì)誤差的學(xué)習(xí)和決策優(yōu)化的必要性。我們的結(jié)果可能提供了強(qiáng)化學(xué)習(xí)過(guò)程中估計(jì)誤差的表征和學(xué)習(xí)的神經(jīng)機(jī)制。
【關(guān)鍵詞】：決策 估計(jì)誤差 表征 學(xué)習(xí) 不確定性 fMRI HD-tDCS
【學(xué)位授予單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：R338
【目錄】：

• 摘要8-11
• ABSTRACT11-15
• 第一章 緒論15-41
• 1.1 選題背景和意義15-33
• 1.1.1 決策是人類重要的高級(jí)認(rèn)知功能15-18
• 1.1.2 決策優(yōu)化理論與估計(jì)誤差學(xué)習(xí)18-23
• 1.1.3 估計(jì)誤差的神經(jīng)基礎(chǔ)23-32
• 1.1.4 估計(jì)誤差處理機(jī)制仍未解決的問(wèn)題32-33
• 1.2 研究?jī)?nèi)容與預(yù)期結(jié)果33-34
• 1.3 研究的技術(shù)方法和分析方法34-41
• 1.3.1 功能磁共振成像的原理和技術(shù)發(fā)展34-35
• 1.3.2 功能磁共振數(shù)據(jù)分析原理和基本分析方法35
• 1.3.3 全腦模式分析35-36
• 1.3.4 大腦功能連接分析36-38
• 1.3.5 多通道經(jīng)顱直流電刺激的原理和應(yīng)用38-41
• 第二章 估計(jì)誤差表征和學(xué)習(xí)的神經(jīng)機(jī)制41-65
• 2.1 研究目的41
• 2.2 研究方法41-56
• 2.2.1 實(shí)驗(yàn)流程安排41-42
• 2.2.2 實(shí)驗(yàn)被試信息42
• 2.2.3 實(shí)驗(yàn)決策任務(wù)42-45
• 2.2.4 功能磁共振數(shù)據(jù)采集45-46
• 2.2.5 行為學(xué)模型分析46-52
• 2.2.6 行為學(xué)數(shù)據(jù)分析52
• 2.2.7 磁共振數(shù)據(jù)的預(yù)處理52-53
• 2.2.8 多重線性回歸53
• 2.2.9 全腦模式分析53-56
• 2.3 研究結(jié)果56-64
• 2.3.1 行為學(xué)分析結(jié)果56-58
• 2.3.2 估計(jì)誤差的表征和學(xué)習(xí)58-62
• 2.3.3 leave-5-out重復(fù)檢測(cè)結(jié)果62-64
• 2.4 小結(jié)64-65
• 第三章 估計(jì)誤差表征和學(xué)習(xí)的補(bǔ)充驗(yàn)證65-71
• 3.1 研究目的65
• 3.2 補(bǔ)充分析一方法65-66
• 3.3 補(bǔ)充分析一結(jié)果66-68
• 3.4 補(bǔ)充分析二方法68
• 3.5 補(bǔ)充分析二結(jié)果68-69
• 3.6 小結(jié)69-71
• 第四章 估計(jì)誤差學(xué)習(xí)相關(guān)腦區(qū)必要性分析71-75
• 4.1 研究目的71
• 4.2 研究方法71-73
• 4.3 研究結(jié)果73
• 4.4 小結(jié)73-75
• 第五章 討論75-81
• 5.1 估計(jì)誤差的表征和學(xué)習(xí)75-76
• 5.2 估計(jì)誤差表征和學(xué)習(xí)相關(guān)腦區(qū)的功能特征分析76-77
• 5.3 估計(jì)誤差的學(xué)習(xí)是“意外”驅(qū)動(dòng)的77-78
• 5.4 多巴胺能神經(jīng)元投射腦區(qū)的功能78
• 5.5 其他討論和總結(jié)78-81
• 第六章 展望81-83
• 6.1 強(qiáng)化學(xué)習(xí)模型中估計(jì)誤差學(xué)習(xí)速率是個(gè)變量81
• 6.2 tDCS對(duì)r-ACC的抑制作用81-82
• 6.3 成癮等導(dǎo)致決策學(xué)習(xí)能力下降的機(jī)制的研究82
• 6.4 從組織生化水平上對(duì)學(xué)習(xí)能力下降的機(jī)制的研究82-83
• 參考文獻(xiàn)83-89
• 附錄1 fMRI基本信息調(diào)查問(wèn)卷89-91
• 附錄2 fMRI實(shí)驗(yàn)操作步驟91-93
• 附錄3 愛(ài)荷華博弈任務(wù)指導(dǎo)語(yǔ)93-95
• 附錄4 風(fēng)險(xiǎn)決策任務(wù)指導(dǎo)語(yǔ)95-97
• 致謝97-101
• 作者簡(jiǎn)歷及在讀期間所取得的主要科研成果101-102

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 尹建忠;王建利;楊慶憲;祁吉;;阿爾茨海默病的嗅覺(jué)功能減退與功能磁共振成像[J];國(guó)際醫(yī)學(xué)放射學(xué)雜志;2008年02期

2 汪蕾;陸強(qiáng);沈翔宇;;情緒喚醒度如何影響不確定性決策——基于決策偏好的視角[J];管理工程學(xué)報(bào);2013年04期

3 王朋朋;張勁松;;兒童與青少年攻擊行為的神經(jīng)病理機(jī)制及功能性磁共振成像研究進(jìn)展[J];教育生物學(xué)雜志;2014年02期

4 古訓(xùn)瑚;霍英松;肖新蘭;;心境障礙的神經(jīng)通路研究進(jìn)展[J];功能與分子醫(yī)學(xué)影像學(xué)(電子版);2014年04期

5 陳瑩;盧眺眺;朱翔貞;陳春鳳;高靜芳;;憤怒和恐懼情緒對(duì)抑郁癥患者風(fēng)險(xiǎn)決策的影響[J];浙江中醫(yī)藥大學(xué)學(xué)報(bào);2015年04期

6 白玲;景斌;葉德榮;;大腦靜息態(tài)fMRI信號(hào)復(fù)雜度的年齡效應(yīng)研究[J];北京生物醫(yī)學(xué)工程;2015年01期

7 于凱;邢強(qiáng);;感覺(jué)尋求對(duì)風(fēng)險(xiǎn)決策影響的認(rèn)知神經(jīng)機(jī)制[J];廣州大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2015年04期

8 石勇;劉宇紅;;情感隱喻的心理層面與文明觸發(fā)[J];重慶社會(huì)科學(xué);2015年06期

9 賈欣欣;;格蘭杰因果關(guān)系在神經(jīng)科學(xué)領(lǐng)域的發(fā)展及缺陷[J];電子科技;2015年08期

10 趙健儀;尹建忠;紀(jì)東旭;趙博峰;;嗅覺(jué)腦功能MRI對(duì)阿爾茨海默病的早期診斷[J];中國(guó)醫(yī)學(xué)影像學(xué)雜志;2013年05期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 崔茜;欺騙的神經(jīng)機(jī)制和測(cè)謊新指標(biāo)初探[D];西南大學(xué);2013年

2 楊麗琴;重度抑郁癥患者靜息態(tài)腦功能網(wǎng)絡(luò)分析及大鼠腦磁共振解剖圖像模板的制作[D];中國(guó)科學(xué)院研究生院（武漢物理與數(shù)學(xué)研究所）;2013年

3 方繼良;電針耳迷走神經(jīng)治療抑郁癥臨床觀察及其機(jī)理的fMRI腦功能成像研究[D];中國(guó)中醫(yī)科學(xué)院;2013年

4 張瑩;NHBA和B2鎮(zhèn)靜催眠作用及其機(jī)制研究[D];北京協(xié)和醫(yī)學(xué)院;2010年

5 泰文嬌;番荔枝酰胺衍生物FLZ的神經(jīng)保護(hù)作用機(jī)制研究[D];北京協(xié)和醫(yī)學(xué)院;2013年

6 馬國(guó)林;早期生長(zhǎng)反應(yīng)因子3基因轉(zhuǎn)染精神分裂大鼠的多模態(tài)功能磁共振成像研究[D];北京協(xié)和醫(yī)學(xué)院;2013年

7 肖鑫;期待調(diào)節(jié)自上而下和自下而上加工的神經(jīng)活動(dòng)模式[D];首都師范大學(xué);2013年

8 胡少華;男性同性戀大腦結(jié)構(gòu)和靜息態(tài)腦功能的磁共振研究[D];浙江大學(xué);2013年

9 高峰;面向過(guò)程的動(dòng)態(tài)決策方法與應(yīng)用研究[D];華中科技大學(xué);2013年

10 黃小忠;外包背景下團(tuán)隊(duì)問(wèn)責(zé)的認(rèn)知行為與神經(jīng)機(jī)制研究[D];浙江大學(xué);2012年

  本文關(guān)鍵詞：利用fMRI研究人類決策中估計(jì)誤差的表征和學(xué)習(xí)的神經(jīng)機(jī)制，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：340635