本文關(guān)鍵詞：評(píng)價(jià)中心的結(jié)構(gòu)效度研究，由筆耕文化傳播整理發(fā)布。

評(píng)價(jià)中心的結(jié)構(gòu)效度研究 首席醫(yī)學(xué)網(wǎng)      2007年08月13日 15:47:20 Monday  

作者：王忠軍 龍立榮    作者單位：華中師范大學(xué)心理學(xué)院，武漢 430079

【摘要】  評(píng)價(jià)中心雖然具備很高的預(yù)測(cè)效度，但其結(jié)構(gòu)效度指標(biāo)卻不太理想，如研究普遍發(fā)現(xiàn)其匯聚效度和區(qū)分效度較低。影響評(píng)價(jià)中心結(jié)構(gòu)效度的因素眾多，如評(píng)分維度因素（數(shù)量和類型）、評(píng)價(jià)者因素（培訓(xùn)方式和人員類型）、測(cè)評(píng)方法因素（情景導(dǎo)向特征、特質(zhì)激活潛力、測(cè)評(píng)活動(dòng)形式）以及系統(tǒng)的觀察與評(píng)價(jià)程序。該文從上述因素出發(fā)，綜述了評(píng)價(jià)中心結(jié)構(gòu)效度的相關(guān)研究，總結(jié)了提高評(píng)價(jià)中心結(jié)構(gòu)效度的措施，并指出了未來(lái)的研究方向。

【關(guān)鍵詞】  評(píng)價(jià)中心，結(jié)構(gòu)效度，匯聚效度，區(qū)分效度。

　　The Construct Validity of Assessment Center
 
　　Wang Zhongjun  Long Lirong

　　(1School of Psychology, Central China Normal University, Wuhan 430079, China)

　　(2School of Management, Huazhong University of Science and Technology, Wuhan 430074, China)
 
　　Abstract: Despite evidence of high predictive validity, research has shown less support for the construct validity of assessment center rating. Low convergent validity and low discriminant validity were consistently found in most studies. Many factors influence construct validity of assessment center, eg. rating dimension factor(number and types), assessor factor(types of assessor and training), assessment method factor(situational specificity, trait-activation potential, assessment exercises), systematic observation and evaluation procedures. This article review related researches about all those factors mentioned above, and summarize recommendations to increase construct validity of assessment center. New perspectives for future research are described.

　　Key words: assessment center, construct validity, convergent validity, discriminant validity.

　　評(píng)價(jià)中心技術(shù)（assessment center）是一種興起于西方的綜合性人事測(cè)評(píng)方法，自1952年美國(guó)電話電報(bào)公司（AT&T）首次使用該技術(shù)以來(lái)，評(píng)價(jià)中心便在各國(guó)的企業(yè)組織中迅速傳播，被廣泛應(yīng)用于管理人員尤其是中高層管理者的評(píng)價(jià)、選拔、培訓(xùn)及發(fā)展領(lǐng)域。

　　作為一種人事測(cè)評(píng)方法，評(píng)價(jià)中心的效度是研究者和實(shí)際工作者都極為關(guān)注的一個(gè)問(wèn)題。然而，在過(guò)去的20多年中，研究者遇到了一個(gè)明顯的困境：評(píng)價(jià)中心雖然具備較好的效標(biāo)關(guān)聯(lián)效度，預(yù)測(cè)準(zhǔn)確性很高[1]，但其結(jié)構(gòu)效度(construct validity)指標(biāo)卻不太理想[2,3]。因此，對(duì)于評(píng)價(jià)中心有效性的原因之爭(zhēng)論一直不斷，且至今尚無(wú)明確的結(jié)論。對(duì)評(píng)價(jià)中心結(jié)構(gòu)效度問(wèn)題進(jìn)行深入探討，既在理論上能有效澄清懸疑，又能為實(shí)際工作者提供具體指導(dǎo)和建議，有效降低評(píng)價(jià)中心在設(shè)計(jì)、實(shí)施及控制上的誤差和變異，提高測(cè)評(píng)質(zhì)量，更好地為人力資源管理工作服務(wù)。 

　　1 評(píng)價(jià)中心結(jié)構(gòu)效度的概念、指標(biāo)和研究方法

　　在測(cè)量學(xué)上，效度指的是一個(gè)測(cè)驗(yàn)對(duì)其所要測(cè)量的理論結(jié)構(gòu)或特質(zhì)測(cè)量到什么程度的估計(jì)，對(duì)效度的檢驗(yàn)包含了對(duì)測(cè)量工具的理論構(gòu)想進(jìn)行驗(yàn)證和利用實(shí)證證據(jù)驗(yàn)證測(cè)量工具的效度兩個(gè)過(guò)程，也就是對(duì)結(jié)構(gòu)效度和效標(biāo)關(guān)聯(lián)效度或?qū)嵶C效度的評(píng)價(jià)過(guò)程。

　　結(jié)構(gòu)效度指的是測(cè)驗(yàn)?zāi)苷f(shuō)明理論所構(gòu)想的結(jié)構(gòu)或特質(zhì)的程度，或者用某種結(jié)構(gòu)或特質(zhì)來(lái)解釋測(cè)驗(yàn)分?jǐn)?shù)的恰當(dāng)程度，其著重點(diǎn)是測(cè)驗(yàn)本身、測(cè)驗(yàn)賴以編制起來(lái)的心理結(jié)構(gòu)理論和測(cè)驗(yàn)測(cè)量到某理論結(jié)構(gòu)或特質(zhì)的能力；而效標(biāo)關(guān)聯(lián)效度可用來(lái)了解測(cè)驗(yàn)分?jǐn)?shù)能否有效地預(yù)測(cè)或估計(jì)某種行為表現(xiàn)，是關(guān)于測(cè)驗(yàn)結(jié)果的一些實(shí)際用途的檢驗(yàn)，它著重于測(cè)驗(yàn)分?jǐn)?shù)是否與效標(biāo)測(cè)量有高度的相關(guān)，也就是說(shuō)，它注重的不是預(yù)測(cè)變量，而是效標(biāo)的測(cè)量。對(duì)效標(biāo)關(guān)聯(lián)效度的研究并不能脫離作為測(cè)驗(yàn)編制基礎(chǔ)的心理結(jié)構(gòu)理論，而恰當(dāng)效標(biāo)的確定也是心理結(jié)構(gòu)理論的問(wèn)題[4]。

　　任何一個(gè)測(cè)驗(yàn)都需要各式各樣的效度證據(jù)，但效度又是由一定的測(cè)驗(yàn)?zāi)康囊?guī)定的，不同的測(cè)驗(yàn)偏重于不同種類的測(cè)驗(yàn)效度。作為一種人事測(cè)評(píng)方法，評(píng)價(jià)中心追求實(shí)證效度和預(yù)測(cè)效度，其意義是顯而易見(jiàn)的，但結(jié)構(gòu)效度也不可忽視，且與前者關(guān)系密切。評(píng)價(jià)中心若僅有實(shí)證效度，而結(jié)構(gòu)效度很差，那么其測(cè)量的有效性也值得懷疑[5]。
 
　　結(jié)構(gòu)效度沒(méi)有單一的效度指標(biāo)，要采取多種方法，從多方面搜集資料，才能逐步驗(yàn)證測(cè)驗(yàn)的結(jié)構(gòu)效度。對(duì)評(píng)價(jià)中心結(jié)構(gòu)效度的研究一般表現(xiàn)為三個(gè)層面：（1）匯聚效度(convergent validity)，指的是同一評(píng)價(jià)維度的評(píng)分在不同的測(cè)評(píng)方法之間的相關(guān)性，例如無(wú)領(lǐng)導(dǎo)小組討論、公文筐、演講等不同的測(cè)評(píng)方法都包含了對(duì)“工作組織性”這一維度的評(píng)價(jià)，該相關(guān)系數(shù)越高，，說(shuō)明匯聚效度越好；（2）區(qū)分效度（discriminant validity），指的是同一測(cè)評(píng)方法內(nèi)不同測(cè)評(píng)維度之間的評(píng)分的區(qū)分性，也用相關(guān)系數(shù)表示，例如無(wú)領(lǐng)導(dǎo)小組討論一般包含對(duì)敏感性、工作組織性、問(wèn)題解決能力、領(lǐng)導(dǎo)能力等不同維度的評(píng)價(jià)，該相關(guān)越低，說(shuō)明區(qū)分效度越好；（3）總體評(píng)價(jià)（overall assessment ratings, OARs），它反映的是對(duì)被評(píng)價(jià)人員的績(jī)效的全面性評(píng)價(jià)，因此除了包含前兩個(gè)層面的水平外，總體評(píng)價(jià)還反映了其它來(lái)源的信息，例如同伴評(píng)價(jià)、人格測(cè)量、能力測(cè)驗(yàn)分等。但總的看來(lái)，目前對(duì)評(píng)價(jià)中心結(jié)構(gòu)效度的研究多集中于前兩個(gè)層面，即：匯聚效度和區(qū)分效度，通過(guò)這兩種指標(biāo)能大體上反映評(píng)價(jià)中心結(jié)構(gòu)效度的優(yōu)劣。

　　對(duì)評(píng)價(jià)中心結(jié)構(gòu)效度的研究一般采用多質(zhì)多法（multitrait-multimethod, MTMM）和驗(yàn)證性因素分析方法（confirmatory factor analysis, CFA），研究的結(jié)果較為一致：同一測(cè)評(píng)維度在不同測(cè)評(píng)方法之間的評(píng)分相關(guān)程度較低（低匯聚效度）；而同一測(cè)評(píng)方法中不同測(cè)評(píng)維度的評(píng)分的相關(guān)程度則較高（低區(qū)分效度）[6]。例如，Sackett和Tuzinski（2001）[3]研究發(fā)現(xiàn)，在典型的評(píng)價(jià)中心中，同一維度在不同測(cè)評(píng)方法間評(píng)分的平均相關(guān)為0.25，而相同測(cè)評(píng)方法中不同維度評(píng)分的平均相關(guān)卻為0.58。因此有研究者指出，結(jié)構(gòu)效度問(wèn)題是評(píng)價(jià)中心研究領(lǐng)域中最大的懸而未決的問(wèn)題[5]。

　　影響評(píng)價(jià)中心結(jié)構(gòu)效度的因素眾多，相關(guān)的研究也存在不同的視角和側(cè)面，但從評(píng)價(jià)中心的基本成分來(lái)看，大致表現(xiàn)為評(píng)分維度、評(píng)價(jià)者因素、測(cè)評(píng)方法、系統(tǒng)的觀察與評(píng)價(jià)程序這幾個(gè)方面。

　　2 評(píng)分維度與評(píng)價(jià)人員因素

　　2.1 評(píng)分維度

　　從人事測(cè)評(píng)的角度而言，人們一般希望能從不同的方面對(duì)被評(píng)價(jià)人員進(jìn)行較為全面的評(píng)價(jià)，但人的信息加工能力是有限的，評(píng)分維度如果過(guò)多，就會(huì)加重評(píng)價(jià)人員的信息加工負(fù)擔(dān)，容易造成評(píng)分誤差，影響評(píng)分效果，因此評(píng)價(jià)中心應(yīng)該限制評(píng)分維度的數(shù)目，維度不宜過(guò)多。Gaugler和Thornton (1989)研究[7]發(fā)現(xiàn)，評(píng)價(jià)人員能在3個(gè)評(píng)分維度上取得較好的匯聚效度和較高的評(píng)分準(zhǔn)確度，而當(dāng)維度增加到6個(gè)或9個(gè)時(shí)，評(píng)分效果就明顯下降，但維度的數(shù)目對(duì)區(qū)分效度的影響不大。此外，對(duì)維度的概念界定也會(huì)對(duì)評(píng)價(jià)中心的結(jié)構(gòu)效度產(chǎn)生影響，比如當(dāng)不同的評(píng)分維度間的概念區(qū)分性較強(qiáng)時(shí)，會(huì)取得較高的區(qū)分效度，而當(dāng)維度間的概念區(qū)分性較弱時(shí)，則區(qū)分效度較差[6]。

　　另外的問(wèn)題是：選擇什么類型的維度是合適的？在實(shí)踐中，各組織普遍采用的維度較為相似，例如敏感性、主動(dòng)性、人際關(guān)系、問(wèn)題解決、溝通能力、領(lǐng)導(dǎo)能力、計(jì)劃與組織等，這套維度結(jié)構(gòu)沿用較久、應(yīng)用較廣。Joyce等（1994）曾將這種傳統(tǒng)的評(píng)分維度與基于管理工作（如內(nèi)部溝通、績(jī)效管理等）的職能結(jié)構(gòu)上的一套評(píng)分維度做了對(duì)比，發(fā)現(xiàn)基于工作取向的維度也同樣表現(xiàn)出較低的匯聚和區(qū)分效度[8]。雖然根據(jù)不同的測(cè)評(píng)目標(biāo)來(lái)開(kāi)發(fā)與目標(biāo)崗位相關(guān)更高、聯(lián)系更緊的維度，在一定程度上能提高測(cè)評(píng)的預(yù)測(cè)效度，但到底選擇什么樣的維度能同時(shí)取得較好的結(jié)構(gòu)效度和預(yù)測(cè)效度呢？未來(lái)有必要做更多的研究。

　　除此之外，Klimoski（1993）也提醒說(shuō)，除了評(píng)價(jià)中心事先確定的評(píng)分維度外，評(píng)價(jià)人員從自身對(duì)目標(biāo)崗位、管理工作及其效果的認(rèn)知中也可能產(chǎn)生一種不同的維度結(jié)構(gòu)，這套維度內(nèi)隱于評(píng)價(jià)人員的認(rèn)知中，可能間接對(duì)評(píng)價(jià)產(chǎn)生影響[9]。但是否有影響，有何影響，目前還沒(méi)有研究來(lái)證實(shí)。

　　2.2 評(píng)價(jià)人員培訓(xùn)

　　關(guān)于評(píng)價(jià)人員培訓(xùn)，研究者更多關(guān)注的是培訓(xùn)的方式與內(nèi)容。總的來(lái)看，對(duì)評(píng)價(jià)人員培訓(xùn)一般有以下幾種方式：（1）以避免評(píng)分者效應(yīng)（rating effects）的培訓(xùn)，例如光環(huán)效應(yīng)（halo error）、寬容效應(yīng)（leniency error）；（2）行為觀察法培訓(xùn)（behavior observation training），這種培訓(xùn)方法將重點(diǎn)集中于如何提高行為觀察的可靠性和有效性上，強(qiáng)調(diào)避免觀察誤差，提高觀察的準(zhǔn)確度；（3）績(jī)效維度培訓(xùn)（performance dimension training），強(qiáng)調(diào)對(duì)評(píng)分維度的明確界定和操作化；（4）參照系培訓(xùn)（frame-of-reference training），除了強(qiáng)調(diào)評(píng)價(jià)人員應(yīng)該對(duì)維度有更好的理解之外，參照系培訓(xùn)法還向評(píng)價(jià)人員提供對(duì)被評(píng)價(jià)人員績(jī)效判斷的相同的參照標(biāo)準(zhǔn)，按照這種統(tǒng)一的評(píng)分標(biāo)準(zhǔn)來(lái)培訓(xùn)評(píng)價(jià)人員，幫助評(píng)價(jià)人員在頭腦中建立更一致的認(rèn)知圖式和評(píng)分參照系。研究表明，績(jī)效維度培訓(xùn)能帶來(lái)更好的區(qū)分效度[15]，而相對(duì)于其它培訓(xùn)方法，參照系培訓(xùn)能帶來(lái)最高的評(píng)價(jià)準(zhǔn)確度[16]。在實(shí)踐中，絕大多數(shù)的評(píng)價(jià)中心的對(duì)評(píng)價(jià)人員的培訓(xùn)過(guò)程是對(duì)以上四種方式的綜合運(yùn)用，從而提高行為觀察的效果。

　　2.3 評(píng)價(jià)人員類型

　　由于程序運(yùn)作的復(fù)雜性和很高的技術(shù)要求，評(píng)價(jià)中心成為一種比較依賴測(cè)評(píng)專家的人事測(cè)評(píng)方法，因此，由什么樣的人員來(lái)?yè)?dān)任測(cè)評(píng)人員便是一個(gè)重要的問(wèn)題。研究者很早就開(kāi)始注意到評(píng)價(jià)人員類型對(duì)評(píng)價(jià)中心的結(jié)構(gòu)效度的影響，例如，研究發(fā)現(xiàn)，作為評(píng)價(jià)人員的心理學(xué)家要比管理者或工作專家在評(píng)分上取得更好的區(qū)分效度[10,11]。不過(guò)，這兩種類型的評(píng)價(jià)人員各有優(yōu)劣之處，這主要體現(xiàn)在心理學(xué)家更擅長(zhǎng)于評(píng)價(jià)個(gè)體較穩(wěn)定的特質(zhì)和潛力，而管理者和工作專家則更精于對(duì)實(shí)際工作能力的判斷[12,13]�？偟膩�(lái)看，相對(duì)于評(píng)價(jià)人員的出身背景而言，評(píng)價(jià)人員的評(píng)價(jià)經(jīng)驗(yàn)則顯得更為重要，嘗試由不同出身背景的評(píng)價(jià)人員互相組合搭配，也許能提高評(píng)價(jià)中心的結(jié)構(gòu)效度，但這也需要進(jìn)一步的證實(shí)。

　　3 測(cè)評(píng)方法

　　3.1 測(cè)評(píng)情景導(dǎo)向特征

　　80年代以來(lái)，當(dāng)人們發(fā)現(xiàn)評(píng)價(jià)中心在結(jié)構(gòu)效度上存在缺陷時(shí)，便開(kāi)始在評(píng)價(jià)中心的程序和設(shè)計(jì)上作了許多改進(jìn)。這些努力雖能部分地提高維度評(píng)價(jià)上的匯聚和區(qū)分效度，但在同一測(cè)評(píng)活動(dòng)中，對(duì)不同維度的評(píng)分間的相關(guān)仍然要明顯高于不同測(cè)評(píng)活動(dòng)中對(duì)相同維度的評(píng)分間的相關(guān)，也就是說(shuō)，測(cè)評(píng)活動(dòng)的影響效果仍然要明顯大于測(cè)評(píng)維度的影響效果。

　　對(duì)這一現(xiàn)象如何解釋呢？Lance等認(rèn)為，在過(guò)去的研究中普遍發(fā)現(xiàn)的測(cè)評(píng)活動(dòng)的顯著影響，恰好反映了被評(píng)價(jià)人員的績(jī)效表現(xiàn)是以測(cè)評(píng)情景為導(dǎo)向的（situational specificity），而非方法變異（method bias）[17]。也就是說(shuō)，評(píng)價(jià)中心結(jié)構(gòu)效度的缺陷不應(yīng)歸因于程序和設(shè)計(jì)上的局限，影響評(píng)價(jià)中心測(cè)評(píng)結(jié)果的因素是測(cè)評(píng)情景或方法，在不同的測(cè)評(píng)活動(dòng)中被評(píng)價(jià)人員的績(jī)效表現(xiàn)是不一致的。而Lance等在后來(lái)的進(jìn)一步研究中支持了情景導(dǎo)向的假設(shè)[18]。

　　國(guó)內(nèi)研究者吳志明等（2001）采用多質(zhì)多法和驗(yàn)證性因素分析，同樣證明評(píng)價(jià)中心的評(píng)分中測(cè)評(píng)情景導(dǎo)向性[19]。為什么影響評(píng)價(jià)中心評(píng)分的主要因素是測(cè)評(píng)情景而不是測(cè)評(píng)維度呢？吳志明等從四方面討論了其原因：（1）光環(huán)效應(yīng)，由于評(píng)價(jià)中心中可觀測(cè)行為的缺乏和評(píng)價(jià)人員信息加工能力的局限，導(dǎo)致被評(píng)價(jià)者在某一維度上的表現(xiàn)出色或表現(xiàn)欠佳而在其它維度上同樣得高分或得低分；（2）測(cè)評(píng)情景效應(yīng)，由于不同的測(cè)評(píng)情景中表現(xiàn)測(cè)評(píng)維度所代表的行為的機(jī)會(huì)不同，還由于練習(xí)效應(yīng)、動(dòng)機(jī)變化等變量的影響，因此在不同的測(cè)評(píng)方法中，被評(píng)價(jià)者的績(jī)效表現(xiàn)是不穩(wěn)定的；（3）評(píng)定的過(guò)程，評(píng)價(jià)中心的評(píng)價(jià)過(guò)程有著十分強(qiáng)的組織結(jié)構(gòu)性，被評(píng)價(jià)人員的行為往往被清晰的劃分為一些獨(dú)立的行為樣本，評(píng)價(jià)人員被迫基于測(cè)評(píng)情景對(duì)這些行為進(jìn)行分類，因而會(huì)損害匯聚效度系數(shù)；（4）測(cè)評(píng)維度的設(shè)計(jì)，一方面同一測(cè)評(píng)維度在不同測(cè)評(píng)情景中雖然表面上名稱相同但內(nèi)涵卻不同，另一方面同一測(cè)評(píng)情景中的不同測(cè)評(píng)維度難以區(qū)分，獨(dú)立性較低，相關(guān)較高，導(dǎo)致區(qū)分效度和匯聚效度較低。

　　評(píng)價(jià)中心測(cè)評(píng)情景導(dǎo)向的特征表明，評(píng)價(jià)人員在評(píng)分時(shí)是按照被評(píng)價(jià)人員在測(cè)評(píng)情景中的表現(xiàn)進(jìn)行評(píng)分的，而不是按照個(gè)人的穩(wěn)定特征進(jìn)行的，評(píng)價(jià)中心是以測(cè)評(píng)方法來(lái)保證其有效性的，不同的測(cè)評(píng)方法對(duì)評(píng)價(jià)中心的測(cè)評(píng)結(jié)果影響很大。同樣也可以說(shuō)，評(píng)價(jià)中心的結(jié)構(gòu)效度不是研究者最初所設(shè)想或期待的那樣，即評(píng)價(jià)中心不是被用來(lái)評(píng)價(jià)被評(píng)價(jià)人員的績(jī)效維度，而是為被評(píng)價(jià)人員提供展現(xiàn)其績(jī)效能力機(jī)會(huì)的活動(dòng)[2]。故Lovler等（2002）也指出，未來(lái)用于提高評(píng)價(jià)中心結(jié)構(gòu)效度的努力，如擴(kuò)大維度（代表“特質(zhì)”）的影響效果和減小活動(dòng)（代表“方法”）的效果，很有可能如同過(guò)去的20多年一樣是徒勞無(wú)功的[18]。

　　3.2 測(cè)評(píng)活動(dòng)中的特質(zhì)激活潛力

　　如上所述，在不同的測(cè)評(píng)情景中，被評(píng)價(jià)者表現(xiàn)測(cè)評(píng)維度所代表的行為的機(jī)會(huì)是不同的。Haaland和Christiansen（2002）運(yùn)用特質(zhì)激活理論（trait- activation theory）對(duì)評(píng)價(jià)中心的匯聚效度作了深入探討[20]。特質(zhì)激活潛力（trait-activation potential）指的是在一個(gè)特定的情景中能觀察到個(gè)體與特質(zhì)相關(guān)的行為表現(xiàn)的差異的能力[21]。在一個(gè)情景中能觀察到與特質(zhì)相關(guān)的行為差異的可能性越大，該情景的特質(zhì)激活潛力就越高。而在情景中能否有機(jī)會(huì)觀察到與給定的特質(zhì)相關(guān)行為主要取決于情景的強(qiáng)度以及情景與特質(zhì)的相關(guān)度。

　　按照強(qiáng)度可將情景分為強(qiáng)情景和弱情景。所謂強(qiáng)情景（strong situations）指的是在該情景下，對(duì)個(gè)體行為的要求較為明確、具體和統(tǒng)一，個(gè)體對(duì)情景的反應(yīng)很少存在差異。而在弱情景（weak situations）下與之相反，對(duì)個(gè)體行為表現(xiàn)的要求并不十分明確，個(gè)體對(duì)情景的認(rèn)知、反應(yīng)及行為結(jié)果上傾向于存在差異。強(qiáng)情景容易將個(gè)體的一些重要特質(zhì)模糊化，因而在行為觀察上差異較小。而在弱情景下行為觀察存在較大的變異，這樣，個(gè)體對(duì)情景的反應(yīng)更能由個(gè)體差異變量和穩(wěn)定特質(zhì)來(lái)預(yù)測(cè)。只有通過(guò)相對(duì)弱的情景，跨情景中的行為觀察才能有高相關(guān)，而強(qiáng)情景則會(huì)導(dǎo)致相關(guān)被削弱，也沒(méi)有什么實(shí)際意義。影響特質(zhì)激活潛力的另外一個(gè)因素是情景與感興趣的特質(zhì)的相關(guān)度，相關(guān)程度越高，則特質(zhì)激活潛力越大，反之就越小。
 
　　Haaland和Christiansen運(yùn)用跨度為6年（1993~1999）的數(shù)據(jù)，采用了5項(xiàng)測(cè)評(píng)活動(dòng)（無(wú)領(lǐng)導(dǎo)小組討論、計(jì)劃工作角色扮演、員工輔導(dǎo)的角色扮演、公文筐以及會(huì)議的口頭陳述）和5種測(cè)評(píng)維度（敏感性、下屬輔導(dǎo)技能、問(wèn)題解決能力、工作組織技能以及壓力忍受性），并用紙筆人格測(cè)驗(yàn)作為對(duì)特質(zhì)激活潛力判斷的操作處理。結(jié)果表明：當(dāng)評(píng)價(jià)中心的測(cè)評(píng)活動(dòng)具備較高的特質(zhì)激活潛力時(shí)，相關(guān)維度上評(píng)價(jià)之間的匯聚效度會(huì)更好。并且，當(dāng)活動(dòng)出現(xiàn)如下情景特征時(shí)，能獲得較好的匯聚效度：①、情景活動(dòng)不能太過(guò)強(qiáng)以至于隱藏個(gè)體的差異；②、擁有與特質(zhì)行為相關(guān)的暗示；③、測(cè)評(píng)活動(dòng)應(yīng)具備能激活與成功績(jī)效相關(guān)的特質(zhì)的能力。

　　3.3 測(cè)評(píng)的活動(dòng)形式

　　在實(shí)踐中，有些測(cè)評(píng)活動(dòng)能喚起與眾多維度相關(guān)的行為，而有些活動(dòng)則顯得更為“純凈”，只與少數(shù)維度相關(guān)。因此，如何選擇和設(shè)計(jì)測(cè)評(píng)活動(dòng)便是一個(gè)問(wèn)題。除此之外，一些經(jīng)受過(guò)培訓(xùn)的角色扮演者經(jīng)常被用于喚起被評(píng)價(jià)人員與維度相關(guān)的行為，以降低一些意外的活動(dòng)變異。比如有研究發(fā)現(xiàn)，當(dāng)角色扮演者能積極地扮演其角色時(shí)，會(huì)提高匯聚效度和區(qū)分效度；而較消極被動(dòng)時(shí)，就無(wú)法喚起與維度相關(guān)的行為，則結(jié)構(gòu)效度也會(huì)降低[6]。

　　最后，在測(cè)評(píng)活動(dòng)的指導(dǎo)過(guò)程中，Kleinmann等(1996)發(fā)現(xiàn)，如果有意識(shí)地向被評(píng)價(jià)人員提示在活動(dòng)中會(huì)測(cè)評(píng)哪些維度，哪些行為與何種維度相關(guān)，被評(píng)價(jià)者將更可能引導(dǎo)自身向維度靠攏，其行為表現(xiàn)更為清晰和一致，評(píng)價(jià)人員也能更好地區(qū)分維度與行為間的差異，評(píng)分也會(huì)表現(xiàn)出較好的匯聚效度和區(qū)分效度[22]。

　　4 系統(tǒng)的觀察與評(píng)價(jià)程序

　　4.1 評(píng)價(jià)人員的認(rèn)知負(fù)荷

　　眾所周知，對(duì)被評(píng)價(jià)人員的行為表現(xiàn)進(jìn)行觀察和評(píng)價(jià)是一項(xiàng)有很高要求的認(rèn)知性任務(wù)。從信息加工過(guò)程來(lái)看，這一任務(wù)的過(guò)程表現(xiàn)為以下階段：首先，在每一項(xiàng)測(cè)評(píng)活動(dòng)中，評(píng)價(jià)人員觀察被評(píng)價(jià)人員的行為，尤其要將注意力投入到與維度相關(guān)的那些行為上；然后，評(píng)價(jià)人員將這些行為信息進(jìn)行解碼，這一過(guò)程較為復(fù)雜，評(píng)價(jià)人員必須投入較多的思維活動(dòng)；接著，這些行為信息被儲(chǔ)存到記憶中以待后來(lái)的使用，這通常發(fā)生在測(cè)評(píng)活動(dòng)結(jié)束的時(shí)刻；當(dāng)作出評(píng)價(jià)的時(shí)候，評(píng)價(jià)人員必須重新提取記憶中的信息，并加以綜合。
 
　　人們注意到，評(píng)價(jià)人員的信息加工負(fù)荷是相當(dāng)大的，因此他們只能選擇性的參加一定比例的測(cè)評(píng)行為活動(dòng)，其結(jié)果是有可能產(chǎn)生評(píng)分誤差。例如，在評(píng)價(jià)人員的觀察和評(píng)價(jià)過(guò)程中，通常有一個(gè)雙重任務(wù)：觀察和記錄。但相對(duì)于評(píng)價(jià)人員已有的認(rèn)知加工能力而言，當(dāng)評(píng)價(jià)人員的注意力由活動(dòng)轉(zhuǎn)移到記錄本上時(shí)，一些重要的行為信息便有被忽略的可能，或者不適當(dāng)?shù)貙⑿袨檫M(jìn)行歸類[23]。而且在實(shí)踐中，評(píng)價(jià)人員有時(shí)不僅僅是被動(dòng)的觀察者，同時(shí)也是一些測(cè)評(píng)活動(dòng)的主動(dòng)參與者，在活動(dòng)中扮演著一定的角色，這種角色扮演也會(huì)限制對(duì)行為的同時(shí)記錄[24]。這樣就可能帶來(lái)較低的評(píng)價(jià)人員信度、評(píng)分準(zhǔn)確度和結(jié)構(gòu)效度。

　　Kolk等（2002）曾考察了兩種觀察與記錄方式的效果[13]：一是在活動(dòng)進(jìn)行中同時(shí)進(jìn)行觀察和記錄；二是評(píng)價(jià)人員在觀察過(guò)程中不做記錄，但將記錄行為延遲到每一種測(cè)評(píng)活動(dòng)結(jié)束的時(shí)刻立即進(jìn)行。研究比較了這兩種方法的三種效果變量：評(píng)價(jià)人員信度、光環(huán)效應(yīng)及準(zhǔn)確度。但結(jié)果僅發(fā)現(xiàn)，有經(jīng)驗(yàn)的評(píng)價(jià)人員要比無(wú)經(jīng)驗(yàn)的評(píng)價(jià)人員產(chǎn)生更顯著的高評(píng)分準(zhǔn)確度，這一點(diǎn)與以前的研究一致，但卻沒(méi)有找到明顯的證據(jù)支持哪一種方法在三種效果變量上有更好的效果。顯然，如何降低認(rèn)知負(fù)荷，目前仍是一個(gè)難題，未來(lái)應(yīng)更直接地考察評(píng)價(jià)人員認(rèn)知負(fù)荷的來(lái)源。

　　4.2 觀察和評(píng)價(jià)方法

　　在評(píng)價(jià)中心中，一般存在3種觀察和評(píng)價(jià)方法：

　　第一種是傳統(tǒng)的觀察與評(píng)價(jià)方法。傳統(tǒng)方法由AT&T首創(chuàng)，它包含4個(gè)相互獨(dú)立的階段：在測(cè)評(píng)活動(dòng)中評(píng)價(jià)人員觀察被評(píng)價(jià)人員的行為并同時(shí)做記錄；然后，評(píng)價(jià)人員將所記錄的信息歸類到不同的行為維度中；接著，評(píng)價(jià)人員對(duì)每一個(gè)維度作出一個(gè)定量的評(píng)價(jià)；最后，不同的評(píng)價(jià)人員一起對(duì)評(píng)價(jià)作出重新評(píng)估。

　　第二種方法是行為列表法（the behavioural checklist method）。和傳統(tǒng)方法一樣，評(píng)價(jià)人員首先需要記錄正在發(fā)生的行為，但隨后評(píng)價(jià)人員會(huì)使用一種行為列表，在列表中將每一種行為發(fā)生的頻數(shù)加以總結(jié)。這一附加的步驟是為了減低行為分類時(shí)的認(rèn)知負(fù)荷。行為列表法雖然有利于評(píng)價(jià)人員對(duì)觀察行為進(jìn)行解碼及回憶，但其對(duì)結(jié)構(gòu)效度的影響如何，研究的結(jié)論卻不太一致。

　　第三種方法是行為編碼方法（the behavioural coding approach）。這種方法事先對(duì)每一種評(píng)價(jià)維度有十分明確的、統(tǒng)一的界定，并在觀察表格上列舉出典型的積極和消極的行為例證，要求評(píng)價(jià)人員重點(diǎn)關(guān)注這些維度和行為，而反對(duì)評(píng)價(jià)人員個(gè)人主義式的解釋。行為編碼法的好處是：首先，標(biāo)準(zhǔn)化程度較高；其次，因?yàn)椴槐貙?duì)行為的描述進(jìn)行詳細(xì)記錄，評(píng)價(jià)人員經(jīng)受的知覺(jué)干擾可能更少；另外，評(píng)價(jià)人員的注意力能有效集中于維度上，將觀察行為與明晰的認(rèn)知分類進(jìn)行有效聯(lián)結(jié)，有助于評(píng)價(jià)人員的長(zhǎng)期記憶、回憶和解釋。但行為編碼法的潛在缺點(diǎn)是，評(píng)價(jià)人員的注意力完全集中于事先提供的維度結(jié)構(gòu)上，有可能導(dǎo)致無(wú)法觀察到或忽略維度以外的其它行為特征，這種影響的大小則依賴于所提供的維度典型行為的范圍與合適性程度，以及對(duì)評(píng)價(jià)人員的說(shuō)明和指導(dǎo)。

　　哪一種觀察與評(píng)價(jià)方法更有效呢？Hennessy等（1998）[23]選取30個(gè)英國(guó)組織的評(píng)價(jià)人員，運(yùn)用實(shí)驗(yàn)方法，考察了上述三種方法的效果，結(jié)果發(fā)現(xiàn)：三種方法在評(píng)價(jià)準(zhǔn)確度上的效果差別不大；相對(duì)于傳統(tǒng)方法，行為列表法和行為編碼法能顯著地降低評(píng)價(jià)人員之間的偏差，但研究并沒(méi)有發(fā)現(xiàn)這兩種方法能提高區(qū)分效度的明顯證據(jù)；在對(duì)待各種方法的態(tài)度上，傳統(tǒng)的方法在大多數(shù)的組織中仍得到采用，行為編碼法受到了廣泛的支持和接受，而使用者不太愿意建議采用行為列表法。

　　另外，在實(shí)踐中很多評(píng)價(jià)中心多采用活動(dòng)內(nèi)評(píng)價(jià)方法（within-exercise rating method），即在每一種測(cè)評(píng)活動(dòng)結(jié)束后完成對(duì)所有維度的一次評(píng)價(jià)，但這樣會(huì)產(chǎn)生共同方法效應(yīng)（common method effects）。也有些評(píng)價(jià)中心采用維度內(nèi)評(píng)價(jià)方法（within- dimension rating method），即在所有的測(cè)評(píng)活動(dòng)結(jié)束后再進(jìn)行維度的評(píng)價(jià)，但這樣也能產(chǎn)生共同評(píng)價(jià)者效應(yīng)（common rater effects）。有研究者指出，相對(duì)于活動(dòng)內(nèi)設(shè)計(jì)方法，維度內(nèi)設(shè)計(jì)方法能產(chǎn)生較高的匯聚效度和區(qū)分效度 [25,3]。Kolk等（2001）設(shè)計(jì)出每一名評(píng)價(jià)人員只在一種測(cè)評(píng)活動(dòng)中對(duì)一種維度作出評(píng)價(jià)的評(píng)分策略[18]，這種策略要求具備“維度數(shù)×測(cè)評(píng)活動(dòng)數(shù)”的乘積的數(shù)量的評(píng)價(jià)人員，但維度評(píng)價(jià)在跨維度和跨活動(dòng)中是獨(dú)立的，也就能消除所有的共同方法效應(yīng)和共同評(píng)價(jià)者效應(yīng)。不過(guò)，這種方法的缺陷是成本太高，一般的組織很難實(shí)施。

　　5 提高評(píng)價(jià)中心結(jié)構(gòu)效度的措施與研究總結(jié)

　　Lievens（1998）對(duì)1976至1997年間的21項(xiàng)關(guān)于評(píng)價(jià)中心結(jié)構(gòu)效度的研究進(jìn)行了元分析[6]，對(duì)如何提高評(píng)價(jià)中心結(jié)構(gòu)效度的措施進(jìn)行了總結(jié)（見(jiàn)表1），值得實(shí)踐者參考和借鑒。

　　表1中，對(duì)于評(píng)價(jià)中心的觀察與評(píng)價(jià)程序的設(shè)計(jì)，Andres和Kleinmann（1993）所推薦的原則是：①每一名評(píng)價(jià)人員只對(duì)每一名被評(píng)價(jià)人員進(jìn)行一次觀察；②被評(píng)價(jià)人員在活動(dòng)中碰面的機(jī)會(huì)最低為2次，最高4次；③每一對(duì)評(píng)價(jià)人員至少碰面2次，最高4次。研究者認(rèn)為這套原則能有效降低評(píng)價(jià)過(guò)程中的信息負(fù)載、對(duì)照效應(yīng)、光環(huán)效應(yīng)、移情效應(yīng)的負(fù)面影響，提高評(píng)分效度[6]。 表1 提高評(píng)價(jià)中心結(jié)構(gòu)效度的措施和建議 （略）

　　綜上所述，影響評(píng)價(jià)中心結(jié)構(gòu)效度的因素眾多，相關(guān)研究的結(jié)論也不太一致，未來(lái)也有必要做進(jìn)一步地研究，但總的看來(lái)，可以歸結(jié)為以下幾點(diǎn)：

　　首先，在評(píng)分維度的數(shù)目上，目前的研究結(jié)論基本一致，維度的數(shù)目不宜過(guò)多，但在維度的選擇和界定上應(yīng)慎重，一個(gè)可行的原則是與實(shí)際工作相關(guān)聯(lián)。

　　第二，對(duì)于心理學(xué)家應(yīng)該在評(píng)價(jià)者團(tuán)隊(duì)中扮演什么角色，還存在分歧，但更多的人認(rèn)識(shí)到心理學(xué)家和管理者作為評(píng)價(jià)人員各有優(yōu)劣，筆者認(rèn)為，評(píng)價(jià)者的評(píng)價(jià)經(jīng)驗(yàn)相對(duì)于其出身而言更為重要，二者若能取長(zhǎng)補(bǔ)短則更為理想，另外，對(duì)評(píng)價(jià)者培訓(xùn)應(yīng)重點(diǎn)考慮參照系培訓(xùn)方式，致力于提高行為觀察的效果。

　　第三，影響評(píng)價(jià)中心結(jié)構(gòu)效度的因素雖然很多，在程序和設(shè)計(jì)上的努力雖能部分提高其結(jié)構(gòu)效度，但評(píng)價(jià)中心以測(cè)評(píng)情景為導(dǎo)向的特征表明，評(píng)價(jià)中心是以測(cè)評(píng)方法來(lái)保證其有效性的，相對(duì)于維度而言，測(cè)評(píng)方法對(duì)測(cè)評(píng)結(jié)果的影響更大，因此實(shí)踐者應(yīng)該十分注重對(duì)測(cè)評(píng)方法及活動(dòng)的選擇與設(shè)計(jì)，避免方法效應(yīng)，應(yīng)采取各種措施積極地喚起被評(píng)價(jià)者的與特質(zhì)和維度相關(guān)的行為。

　　第四，應(yīng)設(shè)法降低測(cè)評(píng)中評(píng)價(jià)人員的認(rèn)知負(fù)荷，如采用行為列表或行為編碼方法，提高觀察與評(píng)價(jià)的準(zhǔn)確度，為了提高結(jié)構(gòu)效度，實(shí)踐者也應(yīng)該更多地采用維度內(nèi)評(píng)價(jià)方法。

　　最后，如眾多的研究者所指出的那樣，在以往的研究中，對(duì)于評(píng)價(jià)中心的結(jié)構(gòu)效度和效標(biāo)關(guān)聯(lián)效度的研究往往是分開(kāi)進(jìn)行的，未來(lái)的研究需要將這兩者結(jié)合起來(lái)，同時(shí)探討它們之間的關(guān)系[26]。例如，具有良好結(jié)構(gòu)效度的評(píng)價(jià)中心是否同樣具有較好的效標(biāo)關(guān)聯(lián)效度？同時(shí)，具有良好的效標(biāo)關(guān)聯(lián)效度的評(píng)價(jià)中心其結(jié)構(gòu)效度又如何？這一問(wèn)題恰好涉及評(píng)價(jià)中心的本質(zhì)與核心，應(yīng)成為未來(lái)研究的重點(diǎn)方向。

【參考文獻(xiàn)】
  　　[1] Gaugler B B, Rosenthal D B, Thornton G C, Bentson C. Meta-analysis of Assessment Center Validity. Journal of Applied Psychology, 1987, 72: 493~511

　　[2] Lievens F, Klimoski R J. Understanding the assessment center process: Where are we now? International Review of Industrial and Organizational Psychology, 2001, 16: 246~286

　　[3] Sackett P R, Tuzinski K. The role of dimensions and exercises in assessment center judgments. In M. London (Ed.). How people evaluate others in organizations. Mahwah, NJ: LEA, 2001. 111~129

　　[4] 金瑜. 心理測(cè)量. 上海:華東師范大學(xué)出版社, 2001. 209~230

　　[5] Collins J M, Schmidt F L, Sanchez-Ku M, Thomas L, McDaniel M A, Le H. Can basic individual differences shed light on the construct meaning of assessment center evaluations? International Journal of selection and assessment, 2003, 11(1): 17~29

　　[6] Lievens F. Factors which improve the construct validity of assessment centers: A review. International Journal of Selection and Assessment, 1998, 6(3): 141~152

　　[7] Gaugler B B, Thornton G. C. Number of assessment center dimensions as a determinant of assessor accuracy. Journal of Applied Psychology, 1989, 74: 611~618

　　[8] Joyce L W, Thayer P W, Pond S B. Managerial functions: An alternative to traditional assessment center dimensions? Personnel Psychology, 1994, 47: 109~121

　　[9] Klimoski R J. Predictor constructs and their measurement. In: Schmitt N, Borman W C. (eds.) Personnel Selection in Organizations. San Francisco, Jossey-Bass, 1993. 99~135

　　[10] Gaugler B B, Rosenthal D B, Thornton G. C, Bentson C. Meta-analysis of assessment center validity. Journal of Applied Psychology, 1987, 72: 493~511

　　[11] Sagie A, Magnezy R. Assessor type, number of distinguishable categories, and assessment center construct validity. Journal of Occupational and Organizational Psychology, 1997, 70: 103~108

　　[12] Tziner A, Ronen S，Hacohen, D. A four-year validation study of an assessment center in a financial corporation. Journal of Organizational Behaviour, 1993, 14: 225~237

　　[13] Kolk N J, Born M P, van der Flier H，Olman J M. Assessment center procedures: Cognitive load during the observation phase. International Journal of Selection and Assessment, 2002, 10(4): 271~278

　　[14] Lievens F. Assessor training strategies and their effects on accuracy, inter-rater reliability and discriminant validity. Journal of Applied Psychology, 2001, 86: 255~264

　　[15] Woehr D J. Performance dimension accessibility: Implications for rating accuracy. Journal of Organizational Behavior, 1992, 13: 357~367

　　[16] Woehr D J，Huffcutt A I. Rater training for performance appraisal: A quantitative review. Journal of Occupational and Organisational Psychology, 1994, 67: 189~205

　　[17] Lance C E, Newbolt W H, Gatewood R D, Foster M R, French N R，Smith D E. Assessment center exercise factors represent cross-situational specificity, not method bias. Human Performance, 2000, 13: 323~353

　　[18] Lance C E, Foster M R, Gentry W A，Thoresen J D. Assessor cognitive processes in an operational assessment center. Journal of Applied Psychology, 2004, 89(1): 22~35

　　[19] 吳志明, 張厚粲. 評(píng)價(jià)中心的構(gòu)想效度和結(jié)構(gòu)模型. 心理學(xué)報(bào), 2001, 33(4): 372~378

　　[20] Haaland S, Christiansen N D. Implications of trait-activation theory for evaluating the construct validity of assessment center ratings. Personnel Psychology, 2002, 55(1): 137~163

　　[21] Tett R P, Guterman H A. Situation trait relevance, trait expression, and cross-situational consistency: Testing a principle of trait-activation. Journal of Research in Personality, 2000, 34: 397~423

　　[22] Kleinmann M, Kuptsch C，Koller O. Transparences: A necessary requirement for the construct validity of assessment centers. Applied Psychology: An international Review, 1996, 45: 67~84

　　[23] Hennessey J, Mabey B, Warr P. Assessment centre observation procedures: An experimental comparison of traditional, checklist and coding methods. International Journal of Selection and Assessment, 1998, 6(4): 222~231

　　[24] Zedeck S. A process analysis of the assessment center method. Research in Organizational Behaviour, 1986, 8: 259~296

　　[25] Sackett P R, Dreher G F. Constructs and assessment center dimensions: Some troubling empirical findings. Journal of Applied Psychology, 1982, 80: 664~670

　　[26] 王小華, 車宏生. 評(píng)價(jià)中心的評(píng)分維度和評(píng)分效果. 心理科學(xué)進(jìn)展, 2004, 12(4): 601~607

  訂閱登記：

請(qǐng)您在下面輸入常用的Email地址、職業(yè)以便我們定期通過(guò)郵箱發(fā)送給您最新的相關(guān)醫(yī)學(xué)信息，感謝您瀏覽首席醫(yī)學(xué)網(wǎng)！

  本文關(guān)鍵詞：評(píng)價(jià)中心的結(jié)構(gòu)效度研究，由筆耕文化傳播整理發(fā)布。