測(cè)驗(yàn)的信度.doc

心理測(cè)量學(xué)測(cè)驗(yàn)的信度學(xué)習(xí)筆記第三節(jié)測(cè)驗(yàn)的信度第一單元信度的概念第二單元信度評(píng)估的方法第三單元信度與測(cè)驗(yàn)分?jǐn)?shù)的解釋第四單元影響信度的因素第一單元信度的概念一、信度的定義信度是指同一被試者在不同時(shí)間內(nèi)用同一測(cè)驗(yàn)（或用另一套相等的測(cè)驗(yàn)）重復(fù)測(cè)量，所得結(jié)果的一致程度。在測(cè)量理論中，信度被定義為：一組測(cè)量分?jǐn)?shù)的真分?jǐn)?shù)方差與總方差（實(shí)得分?jǐn)?shù)的方差）的比率。二、信度的指標(biāo)（一）信度系數(shù)與信度指數(shù)信度指數(shù)是真分?jǐn)?shù)標(biāo)準(zhǔn)差與實(shí)得分?jǐn)?shù)標(biāo)準(zhǔn)差的比值。信度指數(shù)的平方就是信度系數(shù)。（二）測(cè)量標(biāo)準(zhǔn)誤測(cè)量誤差分布的標(biāo)準(zhǔn)差，即為測(cè)量的標(biāo)準(zhǔn)誤。第二單元信度評(píng)估的方法一、重測(cè)信度二、復(fù)本信度三、內(nèi)部一致性信度四、評(píng)分者信度 信度的類型與估計(jì)方法重測(cè)信度（test-retestreliability）又稱穩(wěn)定性系數(shù)。它的計(jì)算方法是采用重測(cè)法，即使用同一測(cè)驗(yàn)，在同樣條件下對(duì)同一組被試者前后施測(cè)兩次測(cè)驗(yàn)，求兩次得分間的相關(guān)系數(shù)。最適宜的時(shí)距隨測(cè)驗(yàn)的目的、性質(zhì)和被試特點(diǎn)而異，一般是兩周到四周較宜，間隔時(shí)間最長不超過六個(gè)月。內(nèi)部一致性信度（internalconsistencyreliability）分半信度（split-halfreliability）采集者退散是在測(cè)驗(yàn)實(shí)施后將測(cè)驗(yàn)按奇、偶數(shù)分為等值的兩半，并分別計(jì)算每位被試在兩半測(cè)驗(yàn)上的得分，求出這兩半分?jǐn)?shù)的相關(guān)系數(shù)。分半法經(jīng)常會(huì)低估信度，必須修正，借以估計(jì)整個(gè)測(cè)驗(yàn)的信度。同質(zhì)性信度（homogeneityreliability）同質(zhì)性主要代表測(cè)驗(yàn)內(nèi)部所有題目間的一致性。當(dāng)各個(gè)測(cè)題的得分有較高的正相關(guān)時(shí)，不論題目的內(nèi)容和形式如何，則測(cè)驗(yàn)為同質(zhì)的。相反，即使所有題目看起來好象測(cè)量同一特質(zhì)，但相關(guān)很低或?yàn)樨?fù)相關(guān)時(shí)，則測(cè)驗(yàn)為異質(zhì)的。評(píng)分者信度（scorerreliability）隨機(jī)抽取若干份測(cè)驗(yàn)卷，由兩位評(píng)分者按評(píng)分標(biāo)準(zhǔn)分別給分，然后再根據(jù)每份測(cè)驗(yàn)卷的兩個(gè)分?jǐn)?shù)計(jì)算相關(guān)，即得評(píng)分者信度。一般要求在成對(duì)的受過訓(xùn)練的評(píng)分者之間平均一致性達(dá)0.90以上，才認(rèn)為評(píng)分是客觀的。 當(dāng)多個(gè)評(píng)分者評(píng)定多個(gè)對(duì)象，并以等級(jí)法記分時(shí)，可采用肯德爾和諧系數(shù)作為評(píng)分者信度的估計(jì)。第三單元信度與測(cè)驗(yàn)分?jǐn)?shù)的解釋一、解釋真實(shí)分?jǐn)?shù)與實(shí)得分?jǐn)?shù)的相關(guān)二、確定信度可以接受的水平三、解釋個(gè)人分?jǐn)?shù)的意義四、比較不同測(cè)驗(yàn)分?jǐn)?shù)的差異信度與測(cè)驗(yàn)分?jǐn)?shù)的解釋解釋真實(shí)分?jǐn)?shù)與實(shí)得分?jǐn)?shù)的相關(guān)信度系數(shù)可以解釋為總的方差中有多少比例是由真實(shí)分?jǐn)?shù)的方差決定的，也就是測(cè)驗(yàn)的總變異中真分?jǐn)?shù)造成的變異占百分之幾。確定信度可以接受的水平當(dāng)rxx0.70時(shí)，測(cè)驗(yàn)不能用于對(duì)個(gè)人作出評(píng)價(jià)或預(yù)測(cè)，而且不能作團(tuán)體比較；當(dāng)0.70rxx0.85時(shí)，可用于團(tuán)體比較；當(dāng)rxx0.85時(shí)，才能用來鑒別或預(yù)測(cè)個(gè)人成績或作為。解釋個(gè)人分?jǐn)?shù)的意義其一是估計(jì)真實(shí)分?jǐn)?shù)的范圍；其二是了解實(shí)得分?jǐn)?shù)再測(cè)時(shí)可能的變化情形。這就是測(cè)量標(biāo)準(zhǔn)誤的應(yīng)用。比較不同測(cè)驗(yàn)分?jǐn)?shù)的差異這種比較包括兩個(gè)人不同分?jǐn)?shù)的差別和同一被試在兩個(gè)測(cè)驗(yàn)上的差別。這就是差異分?jǐn)?shù)的標(biāo)準(zhǔn)誤問題。第四單元影響信度的因素一、樣本特征（一）樣本團(tuán)體異質(zhì)性的影響（二）樣本團(tuán)體平均能力水平的影響二、測(cè)驗(yàn)長度（一）測(cè)驗(yàn)越長測(cè)題取樣或內(nèi)容取樣越有代表性。 （二）測(cè)驗(yàn)越長被試的猜測(cè)因素影響就越小。三、測(cè)驗(yàn)難度難度與信度不存在簡單的對(duì)應(yīng)關(guān)系。如果因?yàn)殡y度過大或過小，造成分?jǐn)?shù)范圍縮小，可使信度降低。四、時(shí)間間隔再測(cè)法求信度，間隔時(shí)間越短信度系數(shù)越大；間隔時(shí)間越久，信度系數(shù)越低。注意:斯皮爾曼-布朗公式為校正分半信度的經(jīng)驗(yàn)公式，它的假設(shè)是兩半測(cè)驗(yàn)分?jǐn)?shù)的變異數(shù)相等。當(dāng)假設(shè)不成立時(shí)，可用下列兩種公式之一，直接求得測(cè)驗(yàn)的信度系數(shù)。弗朗那根（flanagan）公式，盧倫（kulon）公式www.xamda.CoM對(duì)于一些復(fù)雜的、異質(zhì)的心理學(xué)變量，采用單一的同質(zhì)性測(cè)驗(yàn)是不行的，因而常常采用若干相對(duì)異質(zhì)的分測(cè)驗(yàn)，使每個(gè)分測(cè)驗(yàn)內(nèi)容具有同質(zhì)性。第四節(jié)測(cè)驗(yàn)的效度第一單元效度的概念一、效度的定義在心理測(cè)驗(yàn)中，效度是指所測(cè)量的與所要測(cè)量的心理特點(diǎn)之間的符合程度，或者簡單地說是指一個(gè)心理測(cè)驗(yàn)的準(zhǔn)確性。在測(cè)驗(yàn)理論中，效度被定義為在一組測(cè)量中，與測(cè)量目標(biāo)有關(guān)的真實(shí)方差（或稱有效方差）與總方差的比率。二、效度的性質(zhì)（一）效度具有相對(duì)性任何測(cè)驗(yàn)的效度都是針對(duì)一定的目標(biāo)而言。（二）效度具有連續(xù)性只有程度上的不同，沒有“全有”或“全無”的區(qū)別。測(cè)驗(yàn)效度是測(cè)驗(yàn)結(jié)果的有效性程度。一、內(nèi)容效度（一）什么是內(nèi)容效度指的是測(cè)驗(yàn)題目對(duì)有關(guān)內(nèi)容或行為取樣的適用性，從而確定測(cè)驗(yàn)是否是所欲測(cè)量的行為領(lǐng)域的代表性取樣。這種測(cè)驗(yàn)的效度主要與測(cè)驗(yàn)內(nèi)容有關(guān)，故而得名。（二）內(nèi)容效度的評(píng)估方法1、專家判斷法定義好測(cè)驗(yàn)內(nèi)容的總體范圍；編制雙向細(xì)目表，確定內(nèi)容的具體細(xì)節(jié)各自所占的比例；由每位評(píng)判者在評(píng)定量表上作出判斷。2、統(tǒng)計(jì)分析法計(jì)算兩個(gè)評(píng)分者之間評(píng)定的一致性（評(píng)分者信度）兩個(gè)測(cè)驗(yàn)復(fù)本上得分之相關(guān)（復(fù)本信度）再測(cè)法也可用于內(nèi)容效度的評(píng)估（測(cè)驗(yàn)-學(xué)習(xí)-再測(cè)驗(yàn)）3、經(jīng)驗(yàn)推測(cè)這種效度是通過實(shí)踐來檢驗(yàn)效度（三）內(nèi)容效度的特性內(nèi)容效度與所有效度一樣，并非普遍適用。只有編制者與使用者定義的內(nèi)容范圍相同，編制者報(bào)告的內(nèi)容效度對(duì)使用者才有意義。內(nèi)容效度也有時(shí)間上的特定性。內(nèi)容效度與表面效度不同。二、構(gòu)想效度（一）什么是構(gòu)想效度是指測(cè)驗(yàn)?zāi)軌驕y(cè)量到理論上的構(gòu)思或特質(zhì)的程度，即測(cè)驗(yàn)的結(jié)果是否能證實(shí)或解釋某一理論的假設(shè)、術(shù)語或構(gòu)思，解釋的程度如何。要回答的問題是：該測(cè)驗(yàn)欲測(cè)量什么心理構(gòu)想？對(duì)該構(gòu)想測(cè)得有多好？測(cè)驗(yàn)分?jǐn)?shù)中有多少比例的變異數(shù)是來自測(cè)驗(yàn)所欲測(cè)之構(gòu)想？（二）構(gòu)想效度的評(píng)估方法1、對(duì)測(cè)驗(yàn)本身的分析測(cè)驗(yàn)的內(nèi)容效度測(cè)驗(yàn)的內(nèi)部一致性指標(biāo)分析被試者對(duì)題目的反應(yīng)特點(diǎn)2、測(cè)驗(yàn)間的相互比較相容效度是構(gòu)思效度的一個(gè)證據(jù)區(qū)分效度是構(gòu)思效度的又一個(gè)證據(jù)來源因素分析法也是建立構(gòu)思效度的常用方法3、效標(biāo)效度的研究證明根據(jù)效標(biāo)分成相對(duì)照的兩組，比較測(cè)驗(yàn)成績觀察分析測(cè)驗(yàn)高分組與低分組的心理特質(zhì)4、實(shí)驗(yàn)法和觀察法證實(shí)三、效標(biāo)效度（一）什么是效標(biāo)效度亦稱實(shí)證效度，反映的是測(cè)驗(yàn)預(yù)測(cè)個(gè)體在某種情境下行為表現(xiàn)的有效程度。分為同時(shí)效度和預(yù)測(cè)效度。一個(gè)好的效標(biāo)必須具備4個(gè)條件。1.效標(biāo)本身必須有效；2.效標(biāo)必須具有較高的信度，不隨時(shí)間等因素而變化；3.效標(biāo)可以客觀地加以測(cè)量，可用數(shù)據(jù)或等級(jí)來表示；4.效標(biāo)測(cè)量的方法簡單，省時(shí)省力，經(jīng)濟(jì)實(shí)用。（二）效標(biāo)效度的評(píng)估方法1、相關(guān)法：相關(guān)法是評(píng)估效標(biāo)效度最常用的方法，它是求測(cè)驗(yàn)分?jǐn)?shù)與效標(biāo)資料間的相關(guān)，這一相關(guān)系數(shù)稱為效度系數(shù)。2、區(qū)分法： 分析高分組與低分組分布的重疊量，或者計(jì)算每一組內(nèi)得分超過（或低于）另一組平均數(shù)的人數(shù)百分比，或者計(jì)算兩組分布的共同區(qū)的百分比。重疊量越大，說明兩組分?jǐn)?shù)差異越小，即測(cè)驗(yàn)的效度越差。3、命中率法： 命中率法是當(dāng)測(cè)驗(yàn)用來做取舍的依據(jù)時(shí)，用其正確決定的比例作為效度指標(biāo)的一種方法。第二單元效度評(píng)估的方法第三單元效度的功能一、預(yù)測(cè)誤差效度系數(shù)的實(shí)際意義常常以決定性系數(shù)來表示，意旨相關(guān)系數(shù)的平方，其表達(dá)式是rxy2，它表示能夠正確預(yù)測(cè)或解釋效標(biāo)的測(cè)驗(yàn)分?jǐn)?shù)的方差占總方差的比例。另一種表達(dá)方法是估計(jì)的標(biāo)準(zhǔn)誤，簡寫為sest，它是指所有具有某一測(cè)驗(yàn)分?jǐn)?shù)的被試其效標(biāo)分?jǐn)?shù)（y）分布的標(biāo)準(zhǔn)差，也即真正效標(biāo)分?jǐn)?shù)落在某一范圍內(nèi)有多大可能性。二、預(yù)測(cè)效標(biāo)分?jǐn)?shù)在測(cè)驗(yàn)工作中，人們感興趣的是從測(cè)驗(yàn)分?jǐn)?shù)預(yù)測(cè)效標(biāo)成績，因此最常用的是y對(duì)x的回歸方程。三、預(yù)測(cè)效率指數(shù)第四單元影響效度的因素一、測(cè)驗(yàn)本身的因素為了提高效度，要做到：1.測(cè)驗(yàn)材料必須對(duì)整個(gè)內(nèi)容具有代表性；2.測(cè)題設(shè)計(jì)時(shí)應(yīng)盡量避免容易引起誤差的題型（如是非題）；3.測(cè)題難度要適中，具有較高的區(qū)分度；4.測(cè)驗(yàn)長度要恰當(dāng)，即要有一定的測(cè)題量；5.測(cè)題的排列按先易后難順序。二、測(cè)驗(yàn)實(shí)施中的干擾因素（一）主試的影響因素主試不符合標(biāo)準(zhǔn)化要求的任何做法（二）被試的影響因素興趣、動(dòng)機(jī)、情緒、態(tài)度和健康狀況等。三、樣本團(tuán)體的性質(zhì)（一）樣本團(tuán)體的異質(zhì)性 異質(zhì)性越高，分?jǐn)?shù)分布范圍大，測(cè)驗(yàn)效度越高。1、如果只以選拔出來的被試為樣本團(tuán)體參加研究，會(huì)降低測(cè)驗(yàn)的效度。2、選拔標(biāo)準(zhǔn)太高，樣本團(tuán)體的同質(zhì)性增加，會(huì)降低測(cè)驗(yàn)的效度。三、樣本團(tuán)體的性質(zhì)（二）干涉變量包括年齡、性別、教育水平、智力、動(dòng)機(jī)、興趣、職業(yè)等。美國心理學(xué)家吉塞利（e.e.ghiselli）尋找干涉變量的方法：1、用回歸方程求每個(gè)人的預(yù)測(cè)效標(biāo)分?jǐn)?shù)，與實(shí)際效標(biāo)分?jǐn)?shù)相比較；2、根據(jù)樣本團(tuán)體的組成，設(shè)立對(duì)照組，分別計(jì)算效度。3、根據(jù)顯而易見的干涉變量將其分為預(yù)測(cè)性高和預(yù)測(cè)性低的兩個(gè)亞團(tuán)體。三、效標(biāo)的性質(zhì)包括年齡、性別、教育水平、智力、動(dòng)機(jī)、興趣、職業(yè)等。來源：考試大效標(biāo)與測(cè)驗(yàn)分?jǐn)?shù)之間是否呈線性關(guān)系是很重要的因素。皮爾遜積差相關(guān)系數(shù)的前提是假設(shè)兩個(gè)變量的關(guān)系是