高等教育學(xué)分考試命題難度的控制

高等教育學(xué)分考試命題難度的控制

高等教育自學(xué)考試是中國(guó)的一種原始高等教育形式，也是國(guó)家批準(zhǔn)的一種教育形式。但是,高等教育自學(xué)考試又與其它高等教育形式有著很大的不同,其中最突出的一點(diǎn)就是高等教育自學(xué)考試以個(gè)人自學(xué)為主,社會(huì)助學(xué)為輔、以考試為唯一依據(jù)。高等教育自學(xué)考試對(duì)考生合格與否的鑒別,唯以一系列規(guī)定學(xué)科的考試為依據(jù),除此就沒(méi)有任何其它的學(xué)力評(píng)價(jià)形式。因而,高等教育自學(xué)考試的權(quán)威性、嚴(yán)肅性,乃至高等教育自學(xué)考試的生命力,都系于這唯一的考試,系于這唯一的學(xué)力評(píng)價(jià)形式的質(zhì)量上。社會(huì)評(píng)價(jià)高等教育自學(xué)考試質(zhì)量,除了在考試實(shí)施中必須嚴(yán)格執(zhí)行考場(chǎng)紀(jì)律,杜絕舞弊之外,對(duì)考試內(nèi)在質(zhì)量最關(guān)心的就是命題難度的準(zhǔn)確性和穩(wěn)定性了,對(duì)于命題難度準(zhǔn)確性和穩(wěn)定性的評(píng)價(jià),有人憑直覺(jué),有人憑經(jīng)驗(yàn),也有人憑一些不很恰當(dāng)?shù)慕y(tǒng)計(jì)指標(biāo)?？偟膩?lái)說(shuō),反應(yīng)最為強(qiáng)烈的就是試卷難度的忽高忽低。實(shí)踐證明,要維護(hù)高等教育自學(xué)考試的權(quán)威性和嚴(yán)肅性,提高高等教育自學(xué)考試質(zhì)量,首先就要控制好試卷的命題難度。數(shù)年來(lái),我們致力于高等教育自學(xué)考試命題難度的研究,對(duì)命題難度控制的本質(zhì),難度控制的目標(biāo)作了一些比較深入的探討,初步摸索出了一套命題難度控制的方法,我們稱其“標(biāo)準(zhǔn)團(tuán)體難度控制法”。一、命題難度控制的性質(zhì)從教育測(cè)量學(xué)角度看,高等教育自學(xué)考試是一種標(biāo)準(zhǔn)參照性考試。標(biāo)準(zhǔn)參照性考試以一客觀的標(biāo)準(zhǔn)來(lái)衡量考生的達(dá)標(biāo)與否,而與考生在團(tuán)體中的相對(duì)地位無(wú)關(guān),對(duì)于一個(gè)樣本群體,在標(biāo)準(zhǔn)參照性考試中可能整個(gè)群體都達(dá)到標(biāo)準(zhǔn),也可能整個(gè)群體都達(dá)不到標(biāo)準(zhǔn)。換句話說(shuō),這個(gè)標(biāo)準(zhǔn)不以考生水平的變化而變化。在教育考試中,標(biāo)準(zhǔn)參照考試的標(biāo)準(zhǔn)是以學(xué)科的教材、大綱以及國(guó)家規(guī)定的要求為依據(jù)的,它與考生群體水平?jīng)]有任何直接關(guān)系。從形式上看,考生合格與否,就是看他的得分是否達(dá)到一事先規(guī)定的合格分?jǐn)?shù)線。按我國(guó)傳統(tǒng)習(xí)慣,百分制試卷的及格分?jǐn)?shù)線都定在六十分點(diǎn)上,考生卷面分達(dá)到或超過(guò)六十分就被認(rèn)為是合格的,達(dá)不到六十分就被認(rèn)為不合格。單從形式看,所有考試的合格分?jǐn)?shù)線都定為六十分是一個(gè)不變標(biāo)準(zhǔn),對(duì)任何考生都是公平的,但實(shí)質(zhì)上,這個(gè)形式上的不變標(biāo)準(zhǔn)卻是一個(gè)不穩(wěn)定標(biāo)準(zhǔn),這個(gè)標(biāo)準(zhǔn)是隨著試卷難度的變化而變化的。如果命題難度沒(méi)有控制好,表面上合格分?jǐn)?shù)線不變,而在實(shí)質(zhì)上卻改變了六十分合格標(biāo)準(zhǔn)的水準(zhǔn);如果試卷偏難,形式上的六十分合格實(shí)際上代表了一個(gè)較高的合格標(biāo)準(zhǔn),許多本來(lái)應(yīng)判為合格的考生將被判為不合格;如果試卷偏易,則形式上不變的六十分合格線實(shí)際上就代表了一個(gè)較低的合格標(biāo)準(zhǔn),許多本不合格的考生就可能被判為合格。由以上分析我們看到,高等教育自學(xué)考試中命題難度控制的本質(zhì)是一個(gè)合格標(biāo)準(zhǔn)的控制問(wèn)題,從形式上看就是如何定出一條能真正體現(xiàn)客觀合格標(biāo)準(zhǔn)的合格分?jǐn)?shù)線的問(wèn)題。我們認(rèn)為,作為標(biāo)準(zhǔn)參照考試的高等教育自學(xué)考試,它的合格分?jǐn)?shù)線應(yīng)該具備以下四條性質(zhì):第一,客觀準(zhǔn)確性。高等教育自學(xué)考試合格分?jǐn)?shù)線所代表的合格標(biāo)準(zhǔn)應(yīng)該具有客觀準(zhǔn)確性,也就是說(shuō)它應(yīng)該與客觀的合格標(biāo)準(zhǔn)相一致,與國(guó)家規(guī)定的高教自考合格標(biāo)準(zhǔn)相一致。如果試卷所定的合格分?jǐn)?shù)線代表的實(shí)際標(biāo)準(zhǔn)與國(guó)家規(guī)定標(biāo)準(zhǔn)不一致,就表示試卷的合格分?jǐn)?shù)線不具備客觀準(zhǔn)確性。用這樣的試卷考試,或者使得許多不合格者獲得通過(guò),或者使得許多合格者被拒于合格判斷之外。產(chǎn)生這樣的結(jié)果,使得判斷考生合格與否的唯一檢驗(yàn)工具失卻了客觀準(zhǔn)確性,達(dá)不到國(guó)家設(shè)置高教自考的目的,出現(xiàn)這種情況就是命題難度控制的失敗。第二,相對(duì)穩(wěn)定性。高等教育自學(xué)考試的合格分?jǐn)?shù)線代表的是大學(xué)本科或?qū)？频暮细駱?biāo)準(zhǔn),這個(gè)標(biāo)準(zhǔn)在同一科目的不同次考試之間應(yīng)該是相對(duì)穩(wěn)定的,不能忽高忽低,更不能大起大落,特別是相鄰的兩次考試之間,不能表現(xiàn)出標(biāo)準(zhǔn)的突變。當(dāng)然,我們講的是相對(duì)穩(wěn)定。隨著社會(huì)的發(fā)展,整個(gè)民族文化素質(zhì)的提高,高等教育的水平也會(huì)提高,作為代表高等教育水平的合格標(biāo)準(zhǔn)也應(yīng)該相應(yīng)提高。這種提高與我們所批評(píng)的合格標(biāo)準(zhǔn)的忽高忽低不是一回事。但是,即使是這種提高,也應(yīng)該置于命題者的主觀意識(shí)之下,通過(guò)命題技術(shù)的控制實(shí)現(xiàn)。第三,高鑒別力。高等教育自學(xué)考試的試卷是檢驗(yàn)考生是否合乎國(guó)家規(guī)定的合格標(biāo)準(zhǔn)的工具,它應(yīng)該對(duì)考生的合格與否有較高的鑒別能力。一般來(lái)說(shuō),對(duì)于考生中極好和極差的兩類考生,試卷的鑒別往往是比較準(zhǔn)確的,而對(duì)于處于合格標(biāo)準(zhǔn)附近的考生,鑒別就比較困難,結(jié)果誤差也比較大。我們講高教自考試卷應(yīng)有高鑒別力,實(shí)際上就是要求它在所定的合格分?jǐn)?shù)線附近有高鑒別力,要使處于合格分?jǐn)?shù)線附近的考生被錯(cuò)判的概率降低到最低程度。這與對(duì)常模參照性考試的要求不一樣,常模參照性考試要求將全體考生準(zhǔn)確排序,因此要求處處有高鑒別力,而高教自學(xué)考試作為標(biāo)準(zhǔn)參照考試,要求它在合格分?jǐn)?shù)線這一點(diǎn)上有更高的鑒別力。第四,社會(huì)認(rèn)可性。代表高等教育自學(xué)考試合格標(biāo)準(zhǔn)的合格分?jǐn)?shù)線,其表面數(shù)值的大小還必須符合傳統(tǒng)習(xí)慣,獲得社會(huì)的認(rèn)可。長(zhǎng)期以來(lái),我國(guó)使用百分制卷面分?jǐn)?shù),合格分?jǐn)?shù)為六十分,已被社會(huì)認(rèn)可,如果同樣的百分制試卷卻用其它合格分?jǐn)?shù),就會(huì)被誤認(rèn)為標(biāo)準(zhǔn)變“低了”或變“高了”,即使真正的標(biāo)準(zhǔn)并不改變,也難以被社會(huì)接受。因此,我國(guó)高教自考試卷的合格分?jǐn)?shù)面值都是六十分。這一既成事實(shí)的性質(zhì)要求就把合格分?jǐn)?shù)線的確定規(guī)定成這樣一個(gè)程序:首先確定六十分是合格分?jǐn)?shù)線,然后將客觀的合格標(biāo)準(zhǔn)轉(zhuǎn)化為卷面的六十分。這一轉(zhuǎn)化就是通過(guò)控制命題難度而實(shí)現(xiàn)的。合格分?jǐn)?shù)線的這四條性質(zhì)既相輔相成,又相互制約?？陀^準(zhǔn)確性是優(yōu)良合格分?jǐn)?shù)線的最重要性質(zhì),不具備客觀準(zhǔn)確性的合格分?jǐn)?shù)線是不能作為鑒別依據(jù)的,是沒(méi)有權(quán)威的。要保證合格分?jǐn)?shù)線的客觀準(zhǔn)確性,必須要有相對(duì)穩(wěn)定性作保證。穩(wěn)定性高是準(zhǔn)確性高的必要條件,但穩(wěn)定性高還不是準(zhǔn)確性高的充分條件,具有相對(duì)穩(wěn)定性的合格分?jǐn)?shù)線卻有可能穩(wěn)定在一個(gè)不準(zhǔn)確的標(biāo)準(zhǔn)上。有了準(zhǔn)確的合格分?jǐn)?shù)線,還必須保證在合格分?jǐn)?shù)線附近有較高的鑒別力。如果沒(méi)有較高鑒別力,出現(xiàn)許多指鹿為馬式的的誤判結(jié)果,那么這條準(zhǔn)確的合格分?jǐn)?shù)線也就形同虛沒(méi)。要在形式上把合格標(biāo)準(zhǔn)確定為六十分的合格分?jǐn)?shù)線,以獲得社會(huì)認(rèn)可,就存在一個(gè)如何把客觀標(biāo)準(zhǔn)轉(zhuǎn)化為卷面的六十分的問(wèn)題,這給準(zhǔn)確把握合格標(biāo)準(zhǔn)帶來(lái)了較大的困難。如果想免卻這一過(guò)程,那就可能使每次的合格分?jǐn)?shù)線都不相同,引起考生的誤解,得不到社會(huì)的認(rèn)可,所以要?jiǎng)澏ㄒ粭l優(yōu)良的合格分?jǐn)?shù)線,必須同時(shí)具備上述四條性質(zhì)。在高等教育自學(xué)考試中,要?jiǎng)澇鲆粭l符合上述條件的合格分?jǐn)?shù)線,必須通過(guò)調(diào)整試題的各項(xiàng)性能、特別是通過(guò)調(diào)整試題的難度來(lái)達(dá)到預(yù)期的目標(biāo)。由此看來(lái),在高等教育自學(xué)考試的命題中,難度控制的目標(biāo)就是合格分?jǐn)?shù)線的準(zhǔn)確劃定,使劃定的合格分?jǐn)?shù)線同時(shí)具備上述四條性質(zhì)。二、傳統(tǒng)的理論方法無(wú)論是經(jīng)典測(cè)量理論還是項(xiàng)目反應(yīng)理論(IRT)都非常重視命題難度控制的研究,兩種測(cè)量理論都在自身的理論基礎(chǔ)上發(fā)展起了成套的命題難度控制方法,其特點(diǎn)各有千秋。在經(jīng)典測(cè)量理論中,命題難度控制是通過(guò)規(guī)定全卷試題的難度分布實(shí)現(xiàn)的。經(jīng)典理論以考生團(tuán)體為參照標(biāo)準(zhǔn),定義試題的難度為全體考生在其上的得分率(或失分率),然后規(guī)定某學(xué)科某考試試題的難度分布,從而達(dá)到控制試卷難度的目標(biāo)。從形式上看這種方法保證了每次考試的難度分布相同,通過(guò)控制難度分布控制了合格分?jǐn)?shù)線的劃定,使得合格分?jǐn)?shù)線具有準(zhǔn)確、穩(wěn)定的性質(zhì)。這種方法在實(shí)施時(shí),都是通過(guò)求取考生樣本群體的難度估計(jì)總體難度的,它對(duì)于不同次考試之間群體水平相對(duì)穩(wěn)定的考試是較為適用的。但是,高等教育自學(xué)考試每次應(yīng)考人員的流動(dòng)性很大,其每次考試時(shí)群體的水平變化也較大,而變化規(guī)律又較難掌握,這樣用經(jīng)典理論方法來(lái)控制高教自考試卷的命題難度就更顯得困難了。首先,在考前很難準(zhǔn)確估計(jì)每道試題的難度。其次,即使能夠準(zhǔn)確估出試題難度,并且也使所命試卷的難度分布符合規(guī)定的要求,這種以當(dāng)次考生群體水平為參照物估計(jì)的試題難度,是隨著考生的水平變化而變化的,對(duì)于高教自考所確定的客觀的合格標(biāo)準(zhǔn)來(lái)說(shuō),這種難度與它是相距甚遠(yuǎn)的。若滿足于如此定義的難度值在形式上符合規(guī)定分布,并且又以一個(gè)不變的六十分作為合格分?jǐn)?shù)線,實(shí)際上是在不同水平群體間維持了不同的合格標(biāo)準(zhǔn),這樣既破壞了合格分?jǐn)?shù)線的穩(wěn)定性,又降低了它的準(zhǔn)確性。項(xiàng)目反應(yīng)理論(IRT)控制命題難度,確定合格分?jǐn)?shù)線的方法從統(tǒng)計(jì)學(xué)角度看是比較科學(xué)的。首先,項(xiàng)目反應(yīng)理論把試題難度定義在被試的潛在特質(zhì)水平尺度上,以考生群體中在該試題上恰有百分之五十正確作答率的考生水平值作為試題的難度值。由于它以作答概率作媒介,所定義的試題難度與考生群體水平無(wú)關(guān),不受考生流動(dòng)的影響,是試題性質(zhì)的本質(zhì)反映。試題難度由被試特質(zhì)水平刻劃,使得對(duì)這種水平的被試來(lái)說(shuō),用這一試題施測(cè)是最為恰當(dāng)?shù)摹Ｆ浯?項(xiàng)目反應(yīng)理論在實(shí)際組卷時(shí)要求把全卷試題難度集中在合格分?jǐn)?shù)所對(duì)應(yīng)的特質(zhì)水平值附近分布,使得試卷施測(cè)后,在合格分?jǐn)?shù)線附近有最小的誤判概率,提高了合格線的鑒別力。項(xiàng)目反應(yīng)理論提供的方法是非?？茖W(xué)的,其結(jié)果也是非常理想的。但是,應(yīng)用項(xiàng)目反應(yīng)理論需要建立一個(gè)大型題庫(kù),題庫(kù)中的所有試題均要預(yù)先估出它的所有參數(shù)值,目前要大面積推廣還存在著許多實(shí)際困難。經(jīng)典理論方法和現(xiàn)代理論方法,一個(gè)欠準(zhǔn)確,一個(gè)欠實(shí)際,都難以效法,出路何在呢?我們?cè)谏钊氡容^了兩種理論方法控制命題難度,制定合格分?jǐn)?shù)線的優(yōu)缺點(diǎn)之后,把項(xiàng)目反應(yīng)理論的難度定義稍作修改,引進(jìn)經(jīng)典理論的難度分布控制法,兩者結(jié)合最終形成了我們稱之為標(biāo)準(zhǔn)團(tuán)體難度控制法的高等教育自學(xué)考試命題難度控制方法。三、以標(biāo)準(zhǔn)團(tuán)體為參照物作為標(biāo)準(zhǔn)參照性考試的高等教育自學(xué)考試,其合格標(biāo)準(zhǔn)與考生團(tuán)體水平本來(lái)是無(wú)關(guān)的,這個(gè)標(biāo)準(zhǔn)是一個(gè)客觀的標(biāo)準(zhǔn)。但是,由于這種標(biāo)準(zhǔn)都是一系列的抽象原則,最多是一些描述性的語(yǔ)言,要將其轉(zhuǎn)化為實(shí)際中可供操作、計(jì)量的標(biāo)準(zhǔn)是相當(dāng)困難的。因此還是把這個(gè)標(biāo)準(zhǔn)與考生聯(lián)系起來(lái),在考生群體上定義難度,求取一個(gè)可以操作的統(tǒng)計(jì)指標(biāo),以便計(jì)量控制試卷難度,從而達(dá)到準(zhǔn)確劃定合格分?jǐn)?shù)線的目的。這就是經(jīng)典測(cè)量理論的思想方法。然而,經(jīng)典測(cè)量理論以考生全體作為難度估計(jì)的參照物,在一般測(cè)量中基本上是可以的,即使以樣本群體的統(tǒng)計(jì)量作估計(jì)值,其誤差也是可以估計(jì)的。高等教育自學(xué)考試卻非同一般,正如我們前面所指出的,高教自考的考生群體是一個(gè)變化規(guī)律遠(yuǎn)未探清,變動(dòng)幅度又比較大的群體,以這樣的群體作總體樣本,估計(jì)總體參數(shù)值,其估出值本身就欠穩(wěn)定性和準(zhǔn)確性,再以它為合格分?jǐn)?shù)線的確定依據(jù),就根本不可能得到穩(wěn)定性和準(zhǔn)確性具佳的合格分?jǐn)?shù)線了。在現(xiàn)代測(cè)量理論(IRT)中,試題的難度是以某部分考生為參照物的,其難度值不受考生群體變動(dòng)的影響。我們?cè)O(shè)想在高教自考考生中找到一個(gè)不變?nèi)后w,以經(jīng)典理論的難度定義法在這個(gè)不變?nèi)后w上定義難度,則所求難度就兼具二者的優(yōu)點(diǎn)了。為此我們抽象定義了一個(gè)“恰好達(dá)到高教自考合格標(biāo)準(zhǔn)”的團(tuán)體作這個(gè)要求的參照物。我們稱這個(gè)抽象定義的參照物為“標(biāo)準(zhǔn)團(tuán)體”,我們認(rèn)為無(wú)論哪一次考試,也無(wú)論這次參考的群體水平如何,這個(gè)“標(biāo)準(zhǔn)團(tuán)體”都是存在的,其團(tuán)體水平是穩(wěn)定不變的。這就是在高等教育自學(xué)考試中恰好達(dá)到合格標(biāo)準(zhǔn)的那些考生所組成的群體,這個(gè)群體的特征與全日制高校中恰好達(dá)到合格標(biāo)準(zhǔn)的考生群體的特征基本上是相同的。命題者如果是一個(gè)長(zhǎng)期從事教學(xué),有豐富經(jīng)驗(yàn)的教師,則對(duì)這個(gè)“標(biāo)準(zhǔn)團(tuán)體”的考生的知識(shí)結(jié)構(gòu),智能特性將是比較熟悉的,因此,這將是一個(gè)命題者比較容易把握的參照物。在定義了“標(biāo)準(zhǔn)團(tuán)體”以后,我們進(jìn)一步定義試題的難度為“標(biāo)準(zhǔn)團(tuán)體在該試題上的得分率”。那么,無(wú)論各次考試考生群體如何變動(dòng),團(tuán)體水平如何變化,標(biāo)準(zhǔn)團(tuán)體的水平是不變的,以標(biāo)準(zhǔn)團(tuán)體為參照物的標(biāo)準(zhǔn)難度也是不變的。這就為我們通過(guò)控制試題難度分布而準(zhǔn)確劃定合格分?jǐn)?shù)線提供了必備條件。有了標(biāo)準(zhǔn)難度,我們就可以配比試題的難度分布。配比試題難度分布的目標(biāo)原則是要使標(biāo)準(zhǔn)團(tuán)體的考生在所命試卷上恰好能得到合格分?jǐn)?shù)六十分。若設(shè)每道試題的標(biāo)準(zhǔn)難度為Pi,(i=1,2,……,n)相應(yīng)試題的滿分值為Fi,全卷共有n道試題,那么,對(duì)于標(biāo)準(zhǔn)團(tuán)體中被試來(lái)說(shuō),應(yīng)有上式僅是一個(gè)目標(biāo)原則,試題難度的分布符合上述原則的解是很多的,哪種是最理想的呢?我們考慮優(yōu)良合格分?jǐn)?shù)線的另一個(gè)條件,那就是在分?jǐn)?shù)線附近應(yīng)有最高的鑒別能力?，F(xiàn)代測(cè)量研究已證明,在某個(gè)分值附近有最高鑒別力的試題,是那些能使恰好處于該分值水平上的被試有百分之五十的通過(guò)率的試題。我們現(xiàn)在要使所選試題在合格分?jǐn)?shù)60分上有最高鑒別力,就要找使得標(biāo)準(zhǔn)團(tuán)體考生在該試題上有百分之五十通過(guò)率的那些試題,這也恰好是我們所定義的標(biāo)準(zhǔn)難度為0.50的試題。從理論上講,如果試題的標(biāo)準(zhǔn)難度都維持在0.5,并且每道試題本身也都有較高的區(qū)分度,那么由這樣的試題組成的試卷,就能把位于合格分?jǐn)?shù)線附近的考生按他們的實(shí)際水平——合格或不合格,把他們推向分?jǐn)?shù)兩極端,降低得分處于合格分?jǐn)?shù)線附近考生的比例、從而降低誤判概率,達(dá)到使合格分?jǐn)?shù)線有高鑒別力的要求。根據(jù)這一原理,標(biāo)準(zhǔn)參照測(cè)驗(yàn)若以六十分為合格分?jǐn)?shù)線,則試題標(biāo)準(zhǔn)難度最理想的分布將是:難度為0.5的試題占分八十,難度為1.0的占分二十,即有80×0.5+20×1.0=60,滿足目標(biāo)原則。但是,在實(shí)際命題中并不能如此理想化地組拼試卷。實(shí)際命題時(shí),有時(shí)希望把合格考生分成兩個(gè)層次,以便選優(yōu),有時(shí)還希望把不合格考生也分成兩個(gè)層次,以激勵(lì)學(xué)習(xí)。根據(jù)這些設(shè)想,我們提出了四種實(shí)驗(yàn)方案(參見(jiàn)附表)。從提高合格分?jǐn)?shù)線的鑒別力出發(fā),一、三兩方案比較好;從細(xì)分考生為四個(gè)層次來(lái)說(shuō),二、四方案可為優(yōu)選。因?yàn)橐?、三方案中?biāo)準(zhǔn)難度0.5的試題占絕對(duì)優(yōu)勢(shì),而二、四兩方案中分別增加了在另外兩個(gè)分?jǐn)?shù)點(diǎn)附近有高區(qū)分度的試題。