談語言能力的考查_考試不一定可靠.pdf

專家論壇 GUANLI 管理 中國人一般總是主張 分數(shù)面前人人平等 認 為考試是最公平的人員評價方式 事實上 考試的 公平性問題并不像人們想象的那樣簡單 考試并不一定可靠 我們把考試作為一把尺子對人的能力進行測 量 公平的前提是這把尺子是可靠的 如果這把尺子 本身有質量問題 今天量一個長度 明天量又一個長 度 你量一個長度 我量又一個長度 這樣的考試就 不能保證公平 令人遺憾的是 今天社會上許多考 試都不同程度地存在可靠性問題 據(jù) 2002 年 7 月 22 日 南方日報 一篇題為 高 考作文兩次改判背后的幸與不幸 的文章披露 在 2002 年四川省高考語文閱卷工作中 一篇作文因 與傳統(tǒng)觀點格格不入 評卷老師只給 20 分 將此 文提出來與整個閱卷室的數(shù)十位評卷教師討論 結 果爭議很大 從 20 多分改成了 40 多分 最后請示評 卷指導委員會 最終被認為是一篇不可多得的佳作 給出了相當高的分數(shù) 滿分 60 高考 應算我國最嚴肅的考試之一 高考 這 把 尺子 在被用來測量一個考生的語文能力的時 候 尚存在如此大的 伸縮性 其他考試的可靠性可 能問題更大 一個好的考試 首先需要反映考生真 實的水平 能否反映考生的真實水平就是考試的可 靠性問題 或信度問題 可靠的考試并不一定有效 在一項關系考生命運的重要考試中有這樣一道 閱讀理解題 歷來印章均以篆為宗 故治印章必先精通篆法 用字要有出處 變化須合六書 切忌生編濫造或任意 增減 以篆為宗 中的 篆 指的是 A 篆刻B 篆法C 篆字D 書法 這道題的正確答案是 篆字 在考試中 大部 分考生選擇了 篆法 答對這道題 需要某些關于 治印的專門知識 那些具有這方面知識的人 可以 取得好的成績 這類題目 可以反映出考生治印知 識方面 真實的 水平 但是 這項考試的目的是考 查 閱讀理解 而不是 治印 雖然考試成績是 可 靠的 反映了考生某一方面的真實水平 但是 對于 評價考生的 閱讀理解能力 這一目的來說 有效性 卻有限 最具權威的語文考試應算是語文高考試卷 受 國家教委考試中心的委托和資助 筆者曾經(jīng)對 1990 年的語文高考試卷的有效性進行過一次統(tǒng)計分析研 究 研究對象包括北京的市重點中學 區(qū)重點中學 普通中學的學生和大學新生 收集的考試有效性資 談 語 言 能 力 的 考 查 考 試 不 一 定 可 靠 謝 小 慶 23 料包括高三的語文成績 高中語文教師對學生語文 水平的評價 同學之間關于語文水平的互相評價 大 學第一年的各科成績 研究結果表明 高考語文成績 與這些反映學生語言能力的指標之間相關較低 或 者說 高考語文成績不足以反映出考生的語言能力 大學學習能力傾向測驗課題組 所有考試的命題人員都會認為自己編制的考試 是 高分高能 實際應用的考試中 卻常常存在一些 高分低能 的現(xiàn)象 高分低能 的考試就是缺乏有 效性的考試 考試能否實現(xiàn)考試目的 這就是考試的 有效性問題 或效度問題 所謂效度 總是就一定的 考試目的而言的 既可靠 又有效的考試 并不一定有用 在一個大學畢業(yè)生的求職簡歷中 學習成績單 上寫著 現(xiàn)代漢語 80 分 即使他所參加的 現(xiàn)代漢 語 考試是一項既可靠 又有效的考試 根據(jù)他的這 個成績 我們也很難判斷他的 現(xiàn)代漢語 課程學得 究竟如何 更不用說據(jù)此去推測他的現(xiàn)代漢語水平 的高低 如果任課老師評分政策比較嚴格 他這門課 程可能學得很好 如果任課老師評分政策比較寬松 他這門課程可能學得并不好 或者說 我們從這個分 數(shù)中得到的有關這個考生的評價信息很有限 分數(shù) 中包含信息很少的原因是缺乏必要的參照系 任何一組考試題目或考試任務 都可以得到一 個 正確回答數(shù) 或 正確回答比例 都可以得到一 個 分數(shù) 但是 并不是對任何一個分數(shù)都可以做出 與考試目的有關的解釋 都可以被賦予 意義 都可 以成為決策的合理依據(jù) 考試的可靠性和有效性是 對分數(shù)進行解釋的基礎 是賦予分數(shù)以意義的前提 此外 還需要有一個合理的分數(shù)體系 考試的質量存在優(yōu)劣之分 一般人的觀念是 是英雄 是好漢 考場上 比比 看 考不過 心服口服 現(xiàn)代教育測量學的觀念是 何 以見得一個人答不好這張試卷就做不好工作 完不 成學業(yè) 在根據(jù)考試成績做出招工 招生方面的決策 時 需要拿出說明考試的信度 效度的證據(jù) 否則 就 是對一個人就業(yè) 升學權利的侵害 考試是一個衡量人的能力的 天平 或 體溫 計 這個 天平 或 體溫計 本身存在著質量問題 有的質量較好 可以基本準確地反映人的能力水平 有的質量較差 在測量的過程中存在很大誤差 這個 體溫計的質量如何 這個考試的質量如何 何以見得 我沒有通過某項考試就不能勝任一定的工作或學習 任務 理由是什么 這些問題 應該得到合理的回答 由于考試往往關系到一個人的命運 與冰箱 彩電 洗衣機的質量問題相比 考試的質量問題應該受到 更多的關注 考試更應該具有一張 質量檢驗合格 證 考試的目的是提高人員素質 維護社會公平 但 是 并非所有考試都一定能夠帶來人員素質的提高 都能夠實現(xiàn)社會的公平 中國古代的科舉考試是形 式上非常完備的考試 有些保證公平的措施今天都 很難做到 例如 科舉的 單間 施測 進場搜身 謄錄 為了避免辨認筆跡將所有答卷全部重新抄錄 等 等 但是 科舉考試并沒有帶來人員素質的提高 為 了真正達到選拔人才和維護公平的目的 需要重視 考試本身的質量問題 能力與知識的區(qū)別 1997 年 北京文學 一組題為 中國語文教育憂 思 的文章 揭開了一場關于語文教育的大討論 這 場討論的成果之一就是國家教育部 2001 年制訂的 全日制義務教育語文課程標準 實驗稿 中華人 民共和國教育部 這一課程標準凝聚了我國語文教 育研究人員的科學研究成果 凝聚了課程改革研究 人員的辛勤勞動和心血 給我印象最深刻的是 在這 個 課程標準 中大膽地提出 應著重培養(yǎng)學生的語 文實踐能力 不宜刻意追求語文知識的系統(tǒng)和完 整 長期以來 重視知識傳授而忽視能力培養(yǎng)是我 國教育的痼疾 我認為 能將這句話寫入教育部頒布 的 課程標準 是我國教育在探索素質教育和能力 培養(yǎng)方面邁出的重要一步 是一件很了不起的事情 是一件具有里程碑性質的事情 究竟什么是 語文實踐能力 什么是 語文知 識 為了回答這個問題 需要思考能力與知識的區(qū) 別 對于知識與能力的區(qū)別 中國的古人早就做出 了非常清楚的回答 授人以魚 不如授人以漁 送給 別人一些魚 不如教給別人一些打魚的方法 魚 就 是知識 漁 就是能力 知識性考試 就是看一個人簍 子里有多少魚 能力性考試 就是讓人打兩網(wǎng)魚看 看 看其漁之高下 魚 和 漁 之間有區(qū)別 知識 與 能力 之間 管理 專家論壇 GUANLI 24 專家論壇 GUANLI 管理 也有區(qū)別 在心理學中 能力和知識是一對既有聯(lián) 系 又有區(qū)別的概念 能力的形成離不開知識的積 累 但能力不是簡單的知識積累 二者的區(qū)別 主要 體現(xiàn)在下面幾個方面 首先 二者的影響面不同 知識僅僅影響到一個 人在有限領域中的活動 例如 關于茅盾作品的知識 僅僅影響到一個人解決與茅盾作品有關的問題 對 他在其他方面的活動影響并不大 語言能力則影響 到一個人在廣泛領域中的閱讀和表達活動 其次 二者的變化速度不同 相對來說 知識是 一種 快變量 既可能通過強化訓練而獲得 也可能 由于遺忘而失去 能力則是一種 慢變量 能力的形 成過程恰似 冰凍三尺非一日之寒 不是一朝一夕 的事情 第三 二者的變化方向不同 能力的變化基本是 單向的 只增長 不減少 能力一旦形成 一般在衰老 之前不會失去 知識則不同 可能增加 也可能因遺 忘而減少 能力考試與知識考試的區(qū)別 了解了知識與能力之間的差異 就很容易發(fā)現(xiàn) 能力考試與知識考試的不同 知識考試主要考察特 定的知識內容 如字詞知識 語法知識 作家知識 作 品知識 等等 能力考試則主要考察那些影響活動較 廣的 比較穩(wěn)定的 潛在的 不易受到環(huán)境影響的心 理特征 能力考試不同于知識考試 與知識考試相 比 能力考試的特點主要表現(xiàn)為以下兩個方面 首先 不容易受到強化輔導的影響 幾乎是無法 準備的 在知識考試中 一些實際能力和學習潛力并 不很強的人 可能會借助強化輔導和死記硬背而取 得高分 相反 一些具有較強潛在能力的人 可能由 于不善于背書和不善于應付考試而成績不高 知識 考試很大程度上反映的是一個人對于考試的準備程 度而不是實際的能力水平 在知識考試中 準備 3 個 月的人通常會比準備 1 個月的人更容易取得好的成 績 接受過特殊輔導的人往往比沒有接受過特殊輔 導的人更容易取得好的成績 有的時候 知識考試成 績所反映的是輔導教師的水平而不是學生的實際水 平 與此相反 能力考試往往是無法準備的 除了長 期積累 別無捷徑 其次 對記憶力的要求較低 多數(shù)考試的目的是 考查應考者是否具備完成某些工作 學習任務的能 力 招生 招聘考試的目的是預測應考者以后的學 習 工作表現(xiàn) 考試內容的確定必須從考試目的出 發(fā) 在知識考試中 一般需要考生記憶一些知識內 容 對考生的記憶力有較高的要求 記憶力是人的基 本的心理能力 較好的記憶力是完成工作 學習任務 的條件之一 但是 取得成功所需要的能力是多方面 的 與記憶力相比 可能理解能力 判斷能力 推理能 力 表達能力等更為重要 記憶力較強的人一般容易 在知識考試中取得好成績 但是 在實際工作中 記 憶力強的人并不一定是最成功者 語文考試考什么 筆者認為 語文考試需要考語言能力 主要是語 言交際能力 交際能力 可以理解為 交流能力 或 信息溝通能力 我認為 語言交際能力 是指在 一定情景中 在一定語言背景中運用語言的能力 而 不是對某個孤立字 詞 句式 語法知識 作品知識 作者知識的記憶或識記 語言交際能力主要包括 1 運用語言獲得信息和傳遞信息的能力 2 對語言環(huán)境的適應能力 3 運用語言完成一定工作和學習任務的能力 具體講 語言交際能力包括 1 在一定語言環(huán)境中理解字 詞的含義并掌握 字 詞的用法 2 從聲音和文字的語言材料中獲取主要信息 3 把握和概括語言材料的主要內容 4 跨越障礙 根據(jù)上下文推斷語言材料中省略 的一些非關鍵性內容 5 領會語言材料中所表達的態(tài)度 情感 語氣 情緒 6 根據(jù)語言材料做出合理的推斷 7 以口語和書面方式正確 清楚 得體地表達自 己的意思 理論上 語文考試需要考查口頭和書面的語言 交際能力 在有條件的情況下 可以考查口語能力 考查的方式既可以是平時的觀察 也可以是面試 這 里 我們主要討論如何考查書面的語言交際能力 書 面的語言交際能力包括閱讀理解和書面表達兩方面 的能力 在閱讀理解方面 一方面需要考查對文字材料 的理解能力 另一方面 需要考查閱讀的速度 同時 也需要考查對字詞的掌握 25 在書面表達方面需要考查的能力包括 正確地 書寫漢字和語句 掌握句子連接的方式 掌握組句成 段的表述習慣 掌握漢語書面表達的一般格式 具體 地描寫出事物的狀態(tài)和主要特征 清楚地敘述事件 的主要過程和具體細節(jié) 說明和解釋事物的基本事 理和形成的原因 闡述對某種現(xiàn)象的看法和理由 等 等 在語文考試中是否需要考查學生立意構思的能 力呢 這涉及到語文教學界爭論已久的工具性和人 文性的關系問題 涉及到語言教學 文學教學和人文 教育的關系問題 說來話長 就我個人的傾向講 不 贊成在語文考試中考立意構思 我認為 表現(xiàn)為 文 從字順 2001 年新 課程標準 用語 中華人民共和 國教育部 的語言能力與表現(xiàn)為 真知灼見 的立意 構思能力屬于不同的能力 文從字順者未必有真知 灼見 有真知灼見者未必文從字順 對語文能力可能進行客觀化測量 一般說 最有效的評價方式是高水平語文教師 對學生的長期觀察 是教學中的長期評價 這種評價 的主要缺點是缺乏可比性 王老師總能相當準確地 認定自己的學生中誰的語文水平最高 但王老師的 得意弟子與李老師的得意弟子誰的水平更高就很難 說 由于缺乏可比性 這種方法在實踐中的可操作性 受到局限 傳統(tǒng)的主觀性考試是僅次于長期觀察的比較有 效的評價方法 但是 有效的條件是高水平的評分 人 如果評分人不具慧眼 就會有許多 范進 蒙冤 即使是高水平的評分人 也有失察的時候 在實際的 判卷中 常出現(xiàn)開始較嚴 越判越松的現(xiàn)象 對于命 題作文來說 評分可能不是最重要的誤差因素 主題 的偶然性會影響到考生的發(fā)揮 遇到順手的題目 不 吐不快而一氣呵成 遇到缺乏自身體驗的題目 搜腸 刮肚仍難得佳句 考生可能由于缺乏體驗而使真實 的語言能力得不到充分表現(xiàn) 或許選擇題的有效性稍差 但具有客觀性強和 可以用計算機評分的優(yōu)點 客觀性選擇題的命題難 度很大 不僅需要經(jīng)驗的積累 而且需要天分和靈 感 坊間流行的習題集 參考書中的客觀題大多是粗 制濫造 一位北京中學語文教學界的權威人士講 命制主觀題我一個晚上可以編一份試卷 命制客觀 題我有時為一道四選一選擇題的一個迷惑性備擇選 項而考慮一個晚上 粗制濫造的選擇題俯拾皆是 前面給出有關 篆 法 的題目屬于命題老師的用心之作 且通過了層層 嚴格審查而進入了正式試卷 事后的統(tǒng)計分析數(shù)據(jù) 顯示 該題目鑒別能力很差 不能正確鑒別考生的語 言能力 下面 給出幾道統(tǒng)計分析數(shù)據(jù)顯示質量較 高 鑒別力較好的選擇題 選詞填空 這個鄉(xiāng)的成功經(jīng)驗 說明農村一定要因地制宜 地發(fā)展生產 這是不能 的經(jīng)濟規(guī)律 A 違犯B 違抗C 違背D 違拗 答案 C 選擇與所給短文內容最相符合的一項 鐵路新線路的開辟與否往往必須在建路花費盡 可能少的要求與新建路線的商業(yè)與貿易運輸量盡可 能多的要求之間取得妥協(xié) 這段話主要支持了這樣一種論點 即新建鐵路 的線路 A 應該是一條造價最低的線路 B 選擇影響了新興商業(yè)與貿易中心的興起 C 決定于是否與終點之間的距離最短 D 不會總是具有最低建造成本的路線 答案 D 選擇與所給短文內容最相符合的一項 物理學的影響遠遠超出了它自己的領域 對分 析方法的強調導致了學術界廣泛的還原主義 進而 變?yōu)橐环N確信復雜的世界現(xiàn)象可以通過將其還原為 某些要素來加以理解的信念 生物學家 心理學家甚 至人文學者在標榜自己的學說時 都情不自禁地從 物理還原論模型中尋求支持 這段話主要支持了這樣一種論點 即 A 各門科學之間的互相借鑒已日趨普遍 B 在物理學研究領域中 還原論是一種有效的 方法論 C 一種方法論往往具有自己的適用范圍 D 方法論對科學發(fā)展的推動力是巨大的 答案 C 我認為 如果我們有足夠高水平的評分隊伍 我 們可以不要客觀性試題 如果我們有足夠高水平的 命題人員 我們可以不要主觀性試題 然而 我們面 對的現(xiàn)實是既不能保證評分隊伍的水平 也缺乏命 制客觀性試題方面的經(jīng)驗積累 管理 專家論壇 GUANLI 26 專家論壇 GUANLI 管理 客觀性選擇題在美國的普遍使用始于 20 世紀 40 年代 普遍使用的原因是二次大戰(zhàn)中缺乏人手 沒有足夠的評分教師 二戰(zhàn)結束后 圍繞是否繼續(xù)使 用選擇題的問題 美國語文教學界進行過很激烈的 爭論 尤其是對使用選擇題來考查寫作能力的爭議 很大 為此 從 1954 年起 美國最大的考試研究機構 教育測驗服務中心 ETS 進行了長達三年的實驗研 究 ETS對 英文寫作水平考試 English Composi tion Achievement Test 簡稱 ECT 全部是選擇題 普通寫作測驗 General Composition Test 簡稱 GCT 兩小時的作文考試 和 學習能力傾向測驗 Scholastic Aptitude Test 簡稱 SAT 的言語部分 全部是選擇題 等三個考試進行了比較研究 考試 的有效性標準是語文教師對學生作文水平一年或一 年以上的觀察結論 1957 年 ETS公布了他們的研 究成果 SAT 的效度最高 與語文教師基于長期觀 察對學生寫作能力做出的主觀評價最一致 其次是 由客觀性試題組成的 ECT 最差的是由作文題目組 成的 GCT D Owen 正是由于這一項研究 才使 其后的 40 年中客觀性選擇題成為美國語言能力測 試的主要題型 從上世紀 90 年代開始 美國的語言考試中逐漸 開始采用了作文考試 伴隨作文考試的增加 出現(xiàn)了 借助計算機給作文評分的 電子評分員 e rater 早在 60 年代初 ETS 學者 Ellis Page 就曾經(jīng)受 美國大學委員會 College Board 委托研究過作文的 客觀評分 他收集了 30 個可定量的作文特征 用計 算機程序分析了學生的作文 得到文章質量的最好 預測指標是 平均詞長 非基本詞匯的運用 逗號的 數(shù)目 文章長度 介詞數(shù)目 D Owen 37 38 頁 從 1999 年開始 電子評分員系統(tǒng)被正式應用在 托福 和 GMAT 的寫作評分中 這一系統(tǒng)是 ETS 的 Jill Burstein 博士及其研究小組用自然語言處理 技術 NLP natural language processing 與信息擷取技 術 IR information retrieval 研究開發(fā)的一種用于寫 作能力測量的計算機程序 主要基于語言特征 fea ture 分析之上 研究人員通過分析一篇作文表現(xiàn)在 句法結構 syntactic structure 話語結構 discourse structure 和詞匯關聯(lián) vocabulary related 等方面的 特征來對之進行評價 考慮了詞匯使用 句子結構 文章組織 寫作邏輯 修辭 論述條理 文章內容等諸 多因素 研究人員統(tǒng)計了包括文章長度 平均詞長 度 平均句長度 詞頻率 句式結構 標點使用等在內 的共 60 多種可以定量分析的指標 在 托福