李明洋摘譯、改寫*
Yong Zhao / 2016-12-05
原文網址: http://zhaolearning.com/2016/12/05/don%e2%80%99t-read-too-much-into-it-what-brexit-and-u-s-election-surprises-can-teach-us-about-pisa/
重點摘譯:
2016年，最讓世人感到震驚的莫過於英國脫歐(Brexit)和美國總統大選這兩件事。這兩件事的最終結果都推翻了所有的預測。民調結果是錯的，專家的斷言也錯了。雖然這些預測都表示，絕大多數的英國人將投票贊成繼續留在歐盟，但最後卻是多數票同意脫離歐盟。雖然這些預測都認為Clinton會贏得選戰，但最後卻是Trump將會在明年1月份入主白宮。英國"獨立報(The Independent)"記者Siobhan Fenton寫道:"從美國大選到英國脫歐，...民調愚弄了選民和專家。"
儘管許多的專家預測錯誤，但大家都同意的是，在某種程度上，數據愚弄了這些對數據深信不疑的專家，或說這些數據只不過是"死的資料"。這兩個接連讓預測錯誤的事件提醒了我們，數據可能會欺騙我們，可能會誤導我們，有時候可能還沒什麼用處。盲目相信數據可能會導致災難，造成持續性的影響。
當今世界上有兩個系統呈現出龐大的教育數據，供我們解釋。2015 TIMSS已於上週公布了數據。而具有影響力的國際評量計畫PISA也宣布，在2016年的12月6日公布2015年的評量結果。毫無疑問，世紀各地的專家、記者和政策制定者都將會對該結果發表評論，試圖做出結論，以及為教育政策和實務提出建議。例如總部位於華盛頓特區的全國性政策和倡議組織"卓越教育聯盟(Alliance for Excellent Education)"已宣布12月6日為"PISA日(PISA Day)"，並要架設網站，將評量結果公布在網站上。該組織還計畫在公布結果的第2天舉行"PISA和全球經濟論壇(PISA and the Global Economy)"，針對PISA的結果進行深入的探討。
該組織理事長，也是前西維吉尼亞州(West Virginia)州長Bob Wise在網站上寫道:
PISA日不只透過國際視野讓我們看到學生的表現，而且重要的是我們可以從表現卓著的其他國家獲得啟示，以確定美國的學生，尤其是那些資源匱乏的學生，是否已準備好要在當今的全球經濟中競爭。
但是，如果PISA的數據，就如同針對英國脫歐和美國大選所做的多數預測是不可靠的，那麼針對PISA的數據所做的任何結論和建議又可靠嗎?
PISA不是政治性的民調，而是個試圖預測未來的調查。根據PISA官方的文宣資料，"PISA評量的是(各國)義務教育接近尾聲時，學生習得的關鍵知識和技能的程度，而這些技能是參與現代社會各個面向之所須。"接受評量的是15歲的學生。換句話說，PISA官方宣稱評量的結果可以(預測)各國學生及各國的未來是否成功。
和選舉不同的是，我們無法確切地證實PISA的預測是錯的，因為學生日後的人生成功與否不像投票一樣有所謂最終的結果。但是，如果我們把學生的成功視為贏得選戰，而PISA所評量的知識和技能就宛如選票，那麼在英國脫歐和2016美國總統大選期間所做的民調錯誤，就可以提供給我們某些有趣的警訊。
首先，英國的民調之所以未能廣泛地預測1992年大選(General Election)的結果，其中一個主要的原因就是"害羞的托瑞黨人(shy Tories)"，亦即支持保守派的選民拒絕表態投票意圖。1992年以後，雖然民調機構試圖改善調查方法，但他們所做的努力可能不夠，因為同樣的情形仍舊在2015年重現，民調結果再次低估了保守派的選票。同樣的，"害羞的Trump選民"是促使總統大選民調失靈的主因。在這兩件事中，"害羞的選民"都大大地降低了民調預測的準確性。
PISA也有類似的問題。無論PISA官方聲稱要評量什麼，實際上所能評量的知識和技能的範圍和殊異性仍舊非常有限。結果，評量不到的知識和技能乃超過實際評量到的，這就和民調沒能調查到那些"害羞選民"的意見是同樣的狀況。換句話說，真正攸關學生是否成功的(因素)終究沒能在數據中被呈現出來。
因此，我們要問PISA的第一個問題是，PISA能準確地評量出真正關鍵的東西嗎?
其次，在美國總統大選期間，對於民調人員而言，足以改變大選結果的"十月驚奇(October surprises)"早已是司空見慣的事。十月驚奇也會對民調的準確性構成影響。由於這些驚奇事件的發生時間過於逼近大選日，所以民調可能無法完全掌控選票所受到的影響，而使得預測失準。
PISA官方宣稱，他們評量的內容是個體未來得以獲致成功所必備的知識和技能。之所以做出這樣的假設，乃是因為PISA官方自信地認為自己知道未來個人獲致成功所必備的條件有哪些。然而，儘管PISA當局和專家已為將來的想像下了許多了不起的工夫，但是教育界的"十月驚奇"可能造成的影響卻是更加的廣大。我們不妨想想，針對選舉所做的民調不過只是預測單一事件，就是選舉而已，但是PISA企圖做的，卻是要針對全世界15歲孩子的未來人生做預測。只要稍稍回顧過去幾十年來，世界變化的速度有多快，變化的規模有多大，就可以知道根本沒有人可以擔保說，這些15歲孩子的未來將會經歷多少"十月驚奇"。
過去的幾十年以來，自動化已改變了數百萬名工廠工人的人生。諸如Amazon和eBay等電子化商務平台業已改變了實體店家和員工的命運。無人駕駛汽車也正準備要改變汽車司機的人生。而第4次工業革命(Fourth Industrial Revolution)將以何種方式來進一步改變我們的工作性質和生活模式，我們既不知道，也無從得知。
因此，我們要問PISA的第二個問題是，PISA如何能如此確定地評量不確定的未來必備技能呢?
對民調機構來說，要想找到"可能的投票者(likely voter)"或正確判斷出誰會把票投給哪一位候選人，已是愈來愈難的任務，但這卻又是影響民調準確性最為重要的因素。對英國脫歐和美國總統大選所做的多數民調不是無法準確預估出哪些選民會真的支持哪位候選人，就是低估或高估了各方候選人的支持率。無論採取何種模式來進行預測，但總有一種模式是最被民調單位採用的，那就是過度依賴以往的選舉經驗，認為仍舊會遵循著過去的投票型態。而這次，他們錯了。誠如普林斯頓大學(Princeton University)教授Sam Wang在選後接受媒體採訪時表示:"我的假設是根據2004年到2012年間的選舉經驗，...現在，這個假設是錯的，而我必須回過頭去，以誠實的態度面對新的數據。"
PISA對於其預估能力的自信也是來自於過去的經驗。PISA選擇的評量項目，科學、閱讀和數學，長久以來被人認為是在世界上成功生存最重要的科目。他們一直以來都是世界各地學校教導學生的最核心科目，因為大家都認為這些科目是現代生活所必備。但是，對於現今這一些15歲的孩子來說，這些科目在10年、20年、30年後是否真的有幫助呢?對所有的人來說，這些真的是對未來有幫助的科目嗎?抑或不同的個體所需要學習的，是完全不同的知識和技能呢?
於是，這衍生出PISA的第三個問題，那就是，PISA的閱讀、數學和科學評量結果，是否真能準確掌握每個人將來成功參與世界各地社會所必須的專業知能呢?
PISA不僅試圖利用這幾個科目的評量結果來預測當今15歲孩子有否具備未來生活上得以獲致成功的知識和技能，而且還根據這些科目的得分情形，為教育政策和實務提出建議，認為孩子必須為這些知識和技能做好準備。這樣的作法很有可能會對數億孩子，甚至是全世界的人的一生造成影響。後果是極為嚴重的。風險是極高的。因此，我們必須質疑PISA評量結果的品質，方能做出結論。千萬不要深陷其中。
作者簡介
本文作者Yong Zhao為國際知名教育學者、作家及演講者，專精於全球教育方法及應用，曾任職於美國奧瑞岡大學(University of Oregon)，擔任教育測量、政策和領導學系教授；目前為堪薩斯大學教育學院(School of Education at the University of Kansas)特聘教授(distinguished professor)。Zhao教授著作等身，發表學術文章百餘篇，出版20餘本書，包括2015年出版的"莫把人送去做機器做的事:導正科技融入教育的5個最大謬誤(Never Send a Human to Do a Machine's Job: Correcting Top 5 Ed Tech Mistakes)"，2014年出版的"誰害怕大惡龍:為何中國擁有世界上最好(最差)的教育體系(Who's Afraid of the Big Bad Dragon: Why China Has the Best (and Worst) Education System in the World)"，2012年出版的"世界級的學習者:教育創新與學生創業(World Class Learners:Educating Creative and Entrepreneurial Students)"，以及2009年出版的"迎頭趕上或引領世界:在全球化時代的美國教育(Catching Up or Leading the Way: American Education in the Age of Globalization)"。此外，他尚有經營部落格: http://zhaolearning.com.。
(*本文獲原作者Zaho教授中文翻譯授權，本人特此致謝)
沒有留言:
張貼留言