Sarah是學生、家長、同事和教長都認為是好教師，深受學生愛戴，即使她所屬教區正面對新改革，利用電腦系統去評核老師表現，去年她也得到很高的評價，但今年她竟然被評為表現最差教師之一，給炒掉了。

　

　　究竟出了甚麼問題？

　

　　2007年，華盛頓特區迎來新市長，他銳意革新，認為花了那麼多錢在教育方面，教出來的學生不夠好，他要改善該市表現不佳的學校；於是請了Michelle擔任新教育局長。當時華盛頓特區，九年級之後每兩名高中生只有一名能順利畢業，所以，他們認為學生學得不好，是老師教不好。

　

　　教育部長推新方案，把表現最差的教師請走。這是美國有問題學區的趨勢，而站在納稅人和教育官員的角度，想法看似合理，政府投資了那麼多錢辦教育，但學生表現差，肯定是教師教學能力有問題。他們要教師接受考核，表現差的教師離職，表現出色的老師留低，甚至有獎金。

　

　　理論上，這麼做可改善學校，從而提高學生成績。事實上除了「差」老師，誰會認為這做法有問題呢？

　

　　系統工程師設計了一個教師評價系統，學年結束時，華盛頓特區將表現最差的，約200教師全部炒掉，Sarah是其中一個。

　

好老師為何會被評為差老師？

　

　　Sarah是所有人眼中的好教師，怎麼可能在電腦系統中被評為差老師呢？

　

 

　　問題應該是這名為Value-Added Modeling的評分系統，系統目的是測量一個教師在教授數學和語言技能時的表現。它由演算法產生分數，而該分數佔被評教師得到的總分一半，結果便完全「抵銷」了校長、老師、學生和家長對她的正面評價了。

　

　　因Sarah的總分達不到標準，教育局便炒掉她，另外約200名教師也失去教職。這是電腦系統的評分，Sarah看來不是被任何人迫害或遭報復。

　

　　教育當局的做法有其道理。或許校長可能是壞老師的朋友，又或許欣賞他們的作風和熱情。而且評分客觀，把差教師炒掉，把省下來的資源投放在好教師身上，不是更好嗎？

　

　　事實上，有不少壞老師可以裝成好老師模樣。為了避免人為偏見而影響老師評價，用客觀數據最適合。問題是：甚麼是客觀數據？

　

　　原來客觀數據是學生的數學和閱讀測驗分數。

　　

　　問題來了，學生的數學和閱讀測驗成績不完全是老師的責任，心知和老師的教學方法和熱情沒有絕對的。但做官的也不是這樣說這樣想，他們認為數字將說明一切，而這是比較公平的做法。

　

　　學生測驗前的準備、他個人能力和心理質素，甚至是他家庭也會對測驗分數產生影響。

　

　　評價教師系統背後的演算法，設計時應考量這些差異，雖然要歸納人的情緒、行為，表現和潛力並不不容易。

　

　　Sarah認為她的得分極度不公平，而她希望知道分數是怎麼搞出來的的。不只是她，學校裏每一個人和家長學生都不明白那些數字是怎麼來的。

　

　　一位好老師怎麼可能得到那麼差的分數？

　

　　例如一個學生得去年的數學成績是70分，今年的是75分，那麼他就是進步，老師便得到正面評價；但如果他今年的成績是65分，那麼他就是退步，老師便得到負面評價。這就是演算法的所謂客觀標準了。

　

　　但去年是三年級，今年是四年級，課程深了，考試卷可能也出得太深，影響了學生成績，我們怎可能單靠一、兩次測驗成績，便介定老師表現好壞呢？而且一班學生只有25-30人，測試的樣本有是否不足夠呢？

　

大數據演算結果一定是對的？

　

　　相比像Google的大數據公司，研究者可以不斷測試並監測數以千萬計的變化。例如，把個廣告上文字顏色由黃色改為綠色，然後分別對一萬人展示，比較哪個顏色廣告得到更多點擊率。系統工程師可利用結果優化演算法，微調方式，這測試十分有效。

　

　　但評估一個教師一年內，對某些學生產生多大的影響，應該是很複雜的。而只是分析25-30個學生測驗成績，便評比一個老師的教學表現，在統計學怎靠得住。樣本規模太小，出錯的可能性大。

　

　　《Weapon of Math Destruction 》（大數據的傲慢與偏見）作者Cathy O'Neil指出電腦系統「認定」這些人是失敗者，當局於是「認定」他們是失敗者，200名「壞」老師被開除了，省回不少錢。表面上看，電腦系統十分有效，顯示華盛頓特區正在清除表現不佳的教師。Cathy認為電腦系統不尋找真相，因此分數本身便代表真相。這是十分危險的。

　

　　Cathy是數據科學家，哈佛大學數學博士，曾任教於巴納德學院，後任職於對沖基金公司德劭，離開金融業後曾於多家新創企業擔任數據科學家，負責建立預測人們購買和點擊行為的模型。正是她的背景，她質疑這個電腦系統如何知道自己的判斷是否正確呢？

　

　　它不會知道。

　

　　系統本身認定這些教師是失敗者，教育當局於是認定他們是失敗者。 200名「壞」老師被開除了，包括優秀教師Sarah。

　

　　Sarah得分低得很，但她卻找不到一個可以向她解釋原因的人，這件事本身很有問題。

　

　　電腦系統數產生的結論，有如上帝發出命令。系統本身是個黑洞，其內容保密。這些多年來，華盛頓特區的教師埋怨電腦評分不清楚，希望當局能具體說明分數是如何產生的。

　

　　但教育局告訴他們：分數是演算法產生的，而該演算法非常複雜。解釋也不明白，這是系統工程師最常用的答案，亦是最佳藉口。

　

　　Sarah對被開除震驚不已，但她僅失業數天。 因為很多人，包括校長推薦她，很快她便在一有錢人區的私立學校找到教職。因此，「拜」電腦系統所賜，貧窮社區學校失去了一名好老師，有錢人區的私立學校則得到了一名好老師。而且私立學校不是由教育部管的，故老師不被評核，Sarah不用擔心給電腦系統再次「炒」掉她。

　

　　現在，社會上甚麼都說用大數據，看投資是否合理，若把教育也看數據看回報的話，我們的世界將會變得更麻木不仁了。

 

 

 《經濟通》所刊的署名及／或不署名文章，相關內容屬作者個人意見，並不代表《經濟通》立場，《經濟通》所扮演的角色是提供一個自由言論平台。

• 

【etnet 30周年】多重慶祝活動一浪接一浪，好禮連環賞！ ► 即睇詳情