我自己經營一個 GMAT 練習平台 PDT，題庫大部分是 AI 生成的。9 月初備份那時，光是邏輯題（CR）就有 2,662 題，其中 2,624 題的 ID 是 ai_gen 開頭。
題目是 AI 寫的，那誰來確認這些題目沒問題？我的做法是請另一個 AI，在看不到答案的情況下，把每一題自己重做一遍。
想把 AI 真的用進自己的工作？看三個月一對一 AI 陪跑 →
為什麼不能叫出題的 AI 自己檢查
我之前寫過一篇AI 自我驗證的盲點。AI 回頭自查，用的是犯錯時同一套脈絡，所以盲點原封不動被複製一次。
出題更明顯。它出題的時候就知道哪個選項要是對的，拿回來檢查，很容易變成幫那個答案找理由。所以我要的檢查者，不能知道答案鍵，也不能繼承出題時的脈絡。
盲解怎麼做
先把題目拆成兩份檔案。一份只放學生看得到的題幹和選項，另一份放答案鍵和解析。解題的 AI 只拿到前一份。
每一題先寫下自己的答案，還要寫下第二個可能的選項。全部做完，才打開答案鍵比對。
對不上的題，不直接判「答案鍵錯」。要重讀題幹和解析，分別寫出「答案鍵為什麼成立／不成立」「我的答案為什麼成立／不成立」，再分類：答案鍵真的錯、題目有兩個選項都說得通（或根本沒有正解）、格式或內容有瑕疵、還是盲解的 AI 自己解錯。
抽樣的時候，小題型刻意多抽。像 CR 的 200 題，就是依削弱、加強、解釋、假設、評估等子題型分層抽，題型小的配額相對多。
抓到了什麼
先講結果。PS 250 題、DS 250 題、CR 200 題、RC 240 個子題，這幾輪抽樣裡，答案鍵算錯或選錯的是 0 題。
我本來以為盲解最會抓到的是答案錯，結果大部分問題長得不一樣。
第一種是題幹和答案鍵互相打架。有一題 CR 在問怎麼削弱「改造玉米能減少毛蟲」的主張，題幹寫明，玉米釋放的化學物質要碰到毛蟲唾液才會變成吸引寄生蜂的氣味。答案鍵選的選項卻說，玉米被風吹傷時也會釋放這種物質，寄生蜂一再撲空後就學會忽略。可是被風吹傷的時候沒有毛蟲，就不會有氣味，寄生蜂根本不會被引過去。盲解的 AI 也選了這個答案，但說它只是「矛盾最少」的選項，不是乾淨的正解。這題 9 次作答，答對率 11%。
第二種是小到人眼很難發現的錯。一道閱讀題組的子題，子題裡的答案是 E，題組層級的答案字串卻寫 B。全庫結構掃描裡，這是唯一一筆兩處不一致的。另一題 CR 只有 4 個選項，全庫 CR 只有這一題不是 5 個。還有一題把「自來水」翻成 still water，意思變成無氣泡水，整題的論證讀起來都怪怪的，應該是 tap water。
第三種是整批生成留下的瑕疵。DS 有 38 題，題目結尾的問句被換成選項 A 的文字，學生在題目最後讀到一句像在給答案的話，其中 10 題的答案鍵剛好是 A。它們都集中在同一批生成。
第四種是任何一題單獨看都沒錯，要看全庫才看得到。2,662 題 CR 的正解字母：C 佔 48%，B 佔 38%，D 5%，E 只有 1%。一律選 C 就能拿到將近一半的分數，這會讓學生的答對率偏高，還會學到真實考試用不上的應試習慣。這一項後來用選項洗牌修掉一部分：10/20 線上 4,766 題 CR 裡，C 降到約 32%，還不算平均。
盲解也會錯
盲解的 AI 不是裁判。
DS 有一題，250 題裡唯一一題一開始和答案鍵不一致的，是盲解的 AI 漏看了「費用不可能是負的」，重解後答案鍵才是對的。另一題 CR，盲解的 AI 第一次選 D，重解後認為答案鍵 C 站得住，但 D 也說得通，所以還是被歸成「兩個選項都能辯護」。
還有一題更有趣。前面提到子題和題組答案字串不一致的那題，10/18 的盲解選 E，和子題的答案一致。10/20 另一次獨立的盲解卻選了 B。同一題，不同次盲解答案不一樣，這件事本身就是題目可能兩可的訊號。那就不是誰贏聽誰的，是要有人把題目拿來看。
另外要提醒的是，這幾輪的盲解者是同一個模型，可能有共同的盲點。而且抽樣抽到 0 個錯，不等於庫裡沒有錯。112 題裡沒找到答案鍵錯，只能說 95% 信賴的上限約 2.7%；CR 三輪合併 319 題都沒有，上限壓到 0.94%。樣本越大，上限越低，但不會變成 0。
我修題之後，也做了一次複核：把改過的 13 題做成沒有題號、答案鍵和解析的題包，交給沒看過答案鍵的解題者。13 題全部和答案鍵一致，但它對其中三題自評只有中等把握。我先照計畫處理，等之後作答資料顯示某個干擾項的選擇率不對勁，再回頭修。
如果你也用 AI 出題
不管你出的是考卷、練習題還是教材，做法大致一樣。
不要叫出題的對話自己檢查。另開一個 AI，只給它學生會看到的內容，叫它先作答，再寫第二選擇，最後才讓它看答案。不一致的別急著說是答案鍵錯，先分清楚是題目兩可、格式有問題，還是解題的 AI 自己錯了。最後，同一題兩次盲解答案不同、或盲解者說兩個都行的，交給人看。
另外，抽樣不夠的時候，也可以用程式掃整個庫的結構：選項數量、答案字母的分布、欄位有沒有對上。這些問題人眼逐題看不出來。
AI 可以出題，也可以幫我檢查，但放行這件事沒辦法外包。這份題庫上線，簽名的人還是我。
就這樣。