蠢人 benchmark：跑分跟實際體驗為什麼差那麼多

為什麼模型刷出來的benchmark，跟使用者的實際體驗差別有時很巨大？

我覺得有幾個原因：

1. 現實工作中，人類下的提示詞不會那麼工整標準。往往會東講西講，該講的不講，缺一大堆脈絡，無法完整闡述自己的意圖。
2. 跑分很大一部分看的是「one shot完成率」，但我們真實世界的開發不一定是追求一步到位，而是追求邊走邊調、「指哪打哪」的這個感覺，純跑分測不到。
3. 跑分時上下文是乾淨的，harness整齊得像是無塵室。但是真實使用者harness往往亂成一團，上下文可能還會污染、衝突。模型抵抗上下文混亂的能力就很重要。

而我認為就是以上這三點，分出了GPT 6 跟 Claude 的高下。

蠢人 benchmark

以後應該要有人設計蠢人benchmark才對，找最不會下提示詞的初學者處理最混亂的工作，在這種情況下還能讓使用者覺得「天哪！你竟然知道這就是我要的」的模型，才是神之模型。目前Opus 5.5 已經有到這標準了（不降智的話）。

GPT 6 的實際體驗

下面是我自己用 GPT 6 的感受。

這28天不知道還能撐多久，感覺是沒招了。

真的很好奇到底是base model訓爛了，還是codex harness太糟。怎麼可以創造一個沒有品味、極度平庸、毫無主見、畏畏縮縮、鑽牛角尖、死認字面、吞噬用戶判斷、講話帶滿卸責的懦夫模型。重點是速度還比我地端模型要慢。

GPT 6 就是一個非常悶的模型：

• 把人搞瘋的防禦性寫作
• 過於注重局部正確性，忽略全局
• 完全不敢顯示自己的主見下判斷
• 甚至會吞噬使用者的判斷跟業務邏輯

這部影片完全講的就是我的感受：【GPT 6 Astra：一个平庸、沉闷、没有品味的模型-哔哩哔哩】

另一篇專門聊 GPT 6 為什麼讓人覺得笨：為什麼 GPT 6 Sol / Luna 用起來這麼蠢。

還有一件事：現在的訂閱制 Astra 跟剛發布的根本是兩個東西。X 上有人實測過 juice 值（思考預算），API 調用的 Astra 700 多，訂閱制的 20 多。所以我的建議是：退訂改 Claude⋯

有沒有接 API + 第三方 coding agent 的朋友們可以出來分享：外接的 Astra / Sol 表現如何？

我都只好叫 Opus 來收爛攤⋯