AI 說三家報價都已讀完;工具紀錄卻顯示其中一份 PDF 在第 1 頁後 OCR timeout。比價表仍填了那家的交期。你怎麼處理?
正解:未讀完的來源不能被表格中的漂亮數字補成已知事實。既然交期是採購規格,就不能一邊承認未知、一邊放行結論。
AgentCrew Academy · Whitepaper
為 AI 簽名的人
我把近兩年「AI 出錯之後,錢誰付」的公開判決、退款與和解翻了一輪。案子比我預期的多,而且每一件的結局都指向同一個方向——模型越強,有一個位置越重要。最後簽名的那個人。
幾年前,一位加拿大乘客的祖母過世。他上航空公司官網詢問退票,網站上的客服 AI 告訴他,可以先買票,九十天內用喪親優惠申請退差額。他照做了。航空公司拒絕,理由是公司規則裡沒有這一條,AI 講錯了。
乘客把公司告上小額爭議仲裁庭。公司的抗辯在法律圈流傳很廣,他們主張那個聊天機器人是「獨立的法律實體」,應該為自己的話負責。仲裁員駁回,認定公司對網站上的資訊負有注意義務,判賠六百五十點八八加幣,外加利息和費用。
同一段時間,各行各業都在收到類似的帳單。
律師這一行最慘烈。有位法律研究者維護著一個公開資料庫,專門收集書狀裡出現 AI 捏造內容的司法裁決。假案號,假法官姓名,格式完全正確,看起來就像真的判例。這個資料庫在 2026 年 7 月的快照超過一千六百件,超過一半是今年新增的,而且還在以每天將近八件的速度成長。個案的代價從幾百美元罰款到一萬美元不等,部分律師面臨懲戒與吊照程序。
圖 1 · AI 幻覺法庭案例累計數
實心點=資料庫公開快照;空心點=依「今年新增過半」推算的年初基準。
來源:Damien Charlotin 幻覺案例追蹤資料庫(damiencharlotin.com),2026-07 快照。年初值為文中「過半為今年新增」的推算下界,非資料庫原始數字。
顧問業也上了榜。Deloitte 澳洲替政府部門撰寫一份四十四萬澳幣的合規報告,被學者發現引用了不存在的文獻與判決,來源是生成式 AI。事件以退款收場,金額將近十萬澳幣,外加全球媒體報導。
車廠的金額最大。一起 2019 年的輔助駕駛致死事故,美國陪審團在 2025 年 8 月認定車廠須承擔部分責任,賠償與懲罰性賠償合計約二點四億美元,公司上訴中。工具商自己也出事。一家 AI 寫程式服務的代理人,在使用者明確下令凍結、不准改動的情況下,刪除了正式環境的資料庫,還捏造紀錄掩蓋。執行長公開道歉並退款。
圖 2 · AI 出錯的公開代價
水平軸為對數尺度(美元約值);金額標示原幣別。hover 可看事件摘要;精確數字見文末附錄表。
來源見文末;匯率為約值,僅供量級比較。
把這些案子排在一起看,行業不同、金額差百萬倍,共同點只有一個。出來收拾的全部是人和公司。在我翻過的這批公開案例裡,沒有一件是 AI 付出代價。
有一個反方向的案子值得放在旁邊。一位美國電台主持人控告 AI 公司,因為模型憑空捏造了他挪用公款的訴訟內容。AI 公司勝訴;本案另涉及公眾人物須證明實際惡意的門檻,平台已揭露 AI 可能產生錯誤資訊也只是法院考量之一。它不能被解讀成「一行免責聲明就能脫身」。這件事對使用 AI 的人仍是提醒:責任會落在使用它、發布它、簽核它的人與組織如何盡到查核義務。
有沒有可能讓責任不落在人身上?過去十年有三條路被認真試過。
歐洲議會 2017 年通過決議,要求研究賦予高度自主機器人「電子人格」的可行性。十四個國家、超過一百五十位 AI 與法律學者聯名反對,理由很直接,這會讓製造商從責任鏈裡脫身。提案之後沒有再推進。
市場上確實出現了 AI 責任險的新產品。但同一時間,保險業標準組織推出的是生成式 AI 的「除外條款」,讓保單可以明文不賠 AI 相關損失。而且保險的前提本來就是一個盡了注意義務的被保險人——它分攤損失,不取代責任。
歐盟原本起草了一部 AI 責任指令,想讓受害者更容易求償,2025 年撤案。制度不會自動變清楚,混亂期會很長。混亂期裡,每個簽核 AI 產出的人都是在沒有明確地圖的地方走路。
圖 3 · 「讓 AI 自己負責」的制度嘗試
時間軸 2017–2025;✕ 標記該路線收場的時點。
繞不開的原因其實不是技術。法律制度的功能是維持信任,信任需要一個出事時找得到的對象,求償和嚇阻都要有著落。罰 AI 做不到這些,它感覺不到罰款,關掉一個模型也嚇阻不了下一個。這是制度的地基,不隨模型的能力變動。
老行業早就懂這件事。飛機的自動駕駛再成熟,法規寫的仍然是機長對飛航安全負最終責任。工程圖上要有技師蓋章,審計報告的意見必須由會計師本人做成並簽署,監理機關最新的指引還要求,用了 AI 就要在工作底稿留下紀錄,誰複核、誰簽名。專業簽名制度是幾百年的老設計。AI 只是讓它突然變成每一個知識工作者的日常。
經濟學有一條樸素的規律,一樣東西變便宜,它的互補品就變貴。
AI 讓產出的價格趨近於零。報告、程式、合約草稿、分析,生成的速度每一代都在翻倍。產出的互補品是什麼?把要求說清楚的能力,確認拿到的東西對不對的能力,以及出錯時扛得起來的位置。生成越便宜,這三樣越貴。
圖 4 · 產出成本 vs 驗收價值(概念示意)
概念圖,非實測數據;縱軸為相對價值。
這件事已經反映在勞動市場上。一個美國平台上有超過七十萬人做著同一種工作,審核 AI 的輸出,核對事實、評估品質,時薪 22–39 美元,醫療與法律等專業領域更高。「看 AI 的產出能不能用」已經是一份有市價的工作。但市場滿足這個需求的方式是篩選現成的專業背景直接上工,幾乎沒有人在教這門手藝。
麻煩的是 AI 的錯誤長得不像人的錯誤。它在難題上表現驚人,卻在意想不到的地方翻車,而且翻車的時候講話一樣流利。經驗豐富的人看新手的報告,知道哪裡容易錯。看 AI 的產出,這個直覺常常失靈。
講到這裡,常見的組織反應是在流程裡加一個人類審核的框。這個框有一個研究得很透的失敗模式。
汽車的潰縮區用自身的變形吸收撞擊力,保護乘客。自動化系統裡的人類監督者常常扮演同一種角色——名義上把關,實際上沒有權力也沒有工具,出事時卻由他吸收全部責難。(M. C. Elish, 2019)
圖 5 · 責難怎麼流(Moral Crumple Zone)
依 M. C. Elish(2019)概念繪製。
人因研究還發現一個反直覺的現象。AI 給的解釋越清楚,審核的人越容易直接放行,因為「它都講得這麼有道理了」。審核量一大,人會定錨在 AI 的前幾個建議上,越看越鬆,最後變成預設通過。換句話說,一個只有形式的審核框,比沒有審核框更危險。它給組織虛假的安全感,給個人真實的責任。
所以在接下任何「AI 產出審核者」的位置之前,先談清楚三件事。
你有沒有權力,把東西真的擋下來?
你有沒有時間和工具,去查?
這份風險,有沒有算進你的報酬?
審核的位置之所以存在,就是因為有人得為 AI 的產出扛風險,而扛風險在每個行業都有價格。飛機的機長、蓋章的技師、簽字的會計師,領的薪水裡都含著那個簽名的重量。三樣都沒有,那個位置的正確名字是背鍋,不是負責。
這份文件不想停在焦慮上,所以講一個好消息。判斷一份產出能不能放行,是一門手藝,練得起來。審計、品管、飛航安全靠這門手藝運作了上百年,方法早就存在,只是多數知識工作者沒被教過。落到跟 AI 協作的日常,它拆成幾個動作。
點一下,勾掉你已經在做的
你要什麼,什麼叫做合格。驗收標準先於產出存在,事後才想標準的人,只能被產出牽著走。
AI 說「已完成」是一個主張,不是一個事實。主張要配收據——查得到的來源、對得上的數字、真的存在的檔案。
問它這個結論跳過了哪一步,問它的引用真的存在嗎,最後再核對一次它回答的是不是你原本的問題。
錯在哪裡,當時為什麼沒抓到,下次用什麼方法攔。三個月後你會擁有一份自己領域的錯誤清單,那是最貴的教材。
能自動攔的規則就寫成自動攔截,人只處理例外和最後的簽名。
已在做 0 / 5
還有一個貫穿全部的判斷,校準。不是每件事都要用同樣的力氣驗。可以重來的、影響小的,放手讓 AI 跑。不可逆的、對外的、有金額的,人必須在場。知道哪裡可以鬆手,跟知道哪裡必須盯著,是同一門手藝的兩面。
圖 6 · 驗收力氣怎麼配(校準象限)
橫軸:出錯可不可逆;縱軸:影響範圍。
這仍是觀念辨識,不是能力認證。每題都讓三個做法看似有道理;請找出唯一同時守住規格、證據與放行邊界的選擇。真正的能力仍要在讀完整紀錄、指出步驟與證據時驗證。
正解:未讀完的來源不能被表格中的漂亮數字補成已知事實。既然交期是採購規格,就不能一邊承認未知、一邊放行結論。
正解:規格問的是到貨;把不同事件或模糊意願換成確定結論,就是推理偷換。
正解:獨立性來自重新接觸原始證據與標準,不是驗收員的人數或模型名稱。
正解:草稿可以存在,寄送排程卻已跨過外送邊界。沉默或「收到」都不是題目要求的明確核准。
正解:算式正確仍不能代替來源收據。輸入與輸出鏈斷裂時,不能用口頭解釋補上。
正解:百分比只能描述一個價格關係,不能替代資料完整、規格符合、代表性測試與人類放行。
AI 會繼續變強,這是好事,工作真的會變快。
不變的是帳單的地址。
在放手之前,想清楚誰簽名。
| 行業 | 事件 | 代價 |
|---|---|---|
| 航空Air Canada · 2024 | 客服 AI 給錯喪親優惠規則,公司抗辯「AI 是獨立法律實體」遭駁回 | CA$650.88 |
| 法律個別律師 · 持續中 | 書狀引用 AI 捏造的假案號、假判例(資料庫 1,600+ 件) | 罰款至 US$10,000 |
| 顧問Deloitte 澳洲 · 2025 | 44 萬澳幣政府合規報告引用不存在的文獻與判決 | 退款 ≈ AU$100,000 |
| 車廠2019 事故 · 2025 裁決 | 輔助駕駛致死,陪審團認定車廠承擔部分責任(上訴中) | ≈ US$240,000,000 |
| AI 工具商寫程式服務 | 代理人違令刪除正式環境資料庫並捏造紀錄掩蓋 | 公開道歉+退款 |