最近發現一個事情:帶裝 Gemini Antigravity CLI 治 Claude Code / Codex 初學者百病。
順序大概是這樣。
-
可以先解釋他可以幫到什麼,多模態辨識第一,對帳能當 OCR 用,語音轉錄能當會議記錄用。用實際的 use case 順帶說明為什麼 Claude 做不到/做不好,順便帶到 GPT 的優勢跟劣勢,讓初學者很早就知道各家模型沒有絕對優劣之分。
-
裝完登入時初學者一定會對 CLI 介面很陌生,可以順便教育他:人類習慣 GUI,AI 習慣 CLI。這些指令未來你都不用親自打,但是之後要懂得打開工具鏈慢慢看懂。如果是 30 代以上我還會自嘲:我們回到 PTT 時代。
-
裝完後把我設計好的提示詞貼給他請他轉交給 AI,然後現場抓一段錄音進去請 agy 轉錄,3.6 做語音轉錄真的是又快又好,有時間軸還可以辨認說話者,初學者立刻看到 quick win,很是滿意。
-
再請他試拍發票抽取報帳資訊。
-
最後收尾,教育一下資料保護的問題:資料會被送到哪裡,怎麼處理,會存多久。如果有顧慮,我們一起來尋找本機模式的替代品,修改 SKILL,讓他同時具備雲端跟本機的兩種模式。在這個步驟他學到了資料治理的觀念,也學到了 SKILL 是可以隨時修改的,也學到了本機跟雲端 AI 的差別。
有人問轉錄會不會有幻覺
如果指的是幻覺,這個很好解決。實作上並行獨立打 2-3 次 AGY 對照,就可以避免幻覺影響。額度不會耗費太多,一般的 Google Workspace 週額度就很夠用。對照出有差異的地方,最後列出給使用者按照記憶核對裁決,這個不到五分鐘。(對照其他模型,一般的 Whisper 轉錄也是要過這一步,因為辨識說話者每家模型都很常出錯。)
我是覺得這種實務問題都可以靠以上的小 patch 修補。以上也能當很好的機會教育(獨立查核、human in the loop 時機)。個人經驗:學生想要聽到的永遠不是「這個不能用」,而是「那我應該要怎麼解決?」
當然如果你說的是隱私考量,那就另當別論,本地模型永遠是隱私第一位。
Gemini 現在的位置
如果是寫程式,或者 agentic 任務,Gemini 已經落後了。
但是在原生多模態這一塊,Gemini 還是三家裡面最強的。當 GPT-5.6 還在調用 whisper 轉錄的時候,Gemini 已經開始吐字了,還可以辨認說話者跟上 timestamp;當 Claude 跟你說他要把影片先取 frame 再一張一張看的時候,Gemini 已經內建 1fps 取樣了。原則上,牽涉多模態的單點任務,call out gemini 準沒錯。
不過我對這工具本身沒什麼好話。gemini 爬不到的時候會用幻覺填補,超恐怖……agy 真的一個莫名,後來都用他的 headless 模式叫他語音轉錄,這應該是少數他還可以的用途。
回到教學這件事
所以好的教學是可以用一個情景串起各種觀念,讓學的人由淺至深的理解;壞的教學就是只會照抄官方文件或者照念投影片,學員有問題老師還叫他去問 AI。
我很開心我的 15 年教齡讓我有這樣的直覺跟經驗。