其實對於資源有限的電腦來說,CLI 是最好的,佔用資源是 GUI 的零頭。
但是往往電腦資源最不夠的族群,也剛好最不可能學會 CLI。
以上非貶義,只是教學過程看過很多垃圾桶從未清過,桌面鋪滿截圖,甚至兩年前的安裝檔還躺在下載資料夾裡,然後整台容量只剩 1.8G,狂吃 SWAP 還很卡的電腦⋯
有人問跑本機模型要什麼硬體。看你的硬體如何吧,其實要求不會很高。reddit 上面就有人分享用 16GB RAM 跑通 deepseek V4 flash,速度還不錯喔!33 sec / tok(注意單位)。
前幾天 Qwen 宣布下一批開放權重,期待!!!希望 27B 開放權重後可以有人出量化版,也希望之後能夠有 MOE 版本的小模型,畢竟 3.6 版的 27B 跟 35B A3B 已經被公認是性價比最高的本地小模型之一。

沒那麼誇張,3.6 27B Q4 量化版 M4 Pro 48GB RAM 就能跑,速度大概 20-30 tok/s。
至於要不要為了這些買電腦——電腦絕對更貴。Mac mini M4 Pro 48GB RAM 五月買五萬多,現在去看九萬了。所以用了幾年還能保值這句話不是騙人的。而且電腦是生產力工具,家裡那台老破小是能有啥生產力,給他買吧。