前天测了3.6,今天测了一下Qwen 3.8 9B和27B
设备还是:
MacBook Pro
M1 Max / 64GB Unified Memory / 24-core GPU
btw,这两次测试使用的都是同一个 prompt:
“Write a 500-word explanation of how Bitcoin proof-of-work works.”
先测了 Qwen3.8-9B Distill:
Thinking ON
33.48 tok/s
6,605 tokens
结果:3m 18s
Thinking OFF
34.30 tok/s
652 tokens
结果:19.4s
同一个模型、同一台 Mac、几乎完全一样的 raw inference speed。
仅仅关闭不必要的 reasoning:
3m18s → 19s,任务完成速度快了约 10×。
然后是正式的 Qwen3.8-27B Q4_K_M:
Thinking ON
9.92 tok/s
10,616 tokens
结果:17m 52s
Thinking OFF
10.79 tok/s
748 tokens
结果:1m 10s
又是一次:
堪称龟速的 17m52s → 1m10s,约 15×。
模型生成 token 速度倒是比较稳定:
9B 的物理速度一直稳定在 ~34 tok/s;
27B 也一直稳定在 ~10–11 tok/s。
有趣的结论浮出水面:把普通任务从几十秒拖到十几分钟的,是模型自以为是“thinking”生成的上万 reasoning tokens。
我还亲眼目睹了它为了符合“500字”的要求,连出3版并逐字数数的过程(图2),不得不说这个测试挺适合治疗失眠。
所以我对当前开源大模型的看法依旧依旧是把它当工具用,告诉(设计)他什么时候该思考、什么时候该把任务升级给云端,才能最大化其承担的工作。
总之,今日第一次从上帝角度理解了“人类在思考,上帝在发笑”的意味,有趣有趣。
最近 Qwen3.8-27B 挺火,出于两个动机我也想测试一下目前本地模型的能力。
第一,我一直在想一种 Local × Cloud 的 24/7 AI workflow:
日常、重复、隐私敏感的任务,不一定需要最强模型。一个「表现不错、成本接近于零、可以永远在线」的本地模型,或许可以承担大量 background work;真正困难的 任务,再交给云端的 frontier model。
第二,我最近也在做 AI hardware。
在产品制作过程中,我开始关心一个问题:一个足够小、能够真正部署在本地甚至端侧的模型,如果可以完成感知、理解、简单决策和绝大多数日常交互,产品体验可能会上一个台阶。
不过目前 Qwen3.8 官方开放的权重还是 2.4T-A95B,27B 并没有正式开放;Qwen3.7 也没有对应的小参数 open-weight model。
于是我退一步,测试目前可以直接部署的 Qwen3.6-27B。
俺的设备:
MacBook Pro
M1 Max / 64GB Unified Memory / 24-core GPU
Ollama
同一个 prompt下的表现对比:
Qwen3.5-9B(图1)
Prompt eval: 127.52 tok/s
Generation: 34.21 tok/s
2,011 tokens
Total: 59.3s
Qwen3.6-27B(图2)
Prompt eval: 40.13 tok/s
Generation: 9.98 tok/s
6,103 tokens
Total: 10m 13s
测试的结果不支持最初的理想情况。
27B 确实可以非常轻松地装进 64GB unified memory,但 generation speed 只有 9B 的约 29%。
而且这次 27B 默认生成了大量 reasoning tokens。
于是「更大的模型 + 更慢的 tok/s + 更长的 reasoning」叠加起来,一个相同的任务,从约 1 分钟变成了 10 分钟。
期待未来的 1B–7B,能做到今天 20B、30B 模型的大部分事情。
但目前差距还有点远。