kv缓存从VRAM中移出去的技术出现了 现在对于MoE模型来说 除了核心attention等部分 只需要保存一些临时窗口用于计算上下文，剩下的都可以用于缓存热专家 当缓存率超过15%后，专家体积不大，激活量不高的模型就是本地王者 目前是Qwen38fn 太BUG了😂

Databricks 分享了一个 Qwen3.8-27B 微调案例：GPU 利用率已经达到 98%，继续优化后，同一份数据的训练时间仍从 7 小时 44 分缩短到 1 小时 17 分，约 6 倍提速。 主要两件事： 1. 为线性注意力层用上匹配的融合算子，减少大量小算子的调度开销； 2. 重新打包训练样本，减少 padding 带来的无效计算。 官方介绍：databricks.com/blog/reducing… 感觉很基操呀。我也是经常五倍十倍的加速训练或推理：1. GPU 资源难搞 2. 懒得等

Eleven Labs 的 CEO估计现在不太好受 。商业护城河一夜之间没了 Fish Audio新模型重磅开源，也是我一直在用来创作视频的音频。 不论你是视频创作者，还是想跟你自己搭建的 AI 模型电话聊聊投资，我认为这都是第一选择，简单好用，效果出奇的好 这次 Drama3 Model 不仅开源，能够通过符号来控制情感输出，而且提供了 fix 单一音节发音的功能。做长音频输出的朋友都知道这意味着什么

又优化了一下这个方案：一块 7 美元的 ESP32，让 AI 直接操控一台原装 iPhone。这个方案的优势是什么都不依赖：不用 Mac、不用开发者账号、不越狱，手机上也不用装任何东西。 例子：一句话让它定一个每天重复的早上 7 点闹钟，22 步全是它自己点的（红色部分） 再往后想，如果把板子换成一块能跑 Linux 的小芯片，它自己就能接收投屏、调用云端模型，连电脑都不用了，一块硬件就够，还可以做成手机壳。

如何评价字节Seed团队发现DeepSeek性能漂移？ - 酱紫君的回答 - 知乎 zhihu.com/question/209151366… 很棒，很清晰的解释，当时在做适配的时候，没有想过会存在这个问题还。

现在多智能体几乎每篇论文都会顺理成章地加上一层持久化记忆。 把过去的推理轨迹存进向量库，宣称 Agent 拥有了长期记忆后，就能越用越聪明、少看上下文等，并附上一张漂亮利落的消融实验表证明拿掉记忆，效果暴跌。 但如果有人用做底层系统工程的严苛标准，把整套逻辑完整测一遍，会发生什么？ 今天刚挂上 arXiv 的这篇Persistent Memory in Multi-Agent LLM Inference: What It Costs, What It Buys, and Why It Evades Auditing，用残酷的数据，给整个多智能体圈子泼了一盆冷水： 持久化推理记忆在严格的隔离测试下，除了多吃显存，带来的准确率收益在统计学上基本是 0。 这项研究针对三层架构的多 Agent 系统，做了真正严密的系统级归因，得出了两个结论： 1. 真正对于显存有效果的的是任务拆分 大模型长上下文推理最致命的瓶颈是 KV Cache 峰值显存，硬件必须按最坏情况预留显存，常常把边缘设备直接干爆。很多人以为 RAG 能解决这个问题，但实测发现 RAG 根本压不低峰值 KV Cache。 但是相反管用的是 Agent 任务分解。这样成功削平了显存尖峰，把每次调用的峰值 KV Cache 砍掉了 60%，端到端延迟降低了 1.8～2.3×。 2. 那为什么大家论文里的持久化记忆都涨了 研究团队在多跳 QA、长文档问答等 8 组基准上做了彻底的纯净消融，结果是：开启持久化记忆，让峰值缓存白白增加了 +0.368 MiB，而带来的准确率净收益仅为 +0.015，约等于 0。 那为什么以前那么多学术论文都测出记忆大幅涨点？研究中指出了三个点： * 记忆污染与自引用：很多测试在重跑或对比消融时，并没有严格隔离清空向量库，后跑的 Query 在语义检索时，顺手调出了前面已经跑过的自身答案甚至是真实标签 * 数据集结构的本质缺陷：主流基准的每道题是完全独立自洽的，题与题之间根本没有复用经验的因果逻辑；只要做严格的跨题隔离，Agent 能召回的只有同一次运行里其他无关题目的噪音干扰 * 把服务端波动当成算法红利：云端 API 自身的排队延迟和采样方差，被当作了记忆组件带来的确定性优势。 这篇论文非常难得的地方在于它展现了一种硬核的基础设施视角，用工程思维去解构这些记忆的效果真实情况如何 。 arxiv：arxiv.org/abs/2610.07782

Jev 在 computer-use 上的收益今天也 claim 到了。pi + Qwen 3.8 27B + DiffusionGemma as Jev 相比 Opus 5.5 on Claude Code 上少了非常 drama 的轮次，短了超过一半的思考时间。这里我还没有优化 Qwen 3.8 27B 的本地推理效率。 做完之后发现，高效 computer-use 的精髓就是 planner-executor 模式，而不是单纯的 ReAct。Jev 在这个里面可以为 executor 部分提供高速智能，在此之前是不行的。 所以我们可以得到如下经验： 所有之前 planner-executor 模式可以做的业务都可以用 Jev 赋能一次。 所有之前使用单纯 ReAct 做的业务，都可以考虑是否能用 Jev-enabled planner-executor 模式提升用户体验。 我 home lab 内的 computer-use 服务正式开启 unlimited token 时代了！

为什么跟大模型聊天时，它吐字总会莫名其妙“卡顿”两三秒？ 刚读完 arXiv:2609.38386 这篇关于 vLLM 调度的硬核论文，终于把底层逻辑讲透了： 在连续批处理（Continuous Batching）里，只要后台突然进来一个超长的新 Prompt（Prefill），显卡算力瞬间被抽走，正在按字给你吐回复（Decode）的会话就会直接进入假死。 作者提出一种纯反馈控制器 DLFP，在单卡 A100 上跑 Qwen3-0.6B，把 P99 级别的逐字卡顿暴砍了 27.7%，而且输出完全一致（Exact agreement），看似神作诞生。 结果翻到第 6 节，画风直接突变。👇

12G 显存跑 125B 巨无霸模型，你以为吐字速度是 1 秒 1 个词？ 错，它是 每秒 60–95 个 Token！比人眼阅读速度还快 3 倍，甚至长文本读取能飙到 2,000+ t/s。 几天狂揽千星的开源项目 Niko1221/Strata 彻底杀疯了： 它不仅打破了 MoE 卸载“奇慢无比”的刻板印象，还真正让一张普通的 12G/16G 游戏显卡（配 64G 内存），流畅吞下 125B 的 Qwen 顶尖大模型。 它是怎么在民用卡上跑出云端服务器级速度的？👇

10am PT, on the dot.

一个亿万富翁用42分钟讲清楚了全球经济运作 比花20万美元读MBA课程还要直白 没有那些学院派的废话，就讲真金白银怎么流动、债务怎么运转，可能是我听过最清楚的解释 值得存下来反复看

非常推荐大家去看 @YangLi_leo 写的这篇文章: The Next Scaling Problem。前段时间也受到了群里大佬的高度赞赏。 文章里几个比较重要的章节和理念值得大家一看： 1. A computer should be something the agent calls, not somewhere the agent lives 2. Write ahead of execution 3. A durable participant 4. Scaling the system around intelligence 介绍了为什么要让 agent live outside of sandbox，把cloud agents存算隔离的架构解释得非常透彻，以及提供了架构如何enable multi-agent workspace 的非常好的insight。 tetral.ai/blog/the-next-scal…

- Jev是一家伟大的广告公司，所有技术人应该逐字学习他们的文案，造词和宣传方式 🐶🐶🐶 - 帮他们做到100亿估值的投资人老师也是天才级别🐶🐶🐶 - 大家还是来读一下Kuntai，Yihua，Junchen他们的PrefillOnly吧，他们才24M

黄总这个 H3复刻真的绝了， 老色批根本懒得分辨真假，够美，够大，够深就行。 这才是重点：工具已经够用了，别再卡「会不会做视频」。 老杨这个教程里，H3 就是单图生视频这一步。 照片做成图文，H3 做成短片，钩子接到私域，lsp 付钱进群拿完整套图和更新。 九步都写了，从养号到一转、二转、三转。先把这篇看完再开工。 x.com/yhslgg/status/21044184…

This AI video looks unreal 🔥 Seedance 2.5

分享一个 GPT Image 2.5 通用角色卡提示词，可过Seedance 人脸，上传一张人像图即可。 👇

Camera angles are one of the fastest ways to make AI generations look cinematic instead of generic. This breakdown covers the key shots, from low angles and Dutch tilts to overheads and over-the-shoulder, and how to prompt each one inside Magnific. Essential for filmmakers, designers, and creators who want full directorial control over every frame. Here's my prompts: go.genhq.io/magnificxcameraa… Check out Magnific: referral.magnific.com/Rourke… @byemmasvision original inspo! Our mission is to create 100,000 new jobs for creatives, looking to learn and stay ahead in AI? Join GenHQ: join.genhq.io/ #MagnificAI #CameraAngles #AIPrompts #AIFilmmaking #CreativeAI

PAUSE AT 0:04 AS BOTH HANDS COVER HER FOREHEAD. This looks like every casual bedroom lip-sync clip: A blonde in a pink zip-up hoodie and jeans posing for the camera. Except this triggers 3 critical AI failure points: ▫️ Facial occlusion: fingers touch her forehead at 0:04 without warping facial geometry or fusing into skin ▫️ Fur & lace micro-textures: fuzzy white hood trim and lace seams stay crisp without dissolving into digital noise ▫️ High-speed hair whip: a rapid spin at 0:12 maintains strand volume and facial continuity Not a real girl. Not a real room. Zero clothes bought. Replay it twice. Tell me the exact frame you think it breaks.

知乎：程序员空闲时间应该继续卷技术，还是找其他副业？推荐你读一本书Traction（拉新：快速实现用户增长），作者是DuckDuckGo的创始人。 书中提到：作为程序员，如果你把所有时间都花在coding上，那么你是个非常失败的独立程序员。 营销traction才是程序员最该学的技能 链接：pan.fanglmshare.com/s/cb78bb…

红杉合伙人 Pat Grady 放出了一段他给 LP 讲的 15 分钟分享（对象是 Boston College 投资委员会，9 月 24 日录的），题目就叫 What is going on in the world of AI。挑了几个我觉得有意思的点。 1/ 他把过去五年拆成三个拐点： 2022 年 11 月 ChatGPT，预训练的威力； 2024 年底 o1，推理的威力（他对应到系统 1 / 系统 2 两种思考）； 2025 年秋 Claude Code + Opus 4.5，长程 agent 的威力。 他认为第三个不是连续的进步，是一次跳变，AGI 在那个点就已经到了。前两次是模型变聪明，这次是模型自己能把活干完。红杉今年 1 月发博客说 2026 是 AGI 之年，当时被笑话，现在他认为是共识。 2/ 应用公司脚下的地基一直在动。刚建立起来的优势，下一代模型一出来就可能被改写。所以他说跑得好的应用公司，每 4 个月就要重塑一次自己。 拐点一两年来一个，应用层的节奏是 4 个月（今天的护城河，可能就是明天的陷阱）。 3/ 实验室的目标已经从 AGI 换成 ASI。递归自我改进已经在发生，过去一年大部分时间，模型都在参与造自己。再往下是实验室说的“起飞”，人类跟不上，P(doom) 跟着往上走。 模型参与造自己已经一年了，对齐这块，各家却是最近几个月才意识到一直没被当回事。他还提到了 Dario 那篇讲“控制前沿节奏”的文章。 4/ 技术上的几个方向：模型走出语言、进入科学领域，比如证明新的数学定理；更高效的新架构；实验室和创业公司都在做自研芯片；持续学习现在很火，就是模型不是版本通吃，而是从环境里持续学。 5/ 商业上，实验室越来越像一家大企业了。抢 token，降价争 API 客户，还派deployco咨询大军进财富 500 强做定制应用。开始练并购，收团队、收产品。算力依然紧缺，实验室和创业公司都一样，需求跑在供给前面。人才战还在打，不过比一两年前缓和了。 6/ 创业公司的机会，他叫 diffusion gap：模型能做到的，和真正被用起来的，中间差着一大截。 他最看好高价值知识工作，编程、网安、医疗、金融、会计，认为每个大领域都会长出一家巨头。另外，云时代长出了 ServiceNow、Workday、Salesforce 这种 system of record，他觉得这一轮也会重新长出一批。还有前沿技术，已经有公司能一次生成候选药物分子，几年的分子设计压缩到几天。 7/ 世界不需要再多一家通用大模型实验室，但垂直领域的、或者走新架构路线的 neolab 有机会。他举了上周爆火的 Jev，一个分类器，做多选题式的决策，比用 LLM 便宜 100 倍，7 天从 0 做到 1 亿美元收入。 增长数字还有两个：Instinct 持续日环比 10% 以上；某家知识工作公司收入从去年底约 2 亿，到今年底约 7 亿。 8/ "拥有自己的智能"。他说推动力不是隐私或 GDPR，就是因为基础模型只占了价格/性能帕累托前沿上的几个点，大部分工作负载用自己后训练的开源模型服务得更好。所以大量负载正在从基础模型迁到开源。 他没说迁到谁家的开源模型。不过现在大家拿来做后训练的开源底座，我感觉中国模型应该占了不少。开源的价值本来就不在溢价，在扩散。 9/ 组织也在学实验室。以前是“最弱环节游戏”，组织按最弱的那个人的速度走；现在改成“最强环节游戏”，把最强的人保护起来，放手让他们干。结构上从层级、命令控制，转向类似 agent 网络的形态，靠 AI 做信息流转。 10/ 最后是估值。 红杉过去 12 个月有 7 个案例走了“两步走”，把建公司的伙伴和出钱的伙伴拆开：红杉作为建公司的一方先进，平均投后 1.1 亿美元；一个月内，资本方进场的平均价格就到了 34 亿美元。他说以前从没见过，是泡沫的标志。 场合也挺有意思。台下坐的是给 VC 出钱的 LP，他一边说泡沫，一边拿出来的是自家账面一个月涨 30 倍的数据🙂 泡沫是真的，账面涨也是真的涨。与泡沫共舞就完了。