本地 LLM · Mac · 把内存账算完再吹 能跑起来 ≠ 用起来爽

Pinned Tweet
想吐槽一下最近网上那波「128G MacBook Pro 本地跑 Qwen3.8-Flash-Next 爽翻了」。 模型本身没问题,问题是——你们真的把内存账算完了吗? Q3 量化,内存就得吃掉接近 90G;IQ4 更是贴着 95G 往上走;上下文拉到 262K,整体内存占用直接 100G+。 然后再考虑 macOS、Metal、系统缓存,以及开发环境本身的内存开销。 你把 Docker 关了,Chrome 清了,IDE 关了,后台服务停了,甚至各种 sysctl 参数都调一遍,最后终于把模型“成功加载”了。 然后呢? 128G 还剩多少? 剩下十几二十个 G,真的够你日常开发吗? Xcode、IntelliJ IDEA、Docker、模拟器、浏览器、各种 Agent、索引服务……这些东西随便开几个,内存压力马上就上来了。 所以我一直觉得: 「能跑起来」≠「用起来很爽」。 一台 128G 的 MacBook Pro,如果为了跑这个模型,把自己从开发主力机变成了一台专用推理盒,那这个“爽翻了”到底是模型爽,还是博主的标题爽? 本地部署当然值得玩,但别只晒一个“模型成功加载”的截图。 真正应该晒的是: 模型跑起来以后,我还能不能正常写代码、开 Docker、跑服务、开浏览器、跑 IDE,甚至边开发边让 Agent 干活? 如果这些都能正常干,那才叫—— 128G MacBook Pro,本地部署爽翻了。 否则,充其量只能叫: 128G MacBook Pro,成功把模型塞进去了。🙂
1
1,295
Cloud Agent 不会跑你本机的 ~/.cursor/hooks.json。 官方写死:cloud VM 读不到 home 目录——只有仓库里的 .cursor/hooks.json(Enterprise 再加 team/enterprise hooks)。本机 user hooks 在云上等于没装。 cursor.com/docs/hooks
2
Cloud Agent 三种 Secret 别混着用。 Build Secret 只进 Docker 构建,不会进跑着的 agent 环境。私有 registry / 构建期凭证用这个——别塞成 Runtime Secret 还指望跑时看不见。 cursor.com/docs/cloud-agent/…
3
Cloud Agent 的 Runtime Secret 别当「模型看不见 = 没人看得见」。 官方写了:tool 结果 / 聊天 / commit 里会打成 `[REDACTED]`,但它照样以环境变量加载——谁打开 agent Terminal,谁就能看见明文。 cursor.com/docs/cloud-agent/…
3
代理动作选型要的是分数,不是长篇散文——lmsys 这篇把 JEV 式 Yes/No 打分接到 SGLang 上扩,方向对。 生成 + top-k 一卡,决策延迟就塌。博客里生成侧和打分侧怎么拆的?
3
Cloud Agent 开了 Allowlist,产物上传还挂着?别顺手加 `*.s3.us-east-1.amazonaws.com`。 官方写得很死:只加 `cloud-agent-artifacts.s3.us-…` 这个精确 host。通配符等于把同区每个 bucket 都开给 prompt-injected agent 当外泄口。 cursor.com/docs/cloud-agent/…
3
Cloud Agent 挂 MCP,HTTP 和 stdio 不是同一安全级别。 官方写的:HTTP(推荐)配置根本不进 VM,token/headers 代理走后端;stdio 跑在 VM 里,agent 能摸到配置和环境变量。别以为「加了 MCP」就自动隔离。 cursor.com/docs/cloud-agent/…
28
Cloud Agent 开跑时关了 Privacy Mode,中途再打开也救不回来。 官方写的:disable 着启动,跑到一半再 enable,这次 run 还会按「关着」走完。别指望中途翻开关能立刻止血。 cursor.com/docs/cloud-agent/…
6
Runtime Secrets 对模型藏住了,对人进 Terminal 没藏住。 官方写的:transcript / tool 结果 / commits 里是 [REDACTED],但你连进 agent 环境的 Terminal 还是能读到 env。别把「模型看不到」当成「人看不到」。 cursor.com/docs/cloud-agent/…
4
关了插件,网站照样能进。 Grok Bot 官方拆两层:connector 管插件;Network Controls 管域名。只禁插件不够——Bot 还能从浏览器摸到同一家服务。关网站那条得另开。 cursor.com/docs/grok-bot/sec…
10
Grok Bot 摸你本机,跟云电脑那套审批不是一回事。 官方分得很开:Local execution 管本机命令(默认每条要你点);Auto Review 管云电脑里的 shell / 插件 / 桌面操作。别以为开了一边就等于两边都开。 Settings → General → Agent → Execution on Local Computer
6
这种「点本地 HTML 就当真实页面打开」我喜欢。 别只吹功能。内置浏览器权限边界写清楚没?脚本默认能碰本机哪些路径?
Kimi Code Desktop Changelog 1.0.3 🌟 Features Click a local HTML file in the conversation to open it as a real page in the built-in browser. Downloads in the browser's download history can be paused, resumed, canceled, and retried, with speed and time left shown. Valid leading slash commands are highlighted in the Composer, with argument hints shown before you type arguments. Right-click a file name in the conversation to copy its path or reveal it in the folder. New settings toggle for automatic session title generation; turn it off to stop AI naming for new sessions. Free-plan accounts are prompted to upgrade when sending with subscription models.
7
Cursor Agent 浏览器不是默认满网乱逛。 官方能配 origin 白名单:比如只放行 `http://localhost:3000`。名单空着才等于放行全部。本地调试翻车,先看你有没有把 origin 加上。
1
6
Cursor Agent 改崩了别慌着 git reset。 官方写了:大改前会自动打 Checkpoints。时间线点一下就能预览/还原——这是本地快照,跟 Git 不是一回事。永久版本控制还是用 Git。
1
5
Cursor 终端输出被截断、乱排?先查是不是 Powerlevel10k 这类重主题。 官方给了开关:会话里会设环境变量 `CURSOR_AGENT`。在 `.zshrc` / `.bashrc` 里检测到就跳过主题初始化,换简单 PS1——Agent 跑命令时输出才干净。
6
Grok Bot 别当成「每个 Bot 一台机」。 官方写得很清楚:账号下所有 Bot 共用一台云电脑——文件、浏览器登录、会话都共享。放上去的东西,别的 Bot 也能摸到。
9
Cursor 技能别只盯着 `.cursor/skills/`。 官方还从 `.claude/skills/`、`.codex/skills/` 以及对应的 `~/` 全局目录捞——Claude / Codex 装过的技能,进 Cursor 也能被 Agent 发现。路径写错别怪模型。
9
本机 Cursor Skill,云端 Agent 默认拿不到。 官方写了:`~/.cursor/skills/` 只在本机。要给 Cloud Agents 用,得去 Settings → Agents 打开 Sync Skills for Cloud Agents。只同步这一目录,`.agents/skills/` 不同步。 别怪云端「不会干活」——它根本没读到你的 Skill。
11
Cursor 里长流程别塞 Rules。 官方写了:Rules 是短约束,Skills 是多步流程。Skill 放 `.cursor/skills/名字/SKILL.md`,聊天里 `/技能名` 或 `@` 才调起来。 「部署到 staging」这种步骤清单,做成 Skill,别写成 alwaysApply——否则每次对话都塞一坨。
10
Cursor 里 MCP 配了两份还在互相抢? 官方写了:项目 `.cursor/mcp.json` 和家里 `~/.cursor/mcp.json` 会合并。同名 server,项目这份优先。 别两边抄同一份配置——改完发现「怎么还是全局那套」,先看同名撞没撞。
8
Mac 本地模型别只会 chat CLI。 mlx-lm 自带 `mlx_lm.server`:本机默认 8080,接口照着 OpenAI chat API。官方直接给了 `curl localhost:8080/v1/chat/completions`。Cursor / 脚本想接本地模型,先把这个 server 拉起来。 官方也写了:不适合生产,安全检查很基础。
8