12.1 万星的项目,把「65%」从统计口径里划掉了
caveman 不是新 agent,它插进你已有的 agent,改写回复的措辞,再可选地压缩它读到的内容。 JuliusBrussee/caveman 创建于 2026-04-04,Apache-2.0,主语言 Go,文档站在 docs.caveman.so。
核对日 2026-11-18,仓库 121,188 星、7,083 fork,当天 07:28 仍有推送。未结条目 100 个,搜索接口拆开是 66 个 issue 与 34 个 PR,不能读成 100 个缺陷。
比星数更值得记的是它自己撤掉的数字。README 说项目从 2026 年 4 月的一个玩笑起步;HONEST-NUMBERS.md 却写:早期统计版本按固定 65% 输出比估算,没有提交过经过核对的结果。
现在状态行不再显示那个节省后缀,历史估算字段也被排除在汇总之外。选题池里流传的「省 65% token」属于旧账,仓库自己已不再认。
| 字段 | 核对值 |
|---|---|
| 仓库 / 分支 | JuliusBrussee/caveman · main |
| 星标 / fork / 未结 | 121,188 / 7,083 / 100(66 issue + 34 PR) |
| 建库 / 最近推送 | 2026-04-04 / 2026-11-18 |
| 许可证 / 主语言 | Apache-2.0 / Go |
| 最新标签 | v4.1.0 · 2026-11-08 |
| 社区信号 | Hacker News 帖 904 分;GitHub Trending 日榜第一(README 自述) |
说话和读文件是两块石头,可以只装一块
skill 只改输出;要改输入,得另装本地 proxy 与 engine。product-model.md 把路径分成两层,本地使用都不需要账号,只有托管命令要登录。
- Skill / hooks / plugins:让回复少寒暄,代码与报错照原样输出。
- CLI:安装组件、启动 agent、提供本地命令,连接可选的托管功能。
- Engine:识别载荷形状、套用压缩变换、估算 token、存放可恢复原文。
- Local proxy:把 provider 请求过一遍 Engine,并在本地 SQLite 记用量。
- Connected commands:需要账号,才能访问托管项目与网关。
输出规则取自航空维修手册的 ASD-STE100:一句一意、最多 20 词、主动语态。not、never、no、only 与数字单位不许丢,代码、命令、路径、报错逐字保留。
有损压缩走固定四步:先把原文字节存进本地 CCR,再给模型一个短版本,附一个可取回原文的句柄;存储、解析或体积检查失败就原样透传。原文始终留在磁盘上,agent 需要时能自己取回。
它不重写你的提示词。README 引 Adobe 的结论:把用户提问也改成 caveman 风格会让答案变差,所以规则只作用于回复侧。
文档还定义了四种证据标签:inferred 是本地估算,benchmark_counterfactual 是配对基准,verified 只能由托管侧产生,本地工具不能自己发出「已验证」。
INSTALL.md 列了约 30 个 agent 的入口,但 auto-activate 一栏多数写着 No;Codex 用 $caveman 而不是 /caveman,脚本模式默认关闭。
33.2%、0.46 倍、397→76:三本账不能相加
README 首页的主推数字,测的分别是输入、路由和脚本复用,分母完全不同。逐个看方法,才知道哪条能被自己复现。
| 数字 | 测的是什么 | 必须一起读的边界 |
|---|---|---|
| 33.2% 更少输入 | 18 对配对运行,885,793 → 591,673 token | 6 个合成大输出任务;私有 harness,仓库不可复现 |
| 0.46× 成本 | 85 对任务,43.7% 对 44.3% 解出率 | 只完成 85/169;目录价,区间约 ±7 个百分点 |
| 397 → 76 token | 一次测试输出,Blocks 的 test-summary | blocks v0.1.0-rc.5,仅 Python,无沙箱 |
| 3% / 35% | 对「Answer concisely.」再省的输出 | n=10,3.1.0 规则,改版后未重跑;规则本身约 1,160 输入 token |
33.2% 那次共 54 次 agent 运行:直接版与 caveman 版各 18 次,18/18 答案正确。HTML 用例没有压缩器,反而多花 9.9%;区间是 14.6%–48.5%。
Auto 的模型配比也写在基准里:基线 100% 的请求用 Opus xhigh,Auto 则有 87% 落到 Opus medium、8% 到 high、5% 到 Sonnet 5.5;agent 超时从 9 次降到 1 次。
外部 A/B 更说明账单结构。JetBrains 86 个真实任务测出输出少 8.5%、质量无显著差异(p=0.82);LemonCrow 每臂 300 次跑,输出少 44.1%,总成本却多 0.06%。
| 来源 | 结果 | 口径 |
|---|---|---|
| JetBrains | 输出 −8.5%,p=0.82 | 86 个真实编码任务,配对 A/B |
| Elastic Labs | 响应 token −63.6% | 8 个场景,为 Elasticsearch 改写过的模式 |
| Adobe Research | 成本降 1.4–2.4 倍 | 八个模型、五个数据集,改的是输出风格 |
| edubraqd | 净影响 ±0.2% | 662 个会话,输出仅占总 token 的 0.3% |
README 顶部还有「比 Codex 每解一题便宜 21%」:90/192 次两边都解出,$1.21 对 $1.52。脚注写明那是开启三项基准专用设置的测量版,发货版本把三项关掉了。
另一个头条数字来自 Terminal-Bench 4:GPT-6.1 Sol 对 Codex,两边都解出 90/192 题,每题 1.21 对 1.52 美元;Opus 5.5 对 Claude Code 是 97/180 对 83/177,95% 区间 0.70–1.02 倍,落在噪声内。
- 身份:121,188 星 / 7,083 fork / 100 未结(66 issue + 34 PR)/ 建库 2026-04-04 / pushed 11-18 / Apache-2.0。
- 版本:最新 v4.1.0 于 11-08;同批还有 cli-v4.1.0、bin-v4.1.0、middleware-ts-v1.1.0 等并行标签。
- 边界:33.2% 用私有 harness;0.46× 只配对 85/169;397→76 属 blocks rc.5。本文未安装、未跑基准。
核对时间 2026-11-18;星标与 issue 为实时值,第三方数据取自仓库转述。
从最小的一块开始,先量自己的账单
六块石头都有独立开关,默认全开不是必须的。caveman status 看当前状态,caveman off browse 只关网页压缩那一块。
| 目标 | 最小路径 |
|---|---|
| 只要回复短一些 | npx skills add JuliusBrussee/caveman -g,不装 proxy |
| 可恢复的本地压缩 | caveman <agent>,原文留在本地 CCR 存储 |
| 只要原样计量 | caveman wrap --off <agent> |
| 接到自己的应用 | 改 provider SDK 的 base URL,用 @caveman-ai/sdk |
完整安装是 npx @caveman-ai/cli@latest,CLI 要 Node.js 22.13+。npm 12 上直接跑 git 包得加 --allow-git=root,否则会报 EALLOWGIT。
指令按宿主不同:Claude Code 用 /caveman,Codex 用 $caveman;claude -p 与 Agent SDK 默认关闭,要用 CAVEMAN_DEFAULT_MODE 打开。
Blocks 与 browse 是可加可减的小石头。README 的例子里,200 行表格用 Browse 是 121 token,Playwright 快照是 15,704;但小表单反而差 2.3 倍。Blocks 公开的三个用例中两个赢,grep-defs 输给裸 grep。
不要直接采用仓库估算。caveman trial -- claude 做同任务 A/B,再对照供应商账单页;HONEST-NUMBERS.md 给的判据只有一句:同任务更贵,就为这个负载关掉。
- 只担心遥测:首次交互命令会打印告知,
caveman telemetry off或DO_NOT_TRACK=1可长期关闭。 - 只不想路由:不登录就没有 Auto;已登录用
caveman off routing。 - 网关模式不想过云:
caveman providers cloud off,请求回到自己的 key。
能省输出不等于能省账单,更不等于能放心路由
最硬的质疑是:agent 会话的钱主要花在输入与缓存重读,一句输出风格规则碰不到。LemonCrow 的原始数据里,初始缓存上下文每轮还多了 1,532 token。
- #145:简短编码问答出现净亏损,固定规则开销超过省下的输出。
- #506:按请求计费的 Copilot,答案再短也是同一次请求,省不了额度。
- #550:一次 Cursor A/B 是 430 万对 100 万 token、墙钟时间翻倍;作者写明不可复现。
- 仓库承认
evals/score_fidelity.py已存在,但没有提交经过评审的保真快照,所以不发布质量等价结论。
Auto 也要单独算账。0.46 倍主要来自把 Opus xhigh 降到 medium,不是换了便宜模型;85 对任务只差 0.5 个百分点,区间约 ±7,原始轨迹不在仓库。
隐私边界要读 SECURITY.md:选 Auto 会把最近一次提问原文(最多 128 KiB)和上一问发给 Caveman Cloud,免费层可能留存;托管网关模式下整条请求连系统提示与代码都过云。
路由发往云端的还有 11 个 agent 头字段,Codex 的子代理与会话标识最长可到 16 KiB。托管网关会把仓库 owner/name 与分支名放进 x-cave-tags,分支名可能带客户名,可用 CAVEMAN_WORK_TAGS=0 关掉。
CLI 遥测默认开启:命令名、token 增量、随机安装 ID、系统与 IP 都会上传,IP 90 天清除、事件 13 个月删除。项目说不含提示词与代码,但它是「假名」而非匿名。
许可证也有边界:README 写明整个仓库是 Apache-2.0,但「Caveman」名称与石头 logo 属于 Julius Brussee 的商标,不在这份授权里。
结论不是别装。把 skill 当一个可随时关掉的格式开关,用供应商账单验;proxy 只在你真有 60 KB 级工具输出时开;Auto 当独立实验,别和省 token 算成一笔账。