01 · 案例背景

案例背景:「氛围编码」的产物

作为一名高级云基础设施工程师,Jumpei Ueno 最近接手了一个由「氛围编码」留下的项目。这个项目的开发者并不是专业工程师,而是公司的 CFO(首席财务官)。他借助 Claude Code,仅用两天时间就完成了一款 SaaS 产品的开发并上线。

对 Jumpei Ueno 来说,这样的情况早已见怪不怪了。没有工程背景的人快速搭出产品,真正负责长期维护的工程师再一点点梳理后端系统。然而,每深入检查一次,他都能发现一些新问题。

不过,这次最让他意外的,并不是密钥管理混乱,也不是整个项目没有一项测试,而是 云服务成本已经失控,真金白银地往外烧。

两天时间足以开发出一个功能,但要避免"善意的自动重试"演变成"丢弃已经成功的结果,再重新计费一次"这样的事故,却绝不是两天就能学会的事情。

02 · 惊人的成本异常

惊人的成本异常:一天烧掉一个月费用

一切事情起因源于某一天,Jumpei Ueno 在查看 LLM API 的费用图表时,发现其中一天的支出异常突出。其他天的开销几乎都贴着底部,唯独那一天直冲天际,几乎占据了整个月 API 费用的一半。

核心数据:仅仅那一天的 AI 调用费用,就超过了整个服务器集群一个月的运行成本。维持所有服务器运行一个月,竟然比让 AI 工作一天还便宜。

他找到当初开发这套系统的 CFO,问了一个最直接的问题:“你那天到底做了什么?”

对方的回答却只有一句:“说实话,我已经不记得那天做了什么。”

随着调查不断深入,Jumpei Ueno 越来越意识到,对方记不起来其实再正常不过。真正“烧钱”的,并不是某个人的一次操作,而是 系统背后的重试机制。

03 · 排查过程

排查过程:从人为操作到机器重试

一开始,Jumpei Ueno 的第一反应是:“你一天之内开发了这么多功能,又不断在生产环境里测试,每测试一次都会调用昂贵的大模型 API。积少成多,最后账单自然就炸了。”

这个推测看起来很合理——那一天的提交记录从早到晚几乎没停过,围绕 AI 生成功能就有二十多次提交。

真相:机器而非人为

排查应用侧日志(任务队列、数据库、请求记录)后发现,这并不是一次次人工操作累积出来的“慢性烧钱”,而是同一批高成本任务被机器反复完整执行了一遍又一遍。对于同一个租户,一个正常情况下只会运行一次的任务,竟然被执行了 21 次。

04 · 最可怕的地方:任务成功了,却倒在了最后一步

最可怕的地方:任务成功了,却倒在了最后一步

这项批处理任务会依次调用多个大模型,并将返回结果写入数据库:

步骤1
调用 LLM API — 向多个 LLM 发起请求,费用产生的主要环节
步骤2
写入数据库 — 将模型返回结果写入数据库

真正的问题,恰恰出现在第二步。写入数据库时,程序引用了一个本应已经新增的字段,但当时生产环境中的数据库尚未完成迁移,这个字段实际上并不存在。于是,数据库直接抛出了 “column does not exist” 错误,整个任务最终以 500 错误结束。

关键误解:很多人听到“任务失败”,第一反应是“模型调用失败了,钱白花了”。但事实并非如此——所有 LLM 请求都成功返回了 200 状态码,每一次调用都已经完成计费。模型完成了推理,也返回了结果,只是在最后一步写入数据库时出了问题。

Jumpei Ueno 用了一个形象的比喻:

这就像在餐厅里吃完整套套餐,也已经结完账。正准备起身说一句“谢谢招待”时,却突然摔了一跤,失去了记忆。等醒来时,又回到了座位,以为自己还没吃饭,于是重新点了一整套套餐。如此循环,整整 21 次。

已经吃下去的饭不会消失,就像已经完成的大模型调用也不会取消计费;但每一次重试,系统都会从头再来。

05 · Retry Storm:成功被丢弃后的重试

Retry Storm:成功被丢弃后的重试

业内有一个术语叫 “Retry Storm(重试风暴)”。通常,人们理解的 Retry Storm 是请求不断失败,于是系统一次又一次重试。但这次的情况完全不同。

这次的不同之处

真正发生的是:每一次调用其实都成功了,只是成功的结果被最后一步“丢掉”了,系统随后又重新发起了一整轮新的调用。这正是整件事最违反直觉、也最可怕的地方。

06 · 三个因素叠加:确定性失败 + 自动重试 + 非幂等设计

三个因素叠加:确定性失败 + 自动重试 + 非幂等设计

系统之所以不断重复执行同一批任务,是两个问题共同作用的结果:

问题一:部署顺序错误

代码已经率先部署到生产环境,并默认数据库中已经存在新增字段;然而,负责添加该字段的数据库迁移却尚未执行。这是一种 确定性失败——无论重试多少次,都不可能自行恢复。

问题二:任务队列自动重试

当任务返回 500 错误时,任务队列默认认为只是一次临时故障,于是自动重新执行任务。这种机制原本是为了应对网络抖动等偶发问题,但这次的问题并不是网络故障,而是数据库里根本没有对应字段。更糟糕的是,这套批处理任务本身并不具备 幂等性。

致命组合:确定性失败 + 自动重试 + 非幂等设计。当这三个因素叠加在一起时,资金就会在悄无声息中不断流失。
07 · 经验教训

经验教训:重试机制并不总是一种善意

经历了这次事件后,Jumpei Ueno 总结了几条经验:

08 · 氛围编码的反思

氛围编码的反思:快速上线 vs 工程稳定性

AI 的确大幅降低了非工程人员开发生产系统的门槛,让他们能够在短时间内完成产品开发。但 知道如何把功能做出来,与 知道系统会如何出错、又会如何在无声无息中烧掉大量成本,是两种完全不同的能力。

两天时间足以开发出一个功能,但要避免“善意的自动重试”演变成“丢弃已经成功的结果,再重新计费一次”这样的事故,却绝不是两天就能学会的事情。

09 · 总结

总结

核心警示:这个案例揭示了「氛围编码」时代的一个重要风险——AI 降低了开发门槛,但工程知识的缺失可能导致隐性成本失控。对于任何涉及 AI API 调用的生产系统,幂等性设计、错误分类处理、成本监控都是不可忽视的工程实践。

来源:https://junueno.dev/en/retry-storm-rebilled-llm-cost/

#Claude Code #AI编程 #氛围编码 #工程风险 #重试风暴 #幂等性 #成本控制 #AI成本