案例背景:「氛围编码」的产物
作为一名高级云基础设施工程师,Jumpei Ueno 最近接手了一个由「氛围编码」留下的项目。这个项目的开发者并不是专业工程师,而是公司的 CFO(首席财务官)。他借助 Claude Code,仅用两天时间就完成了一款 SaaS 产品的开发并上线。
对 Jumpei Ueno 来说,这样的情况早已见怪不怪了。没有工程背景的人快速搭出产品,真正负责长期维护的工程师再一点点梳理后端系统。然而,每深入检查一次,他都能发现一些新问题。
不过,这次最让他意外的,并不是密钥管理混乱,也不是整个项目没有一项测试,而是 云服务成本已经失控,真金白银地往外烧。
两天时间足以开发出一个功能,但要避免"善意的自动重试"演变成"丢弃已经成功的结果,再重新计费一次"这样的事故,却绝不是两天就能学会的事情。
惊人的成本异常:一天烧掉一个月费用
一切事情起因源于某一天,Jumpei Ueno 在查看 LLM API 的费用图表时,发现其中一天的支出异常突出。其他天的开销几乎都贴着底部,唯独那一天直冲天际,几乎占据了整个月 API 费用的一半。
他找到当初开发这套系统的 CFO,问了一个最直接的问题:“你那天到底做了什么?”
对方的回答却只有一句:“说实话,我已经不记得那天做了什么。”
随着调查不断深入,Jumpei Ueno 越来越意识到,对方记不起来其实再正常不过。真正“烧钱”的,并不是某个人的一次操作,而是 系统背后的重试机制。
排查过程:从人为操作到机器重试
一开始,Jumpei Ueno 的第一反应是:“你一天之内开发了这么多功能,又不断在生产环境里测试,每测试一次都会调用昂贵的大模型 API。积少成多,最后账单自然就炸了。”
这个推测看起来很合理——那一天的提交记录从早到晚几乎没停过,围绕 AI 生成功能就有二十多次提交。
排查应用侧日志(任务队列、数据库、请求记录)后发现,这并不是一次次人工操作累积出来的“慢性烧钱”,而是同一批高成本任务被机器反复完整执行了一遍又一遍。对于同一个租户,一个正常情况下只会运行一次的任务,竟然被执行了 21 次。
最可怕的地方:任务成功了,却倒在了最后一步
这项批处理任务会依次调用多个大模型,并将返回结果写入数据库:
真正的问题,恰恰出现在第二步。写入数据库时,程序引用了一个本应已经新增的字段,但当时生产环境中的数据库尚未完成迁移,这个字段实际上并不存在。于是,数据库直接抛出了 “column does not exist” 错误,整个任务最终以 500 错误结束。
Jumpei Ueno 用了一个形象的比喻:
这就像在餐厅里吃完整套套餐,也已经结完账。正准备起身说一句“谢谢招待”时,却突然摔了一跤,失去了记忆。等醒来时,又回到了座位,以为自己还没吃饭,于是重新点了一整套套餐。如此循环,整整 21 次。
已经吃下去的饭不会消失,就像已经完成的大模型调用也不会取消计费;但每一次重试,系统都会从头再来。
Retry Storm:成功被丢弃后的重试
业内有一个术语叫 “Retry Storm(重试风暴)”。通常,人们理解的 Retry Storm 是请求不断失败,于是系统一次又一次重试。但这次的情况完全不同。
真正发生的是:每一次调用其实都成功了,只是成功的结果被最后一步“丢掉”了,系统随后又重新发起了一整轮新的调用。这正是整件事最违反直觉、也最可怕的地方。
三个因素叠加:确定性失败 + 自动重试 + 非幂等设计
系统之所以不断重复执行同一批任务,是两个问题共同作用的结果:
代码已经率先部署到生产环境,并默认数据库中已经存在新增字段;然而,负责添加该字段的数据库迁移却尚未执行。这是一种 确定性失败——无论重试多少次,都不可能自行恢复。
当任务返回 500 错误时,任务队列默认认为只是一次临时故障,于是自动重新执行任务。这种机制原本是为了应对网络抖动等偶发问题,但这次的问题并不是网络故障,而是数据库里根本没有对应字段。更糟糕的是,这套批处理任务本身并不具备 幂等性。
经验教训:重试机制并不总是一种善意
经历了这次事件后,Jumpei Ueno 总结了几条经验:
- 确定性失败不应重试 — 无论是数据库 Schema 不一致,还是 4xx 这类明确属于程序自身问题的错误,重试多少次结果都不会改变。系统应当立即终止,并设置明确的重试次数上限。
- 副作用大的任务必须具备幂等性 — 凡是涉及真实成本的操作,例如调用计费 API 或大模型接口,从第一天开始就应该具备“跳过已完成任务”的能力。
- 部署顺序至关重要 — 必须遵循“先更新数据库,再部署代码”的顺序,避免在两者之间的时间窗口内产生确定性错误。
- 成本必须可观测 — 如果成本本身不可观测,往往只有钱烧完之后才会意识到问题。需要将生产环境与测试环境使用不同的 API Key,并设置预算告警等监控机制。
氛围编码的反思:快速上线 vs 工程稳定性
AI 的确大幅降低了非工程人员开发生产系统的门槛,让他们能够在短时间内完成产品开发。但 知道如何把功能做出来,与 知道系统会如何出错、又会如何在无声无息中烧掉大量成本,是两种完全不同的能力。
两天时间足以开发出一个功能,但要避免“善意的自动重试”演变成“丢弃已经成功的结果,再重新计费一次”这样的事故,却绝不是两天就能学会的事情。