F6-02对账系统设计1 分钟更新于 2026-11
批处理架构
一句话
分区、幂等、可重放——三件事缺一件,对账任务就只能「跑了再说」。
批处理架构
三个支柱
flow批处理对账的三件事
按日期与渠道分片
每片幂等
失败可重放
结果可下钻
为什么要分片
百万级交易在一张表里做全量 join,跑不完也查不动。 按「日期 + 渠道」切片,每片几万条,可以并行、可以单独重跑。
幂等怎么保证
- 以「日期 + 渠道 + 批次」为幂等键
- 重复执行时覆盖同批次结果,而不是追加
- 差异记录带批次号,便于重放时清理
重放要能到什么粒度
理想状态:给日期和渠道,能完整重现当天的对账结果。
这要求保留:原始文件、解析结果、匹配中间态、最终差异。
一个反例
某平台对账全量重跑一次要 6 小时,跑完还 OOM,错峰都排不开。现在按日期渠道分片,单次 3 分钟。
常见误判
- 全量重跑(6 小时起步)
- 重跑时追加差异(重复)
- 只保留最终结果(无法解释)
自查清单
- 数据分片了吗
- 批次幂等吗
- 能按片重跑吗
- 中间态保留了吗
- 重跑会清理旧结果吗
依据
- 批处理对账的工程要点
- 架构取舍,见 对账系统:批处理还是实时
- 相关:对账的调度
相关阅读