跳到正文
F6-02对账系统设计1 分钟更新于 2026-11

批处理架构

一句话

分区、幂等、可重放——三件事缺一件,对账任务就只能「跑了再说」。

本文目录8 节

批处理架构

三个支柱

flow批处理对账的三件事
按日期与渠道分片
每片幂等
失败可重放
结果可下钻

为什么要分片

百万级交易在一张表里做全量 join,跑不完也查不动。 按「日期 + 渠道」切片,每片几万条,可以并行、可以单独重跑。

幂等怎么保证

  • 以「日期 + 渠道 + 批次」为幂等键
  • 重复执行时覆盖同批次结果,而不是追加
  • 差异记录带批次号,便于重放时清理

重放要能到什么粒度

理想状态:给日期和渠道,能完整重现当天的对账结果。

这要求保留:原始文件、解析结果、匹配中间态、最终差异。

一个反例

某平台对账全量重跑一次要 6 小时,跑完还 OOM,错峰都排不开。现在按日期渠道分片,单次 3 分钟。

常见误判

  • 全量重跑(6 小时起步)
  • 重跑时追加差异(重复)
  • 只保留最终结果(无法解释)

自查清单

  • 数据分片了吗
  • 批次幂等吗
  • 能按片重跑吗
  • 中间态保留了吗
  • 重跑会清理旧结果吗

依据

相关阅读