运维与数据工程笔记

断点续跑的批处理:三个可复用的运维模式

7 分钟
批处理断点续跑flockTiDBMongoDB

共性问题:批处理失败后没有"进度"

一个跑 600 张表的 ANALYZE、一次跨 60 天分片的审计导出、一批 500 台机器的日志轮转——它们的共同点是总耗时远超一次 cron 周期,而失败点不可预测。如果没有持久化进度,任何中断都只能从头再来。

下面三个模式来自真实生产代码,共同内核只有三件事:原子写账本、进程互斥锁、时间窗判定。

模式一:审计日志的无停机轮转

用 logRotate 而不是改名文件

// MongoDB 管理命令,不需要重启
db.adminCommand({ logRotate: 1 })

参数语义容易搞错:

取值 效果
1 服务日志和审计日志一起轮转
"server" 只轮转服务日志
"audit" 只轮转审计日志

轮转完成后由 logrotate 负责压缩与清理,postrotate 里只发管理命令:

postrotate
  mongosh --quiet --eval 'db.adminCommand({logRotate: 1})'
endscript

关键是轮转与清理分离:MongoDB 只负责切文件,保留策略交给系统 logrotate,避免在数据库里写复杂的清理逻辑。

模式二:时间分片 + 多维账本

分片要按"真实时间窗"切,不是按页数

跨月导出的常见写法是逐页拉取,问题是页数不稳定(数据在变)、无法定位失败点。改成按天分片,每片一个独立任务,账本记录到天:

{"2026-09-01": {"done": true,  "rows": 18234},
 "2026-09-02": {"done": false, "err":  "read timeout", "retry": 2}}

重跑时只看 done: false 的日期,已完成的天直接跳过。这样即使中途挂掉,重启的开销只跟"剩余天数"成正比。

三个必须补的细节:

  1. 空页判定:分页接口返回空数组时不能当成"到底了",要区分"没有数据"和"接口异常"——否则一次抖动就会让任务提前结束。
  2. 退避:API 失败必须带指数退避,无退避的 while True 会在故障时打出每秒数百次请求。
  3. 幂等写入:insert_many 默认不幂等,重跑会写重。用 INSERT OR IGNORE / upsert / 唯一索引三者之一兜底。

模式三:健康度选活 + 断点续跑

当任务对象是一批机器或一批表时,还要解决"谁该跑"的问题。

# 只挑活着的目标,并按健康度排序
targets = sorted(healthy_targets(), key=lambda t: t.health)

for t in targets:
    if ledger.get(t.id, {}).get("done"):
        continue                       # 已完成,跳过
    if ledger.get(t.id, {}).get("retry", 0) >= MAX_RETRY:
        continue                       # 连续失败到上限,放弃
    try:
        run_one(t)
        ledger.mark_done(t.id)         # 原子写
    except Exception as e:
        ledger.mark_fail(t.id, e)      # 计数 +1,记录原因

配套的两个基础设施:

文件锁防止同一任务被 cron 重复拉起:

import fcntl
fh = open("/var/run/job.lock", "w")
try:
    fcntl.flock(fh, fcntl.LOCK_EX | fcntl.LOCK_NB)
except BlockingIOError:
    sys.exit(0)      # 已有实例在跑,直接退出

时间窗防止任务跑过业务高峰:

from croniter import croniter
# 生产配置写的是时间窗 '* 13-14 * * *',语义是 13:00–14:59 全部匹配
if not croniter.match("* 13-14 * * *", datetime.now()):
    sys.exit(0)

⚠️ 注意 * 13-14 * * * 是时间窗不是单点:13:00 到 14:59 的每一分钟都匹配,15:00 不匹配。写成 0 13 * * * 才会只在 13:00 那一分钟触发——这是最容易写错的一行。

账本本身怎么写才安全

三个要求,缺一不可:

要求 做法
原子 写临时文件 + os.replace(),避免半截 JSON
可读 纯 JSON/JSONL,不要 pickle(跨版本会炸)
可审计 每条记录带时间戳、耗时、错误摘要
tmp = f"{path}.tmp.{os.getpid()}"
json.dump(ledger, open(tmp, "w"), ensure_ascii=False)
os.replace(tmp, path)      # 同一文件系统上是原子操作

常见问题

为什么不直接用数据库记进度?

可以,但边界情况更多:数据库连不上时任务本身也跑不了,账本反而成为单点。纯文件的优势是零依赖——宕机时仍能读到最后一次进度。需要多方并发写时再上数据库。

断点账本会不会越来越大?

会。按日期分文件(ledger/2026-11-17.json)而不是单一大文件,历史账本定期归档,当前周期的账本控制在几百条以内。

flock 和 PID 文件哪个更可靠?

flock 更可靠:进程异常退出时内核自动释放锁,不会留下"僵尸锁"。PID 文件要靠人工判断进程是否还在,容器重启后 PID 复用还会误判。

任务跑到一半超时被 kill 怎么办?

这正是账本存在的意义——SIGTERM/超时只会丢掉"当前这一条",已 mark_done 的条目和 mark_fail 的计数都在磁盘上,下次启动从断点继续。