断点续跑的批处理:三个可复用的运维模式
批处理断点续跑flockTiDBMongoDB共性问题:批处理失败后没有"进度"
一个跑 600 张表的 ANALYZE、一次跨 60 天分片的审计导出、一批 500 台机器的日志轮转——它们的共同点是总耗时远超一次 cron 周期,而失败点不可预测。如果没有持久化进度,任何中断都只能从头再来。
下面三个模式来自真实生产代码,共同内核只有三件事:原子写账本、进程互斥锁、时间窗判定。
模式一:审计日志的无停机轮转
用 logRotate 而不是改名文件
// MongoDB 管理命令,不需要重启
db.adminCommand({ logRotate: 1 })
参数语义容易搞错:
| 取值 | 效果 |
|---|---|
1 |
服务日志和审计日志一起轮转 |
"server" |
只轮转服务日志 |
"audit" |
只轮转审计日志 |
轮转完成后由 logrotate 负责压缩与清理,postrotate 里只发管理命令:
postrotate
mongosh --quiet --eval 'db.adminCommand({logRotate: 1})'
endscript
关键是轮转与清理分离:MongoDB 只负责切文件,保留策略交给系统 logrotate,避免在数据库里写复杂的清理逻辑。
模式二:时间分片 + 多维账本
分片要按"真实时间窗"切,不是按页数
跨月导出的常见写法是逐页拉取,问题是页数不稳定(数据在变)、无法定位失败点。改成按天分片,每片一个独立任务,账本记录到天:
{"2026-09-01": {"done": true, "rows": 18234},
"2026-09-02": {"done": false, "err": "read timeout", "retry": 2}}
重跑时只看 done: false 的日期,已完成的天直接跳过。这样即使中途挂掉,重启的开销只跟"剩余天数"成正比。
三个必须补的细节:
- 空页判定:分页接口返回空数组时不能当成"到底了",要区分"没有数据"和"接口异常"——否则一次抖动就会让任务提前结束。
- 退避:API 失败必须带指数退避,无退避的
while True会在故障时打出每秒数百次请求。 - 幂等写入:
insert_many默认不幂等,重跑会写重。用INSERT OR IGNORE/upsert/ 唯一索引三者之一兜底。
模式三:健康度选活 + 断点续跑
当任务对象是一批机器或一批表时,还要解决"谁该跑"的问题。
# 只挑活着的目标,并按健康度排序
targets = sorted(healthy_targets(), key=lambda t: t.health)
for t in targets:
if ledger.get(t.id, {}).get("done"):
continue # 已完成,跳过
if ledger.get(t.id, {}).get("retry", 0) >= MAX_RETRY:
continue # 连续失败到上限,放弃
try:
run_one(t)
ledger.mark_done(t.id) # 原子写
except Exception as e:
ledger.mark_fail(t.id, e) # 计数 +1,记录原因
配套的两个基础设施:
文件锁防止同一任务被 cron 重复拉起:
import fcntl
fh = open("/var/run/job.lock", "w")
try:
fcntl.flock(fh, fcntl.LOCK_EX | fcntl.LOCK_NB)
except BlockingIOError:
sys.exit(0) # 已有实例在跑,直接退出
时间窗防止任务跑过业务高峰:
from croniter import croniter
# 生产配置写的是时间窗 '* 13-14 * * *',语义是 13:00–14:59 全部匹配
if not croniter.match("* 13-14 * * *", datetime.now()):
sys.exit(0)
⚠️ 注意 * 13-14 * * * 是时间窗不是单点:13:00 到 14:59 的每一分钟都匹配,15:00 不匹配。写成 0 13 * * * 才会只在 13:00 那一分钟触发——这是最容易写错的一行。
账本本身怎么写才安全
三个要求,缺一不可:
| 要求 | 做法 |
|---|---|
| 原子 | 写临时文件 + os.replace(),避免半截 JSON |
| 可读 | 纯 JSON/JSONL,不要 pickle(跨版本会炸) |
| 可审计 | 每条记录带时间戳、耗时、错误摘要 |
tmp = f"{path}.tmp.{os.getpid()}"
json.dump(ledger, open(tmp, "w"), ensure_ascii=False)
os.replace(tmp, path) # 同一文件系统上是原子操作
常见问题
为什么不直接用数据库记进度?
可以,但边界情况更多:数据库连不上时任务本身也跑不了,账本反而成为单点。纯文件的优势是零依赖——宕机时仍能读到最后一次进度。需要多方并发写时再上数据库。
断点账本会不会越来越大?
会。按日期分文件(ledger/2026-11-17.json)而不是单一大文件,历史账本定期归档,当前周期的账本控制在几百条以内。
flock 和 PID 文件哪个更可靠?
flock 更可靠:进程异常退出时内核自动释放锁,不会留下"僵尸锁"。PID 文件要靠人工判断进程是否还在,容器重启后 PID 复用还会误判。
任务跑到一半超时被 kill 怎么办?
这正是账本存在的意义——SIGTERM/超时只会丢掉"当前这一条",已 mark_done 的条目和 mark_fail 的计数都在磁盘上,下次启动从断点继续。