MongoDB 副本集单入口:用 HAProxy 做协议感知健康检查
MongoDBHAProxy副本集高可用问题:TCP 通不等于能写
副本集有三个节点,前面挂一台四层负载均衡。用普通的 tcp-check connect 时,HAProxy 只能确认端口开着——primary 和 secondary 的 27017 都一样开着。后果是客户端有约三分之一的概率被调度到 secondary,写入直接失败(not primary),读到的也可能是延迟数据。
判断节点是不是 primary,必须说 MongoDB 的协议——只有读到 ismaster: true 才能确认。
一句话方案
用 tcp-check 发送一段手写的 OP_QUERY 报文(admin.$cmd 上的 ismaster),检查响应里是否出现 ismaster + true,再配 on-marked-down shutdown-sessions 让节点被摘除时主动断开旧连接。
backend bk_mongo
mode tcp
balance first
option tcp-check
tcp-check connect
tcp-check send-binary 3a000000 EEEEEEEE 00000000 d4070000 00000000 \
61646d696e2e24636d6400 00000000 FFFFFFFF 13000000 10 \
69736d617374657200 01000000 00
tcp-check expect binary 69736d61737465720001
server mongo1 10.0.0.11:27017 check inter 500ms fall 2 rise 1
server mongo2 10.0.0.12:27017 check inter 500ms fall 2 rise 1
server mongo3 10.0.0.13:27017 check inter 500ms fall 2 rise 1
# 关键:节点被标记 DOWN 时立刻断开会话
on-marked-down shutdown-sessions
expect binary 69736d61737465720001 的含义是:响应中必须出现 ismaster 的 ASCII(69 73 6d 61 73 74 65 72 00)紧跟 01(布尔 true)。secondary 返回的是 00,因此被判为不健康。
shutdown-sessions 为什么是必须的
这是本方案最容易忽略的一行。不加它,节点被摘除时已有连接不会断开,客户端会继续在一条已经指向 secondary 的链路上跑。
实测对照:
| 配置 | 切主后的行为 |
|---|---|
有 shutdown-sessions |
客户端先收到一次 role=secondary 应答,约 4 秒后被断开并重连到新主 |
无 shutdown-sessions |
连接存活超过 12 秒,期间持续访问降级节点 |
四层代理没有能力改写连接状态,shutdown-sessions 是唯一能"踢掉"旧连接的开关。
实测环境与结果
环境:HAProxy 2.9.15(2.9-alpine,host network),三个模拟 mongod 节点(27018/27019/27020),check inter 500ms fall 2 rise 1。
| 场景 | 结果 |
|---|---|
| 初始状态 | 仅 primary UP,两个 secondary DOWN ✓ |
| 主动切主 | 旧连接约 4s 断开,客户端重连新主 ✓ |
| 去掉 shutdown-sessions | 连接存活 >12s,读降级数据 ✗ |
| 全无 primary(选举期) | TCP 握手成功但请求无响应,约 6s 超时——黑洞 |
最后一条值得注意:选举期间三个节点都不返回 ismaster: true,HAProxy 把全部 server 标 DOWN,于是连接直接连不上(而非连上后失败)。多数驱动会在此期间报连接错误并重试,行为上可接受,但要有重试策略。
常见问题
为什么用 tcp-check 而不是 HTTP 检查?
MongoDB 不说 HTTP。tcp-check 允许发送任意二进制报文并匹配响应片段,是四层协议探测的唯一通用手段。写死的是 ismaster 命令的 OP_QUERY 编码,各版本 MongoDB 都支持这个老协议。
这段十六进制报文能改成别的命令吗?
可以。报文结构是 头(长度/请求ID/响应位置/操作码) + 完整集合名 admin.$cmd + 跳过/返回数 + 文档长度 + 元素。只要把命令名和参数换掉就能探测其他状态,比如 hello(新版本替代 ismaster)或 ping。改动时元素长度和总长度两处都要同步。
secondary 被判 DOWN 会不会影响读扩展?
会。本方案把 secondary 全部判为不健康,只用于"单入口写"场景。如果需要读写分离,应另建一个只认 secondaryOk 的 backend,或者直接在驱动层用副本集连接串(replicaSet=),把选主交给驱动。
fall 2 rise 1 是什么含义?
连续 2 次检查失败才标记 DOWN,1 次成功即恢复 UP。inter 500ms 意味着最快 1 秒发现故障、0.5 秒发现恢复。生产环境按 RTO 调整,但 fall 不宜为 1,否则网络抖动会造成误摘。