运维与数据工程笔记

MongoDB 副本集单入口:用 HAProxy 做协议感知健康检查

6 分钟
MongoDBHAProxy副本集高可用

问题:TCP 通不等于能写

副本集有三个节点,前面挂一台四层负载均衡。用普通的 tcp-check connect 时,HAProxy 只能确认端口开着——primary 和 secondary 的 27017 都一样开着。后果是客户端有约三分之一的概率被调度到 secondary,写入直接失败(not primary),读到的也可能是延迟数据。

判断节点是不是 primary,必须说 MongoDB 的协议——只有读到 ismaster: true 才能确认。

一句话方案

用 tcp-check 发送一段手写的 OP_QUERY 报文(admin.$cmd 上的 ismaster),检查响应里是否出现 ismaster + true,再配 on-marked-down shutdown-sessions 让节点被摘除时主动断开旧连接。

backend bk_mongo
    mode tcp
    balance first
    option tcp-check

    tcp-check connect
    tcp-check send-binary 3a000000  EEEEEEEE  00000000  d4070000  00000000 \
               61646d696e2e24636d6400  00000000  FFFFFFFF  13000000  10 \
               69736d617374657200  01000000  00
    tcp-check expect binary 69736d61737465720001

    server mongo1 10.0.0.11:27017 check inter 500ms fall 2 rise 1
    server mongo2 10.0.0.12:27017 check inter 500ms fall 2 rise 1
    server mongo3 10.0.0.13:27017 check inter 500ms fall 2 rise 1

    # 关键:节点被标记 DOWN 时立刻断开会话
    on-marked-down shutdown-sessions

expect binary 69736d61737465720001 的含义是:响应中必须出现 ismaster 的 ASCII(69 73 6d 61 73 74 65 72 00)紧跟 01(布尔 true)。secondary 返回的是 00,因此被判为不健康。

shutdown-sessions 为什么是必须的

这是本方案最容易忽略的一行。不加它,节点被摘除时已有连接不会断开,客户端会继续在一条已经指向 secondary 的链路上跑。

实测对照:

配置 切主后的行为
有 shutdown-sessions 客户端先收到一次 role=secondary 应答,约 4 秒后被断开并重连到新主
无 shutdown-sessions 连接存活超过 12 秒,期间持续访问降级节点

四层代理没有能力改写连接状态,shutdown-sessions 是唯一能"踢掉"旧连接的开关。

实测环境与结果

环境:HAProxy 2.9.15(2.9-alpine,host network),三个模拟 mongod 节点(27018/27019/27020),check inter 500ms fall 2 rise 1。

场景 结果
初始状态 仅 primary UP,两个 secondary DOWN ✓
主动切主 旧连接约 4s 断开,客户端重连新主 ✓
去掉 shutdown-sessions 连接存活 >12s,读降级数据 ✗
全无 primary(选举期) TCP 握手成功但请求无响应,约 6s 超时——黑洞

最后一条值得注意:选举期间三个节点都不返回 ismaster: true,HAProxy 把全部 server 标 DOWN,于是连接直接连不上(而非连上后失败)。多数驱动会在此期间报连接错误并重试,行为上可接受,但要有重试策略。

常见问题

为什么用 tcp-check 而不是 HTTP 检查?

MongoDB 不说 HTTP。tcp-check 允许发送任意二进制报文并匹配响应片段,是四层协议探测的唯一通用手段。写死的是 ismaster 命令的 OP_QUERY 编码,各版本 MongoDB 都支持这个老协议。

这段十六进制报文能改成别的命令吗?

可以。报文结构是 头(长度/请求ID/响应位置/操作码) + 完整集合名 admin.$cmd + 跳过/返回数 + 文档长度 + 元素。只要把命令名和参数换掉就能探测其他状态,比如 hello(新版本替代 ismaster)或 ping。改动时元素长度和总长度两处都要同步。

secondary 被判 DOWN 会不会影响读扩展?

会。本方案把 secondary 全部判为不健康,只用于"单入口写"场景。如果需要读写分离,应另建一个只认 secondaryOk 的 backend,或者直接在驱动层用副本集连接串(replicaSet=),把选主交给驱动。

fall 2 rise 1 是什么含义?

连续 2 次检查失败才标记 DOWN,1 次成功即恢复 UP。inter 500ms 意味着最快 1 秒发现故障、0.5 秒发现恢复。生产环境按 RTO 调整,但 fall 不宜为 1,否则网络抖动会造成误摘。