cdn直播 cname 在多CDN场景下实现平滑切换的运维手册

1.

概述与目标

• 目标：保证直播流在主CDN故障时 5 秒内完成切换并回落，播放成功率保持在 99.9% 以上。
• 作用域：适用于域名采用 CNAME 指向 CDN 的直播域名（如 live.example.com）。
• 涉及组件：域名解析（DNS）、多家 CDN（A、B）、源站 VPS/主机、监控与自动化脚本。
• 关键指标：DNS TTL、健康检查频率、切换触发阈值、并发连接上限。
• 前提：域名解析商支持 API 自动修改解析记录，或支持 ANAME/ALIAS 类型记录。

2.

基础架构与服务器配置示例

• 示例源站：VPS-1（地区：上海），4 vCPU / 8 GB RAM / 200 GB NVMe，公网带宽 200 Mbps，公网 IP 203.0.113.10。
• 负载均衡：使用 Nginx 做 TCP 代理（RTMP/FLV），示例 upstream 配置可在运维文档中保存备份。
• 持久连接：设置 worker_connections 10240，keepalive_timeout 65 秒以支持高并发直播接入。
• 监控与告警：Prometheus + Alertmanager，监控指标包括 5 分钟平均丢包率与延迟。
• 安全策略：防火墙限速（每 IP 每秒连接数 50），并与 CDN 的 DDoS 防护配合使用。

3.

DNS 与 CNAME 策略（含具体数据）

• 原则：对外域名（live.example.com）使用 CNAME 指向 cdnA.live.examplecdn.com，备援为 cdnB.live.othercdn.com。
• TTL 建议：主解析 TTL 设为 30 秒，备用解析在切换时通过 API 快速生效；部分 DNS 商实际生效延时为 1-2 秒。
• 健康检查：每 5 秒对主 CDN 的播放节点执行 HTTP HEAD 或 probe，请求失败率 > 5% 触发切换。
• 自动切换脚本：调用 DNS 提供商 API，将 CNAME 指向备援 CDN；切换执行时间测试：API 响应 200 ms，解析生效平均 3-6 秒。
• 示例解析记录表（示例数据）：

4.

多CDN平滑切换流程与自动化

• 监测层：部署探针节点（多个地域），采集 RTMP 拉流成功率、HTTP 首字节时间（TTFB）、丢包率。
• 决策层：若 3 个探针中超过 2 个出现拉流失败或 TTFB 超过 2 秒，触发切换流程。
• 执行层：调用 DNS API 修改 CNAME 指向，记录切换事件并在 1 分钟内继续观测是否回落。
• 回切策略：主 CDN 恢复且稳定 10 分钟后，按预设窗口低流量时段回切，避免 oscillation（震荡）。
• 实际观测：某次故障中，切换耗时统计：检测 12 秒、API 修改 0.2 秒、DNS 生效 4 秒，总体业务中断窗口约 16 秒，播放恢复率从 70% 提升至 99.5%。

5.

DDoS 与流量清洗策略

• CDN 侧防护：首层使用 CDN 的清洗能力（大流量时自动切换到清洗流量路径），并结合速率限制与地理封锁。
• 源站防护：在源站部署 iptables 限流和 fail2ban，针对异常连接数自动拉黑 24 小时。
• BGP/黑洞：在遭遇大规模 L3/4 攻击时，联动带宽提供商启用黑洞路由，保护管理链路。
• 演练频率：每季度进行一次 DDoS 模拟演练，验证 CDN 清洗流程与源站应急预案。
• 案例：一次 120 Gbps 的攻击经 CDN 清洗后下沉至 3 Gbps，源站通过流量阈值触发限流策略，业务不中断。

6.

运维建议与故障记录模板

• 建议：将切换逻辑写成幂等的微服务，产生事件后端记录并支持人工回滚。
• 日志保留：保留切换日志与探针数据至少 30 天，便于追溯并优化规则。
• 配置管理：服务器与 Nginx 配置通过 Ansible 管理，示例 inventory 包含源站 IP 与证书路径。
• 报警门槛：播放成功率低于 99% 触发警报，平均首包时延超 1.5 秒触发二次告警。
• 故障单模板：包含发生时间、影响域名、故障类型、检测数据（示例：丢包 12%，平均 RTT 420 ms）、已执行动作、后续整改项。