性能调优 cdn 视频服务器 在高并发下的带宽与IO处理技巧

1.

架构与目标定义

1.1 目标：确保在高并发（数万TPS或数十Gbps）下，视频分发延时可控、丢包率低、origin压力小。

1.2 步骤概览：划分边缘/回源职责、网络优化、协议选型、IO优化、缓存策略、监控与自愈。

2.

基线准备与环境检测

2.1 检查硬件：CPU核数、NUMA节点、网卡型号（支持SR-IOV/TSO/GRO/LSO）、SSD类型（NVMe优先）。命令示例：lscpu; lspci | grep -i eth; lsblk。

2.2 网络与负载测试工具安装：iperf3, pktgen, wrk2, tsung。示例：apt-get install iperf3 wrk。

3.

内核网络栈调优（sysctl）

3.1 典型设置（写入 /etc/sysctl.d/99-net.conf）：net.core.somaxconn=65536; net.ipv4.tcp_max_syn_backlog=65536; net.ipv4.tcp_tw_reuse=1; net.core.netdev_max_backlog=250000。

3.2 TCP 缓冲与拥塞控制：net.ipv4.tcp_rmem="4096 87380 16777216"; net.ipv4.tcp_wmem="4096 65536 16777216"; net.ipv4.tcp_congestion_control=bbr（或hybla视场景）。应用后运行 sysctl -p。

4.

网卡与驱动层优化

4.1 多队列/RSS：启用多队列并为每队列绑定核。ethtool -L eth0 combined 16；查看队列 ethtool -S eth0。

4.2 关闭不必要的中间件 offload（或按需开启）：ethtool -K eth0 gro on gso on tso on；SR-IOV：echo 4 > /sys/bus/pci/devices/0000:03:00.0/sriov_numvfs。

5.

CPU/中断亲和（IRQ affinity）

5.1 将网卡IRQ绑定到对应CPU核，减少跨核缓存抖动。查看 /proc/interrupts，写入 /proc/irq//smp_affinity。

5.2 使用irqbalance或手工脚本：for i in $(cat /proc/irq/...); do echo 2 > /proc/irq/$i/smp_affinity; done。优先把中断绑在空闲核或与应用相同的NUMA节点。

6.

传输协议与TLS优化

6.1 启用HTTP/2复用或HTTP/3（QUIC）以减少连接开销。部署nginx+quiche或lsquic，配置session resumption和0-RTT。

6.2 TLS调优：开启OCSP stapling, session cache, 使用硬件加速（AES-NI, TLS offload）和合理的证书链。nginx示例：ssl_session_cache shared:SSL:50m; ssl_session_timeout 1d; ssl_stapling on。

7.

边缘缓存与Cache-Control策略

7.1 使用长缓存策略对不常更新的视频（例如点播）：Cache-Control: public, max-age=31536000, immutable；对动态内容短缓存并使用stale-while-revalidate。

7.2 分片与切片（HLS/DASH）：生成合理时长切片（2-6s），预生成多码率，配合edge预取（prefetch）减少首次回源。

8.

应用层软件优化（nginx/varnish/lsquic）

8.1 nginx建议：use epoll; worker_processes auto; worker_connections 65536; sendfile on; tcp_nopush on; tcp_nodelay on; aio threads; directio 8m（对大文件）。

8.2 Varnish/Cache配置：thread_pools和storage malloc或file（针对内存充足选malloc），设置 grace 和 saintmode 来缓解回源短暂失败。

9.

磁盘与IO调优

9.1 使用SSD/NVMe做热数据缓存，设置分区对齐，文件系统用XFS或ext4经过noatime挂载：/etc/fstab示例：/dev/nvme0n1p1 /data xfs rw,noatime,allocsize=16m 0 0。

9.2 异步IO与io_uring：对于高并发小文件读取，使用io_uring或libaio接口，比传统sync更高效。应用层或nginx模块启用aio和directio。

10.

文件系统与缓存层次

10.1 构建分层存储：内存缓存（memcached/redis）+本地SSD缓存（nginx proxy_cache）+后端对象存储（S3）。确保proxy_cache_path配置合理的keys_zone和inactive。

10.2 避免小文件随机IO：把小片段合并存储或使用SSD并发读优化，调整readahead：blockdev --setra 1024 /dev/nvme0n1。

11.

流控、限速与抗洪策略

11.1 在边缘实施基于连接/速率的限流（nginx limit_conn, limit_req），避免单源风暴耗尽带宽。

11.2 后端采用队列与回压：当缓存miss率高且回源压力大，触发降级策略（降级码率、返回占位图像或限速回源）。

12.

性能测试与回归验证

12.1 制定场景：并发连接数、并发流数量、带宽上限、错误注入。使用wrk2做HTTP基准，iperf3做纯带宽，fio做磁盘IO测试。

12.2 示例命令：wrk -t16 -c20000 -d300s --latency http://edge.example/video/stream.m3u8；fio --name=readtest --filename=/data/file --rw=read --bs=1M --iodepth=64 --size=10G。

13.

监控、告警与自动扩缩容

13.1 指标：带宽利用、tcp连接数、socket队列、disk latency、cache hit ratio、TLS握手时间。采集工具Prometheus + node_exporter + bpf_exporter。

13.2 告警策略：当cache-hit<90%或disk_latency>10ms或链接数>阈值时自动扩容或退流；使用Kubernetes/HPA或云弹性组结合流量调度。

14.

渐进部署与回滚策略

14.1 小流量灰度：先对一小部分PoP或用户段启用新协议（HTTP/3）和内核调优，观察关键指标3-24小时。

14.2 回滚步骤：保存原始sysctl备份、网卡配置脚本、nginx配置快照，发生问题时自动恢复并分析核心dump与tcpdump。

15.

问：在高并发下，最关键的单点优化是什么？

答：最关键是端到端瓶颈识别并优先解决。通常先确保网卡多队列+IRQ亲和、内核TCP缓冲和拥塞控制（如BBR）到位，再做应用层sendfile/aio和缓存策略优化。逐层测量（iperf/ wrk/ fio）能最快定位瓶颈，从网卡->内核->应用->磁盘按优先级逐一处理。

16.

问：如何在不影响线上服务的情况下试验内核参数？

答：使用灰度与可回滚策略：先在一台或一个小型PoP上临时应用sysctl（sysctl -w xxx=yyy），并通过流量切分把10%流量导向该PoP；同时保持监控。确认稳定后写入 /etc/sysctl.d/ 并逐步扩大范围。关键参数先短时观察连接建立/丢包/延迟指标。

17.

问：IO优先用io_uring还是传统aio？哪个更实用？

答：io_uring在现代内核上性能和延迟优势明显，尤其在高并发小IO场景。但兼容性与生态（库/语言绑定）需评估。建议在测试环境用fio + liburing验证收益，若收益显著且依赖链可控，则在非高峰窗口逐步上线；否则先使用成熟的libaio + directio并优化read-ahead与文件布局。