TCP BBR 的优化

前段时间，老板发了篇资料，下面是我学习的相关记录整理。

https://aws.amazon.com/cn/blogs/china/talking-about-network-optimization-from-the-flow-control-algorithm/

PS：ubuntu24默认使用的tcp控制算法。还是 cubic

sysctl net.ipv4.tcp_available_congestion_control
# net.ipv4.tcp_available_congestion_control = reno cubic
sysctl net.ipv4.tcp_congestion_control
# net.ipv4.tcp_congestion_control = cubic

代码地址：https://github.com/google/bbr

安装使用 BBR v3

https://github.com/google/bbr/blob/v3/README.md

Viewing the TCP BBR v3 sources

You can view the current sources here:
tcp_bbr.c

Obtaining kernel sources with TCP BBR v3

There are two main options for downloading the code:

To create a new git repo starting from a Linux kernel with TCP BBR v3,
you can run:

git clone -o google-bbr -b v3  https://github.com/google/bbr.git
cd bbr/

To download the code into an existing git repo, you can use:

git remote add google-bbr https://github.com/google/bbr.git
git fetch google-bbr
git checkout google-bbr/v3

Note that if you already have a git repo that has imported the Linux source
tree, then the second option will be much faster and use much less space, since
it will only need to download the small deltas relative to the mainline Linux
source distribution.

Building and installing the kernel

To build a Linux kernel with TCP BBR v3 support, copy that kernel to a target
(Debian or Ubuntu) test machine (bare metal or GCE), and reboot that machine,
you can use the following script, included in the TCP BBR v3 distribution:

./gce-install.sh -m ${HOST}

Checking the kernel installation

Once the target test machine has finished rebooting, then ssh to the target
test machine and become root with sudo or equivalent. First check that the
machine booted the kernel you built above:

uname -a

You should see the branch name SHA1 hash, and build time stamp from the kernel
you built above.

Then check what congestion control modules are available with:

sysctl net.ipv4.tcp_available_congestion_control

You should see something like:

net.ipv4.tcp_available_congestion_control = reno bbr cubic dctcp

Install test dependencies

Next, copy the test scripts to the target test machine with:

scp -r gtests/net/tcp/bbr/nsperf/ ${HOST}:/tmp/

Before running the tests for the first time, as a one-time step you’ll need to
install the dependencies on the test machine, as root:

mv /tmp/nsperf /root/
cd /root/nsperf
./configure.sh

Running TCP BBR v3 tests and generating graphs

To run the tests, ssh to the target test machine and become root with sudo or
equivalent. Then run the tests and generate graphs with:

cd /root/nsperf
./run_tests.sh
./graph_tests.sh

This will run for hours, and place the graphs in the ./graphs/ directory.

You can run and graph a subset of the tests by specifying the test by name as
an environment variable. For example:

cd /root/nsperf
tests=random_loss ./run_tests.sh
tests=random_loss ./graph_tests.sh

WebRTC上改进的一些可能

BBR v3 与 WebRTC 的结合场景

WebRTC 的核心传输层通常使用 UDP（如音视频流通过 RTP 传输），但某些场景可能依赖 TCP 或 QUIC（如数据通道通过 SCTP over QUIC）。BBR v3 的适用场景包括：

基于 QUIC 的传输：QUIC 协议内置拥塞控制（如 BBR），可替代传统 TCP。
TURN/TCP 中继：当 WebRTC 通过 TURN 服务器使用 TCP 传输时，可启用 BBR v3。
用户态拥塞控制：在应用层实现 BBR 逻辑（如通过自定义网络栈）。

TURN/TCP 中继

对于基于 TCP 的传输（如 TURN 中继），设置拥塞控制算法为 BBR：

sysctl -w net.ipv4.tcp_congestion_control=bbr

# TURN 服务器配置（coturn）
listening-port=3478
relay-threads=8
lt-cred-mech
use-auth-secret
congestion-control=bbr

对于 QUIC 传输，需使用支持 BBR 的 QUIC 实现（如 Google 的 quiche）。
QUIC 兼容性：需 QUIC 库明确支持 BBR（如 Cloudflare quiche 支持 BBRv1）。

用户态 BBR v3 使用与借鉴

自定义传输协议：在 WebRTC 的数据通道（DataChannel）中，使用基于 UDP 的自定义协议，并在应用层实现 BBR v3 算法。
QUIC 集成：通过 QUIC 库（如 lsquic）启用 BBR，替代 WebRTC 默认的传输层。
针对 WebRTC 的低延迟需求调整 BBR 参数（如减少探测带宽的频率）。

// 在 QUIC 连接中设置 BBR 拥塞控制
quic_conn_params params;
params.cc_algorithm = QUIC_CC_ALGORITHM_BBR_V3;
quic_connection_create(&params);// WebRTC 数据通道通过 QUIC 传输
webrtc::DataChannelParameters channel_params;
channel_params.protocol = "quic";
peer_connection->CreateDataChannel("bbr_channel", &channel_params);

背景知识

https://cloud.google.com/blog/products/networking/tcp-bbr-congestion-control-comes-to-gcp-your-internet-just-got-faster

BBR 的核心优化在于将拥塞控制从被动响应丢包转变为主动建模网络路径，通过精准测量带宽和 RTT，实现高吞吐、低延迟、强鲁棒性的网络传输。BBRv2 进一步解决了公平性和稳定性问题，成为下一代互联网传输协议的重要候选方案。

TCP BBR（Bottleneck Bandwidth and Round-trip propagation time）是 Google 提出的一种基于网络拥塞模型的流量控制算法，旨在更高效地利用网络带宽并降低延迟。与传统的基于丢包的算法（如 CUBIC）不同，BBR 通过主动测量网络路径的带宽和传播时延（RTT），动态调整发送速率，优化网络性能。以下是 BBR 的核心优化点：

1. 基于带宽与时延的拥塞控制模型

传统算法的缺陷：CUBIC 等算法通过检测丢包来判断网络拥塞，但丢包往往发生在网络缓冲区已满时（此时延迟已显著增加）。
BBR 的改进：
- 主动测量带宽和 RTT：BBR 通过持续测量最大带宽（BtlBw）和最小 RTT（RTprop），计算网络路径的带宽时延积（BDP = BtlBw × RTprop），以此作为发送速率的理论上限。
- 避免缓冲区填塞：通过控制发送速率不超过 BDP，减少数据包在中间路由器缓冲区（Buffer）中的堆积，从而降低排队延迟（避免 Bufferbloat）。