TE-CCL × AstraSim
论文算法跑进真实模拟器

论文

"Rethinking Machine Learning Collective Communication as a Multi-Commodity Flow Problem" — Xuting Liu 等, ACM SIGCOMM 2024（Best Paper）。
仓库：https://github.com/microsoft/te-ccl

实验问题

TE-CCL 说"这个 AllGather 需要 8 个 epoch、完成时间 8.0（抽象单位）"。我们把它的计划原样翻译成 AstraSim 轨迹、在 4×4 Mesh 拓扑上仿真——实测时间是多少？和它声称的完成时间一致吗？

TE-CCL schedule 长什么样（真实文件）

复制{
  "1-Epoch_Duration": 1.0,        # 每时隙时长（归一化单位）
  "3-Epochs_Required": 8,          # 需要 8 个时隙
  "4-Collective_Finish_Time": 8.0, # 声称的完成时间（抽象单位）
  "5-Algo_Bandwidth": 200,
  "7-Flows": [                     # 240 条传输计划
    "Chunk 0 from 9 traveled over 9->5 in epoch 0",
    "Chunk 0 from 7 traveled over 7->11 in epoch 0",
    ...
  ]
}

每条 flow = "某个 chunk 在第 e 个 epoch 从节点 a 传到节点 b"。这正好就是 AstraSim 自定义集合通信（CustomCollective）需要的 send/recv 步骤。

翻译出的 Chakra ET（rank 0 视角）

复制COMM_SEND_NODE SEND_ep0_to_5  | tag=0  | 1MB  # epoch 0: 9→5
COMM_RECV_NODE RECV_ep0_from_0 | tag=3  | 1MB
COMM_SEND_NODE SEND_ep1_to_9  | tag=4  | 1MB  # epoch 1
...

send 与对应 recv 用相同 comm_tag 配对；同一 epoch 内节点并行，跨 epoch 串行（依赖链）。

源码证据（TE-CCL allgather.py）

复制# 每 epoch 每条链路最多传输 capacity×epoch_duration 个 chunk
epoch_capacity = self.topology.capacity[i][j] * self.epoch_duration
...
# capacity=1 时：一个 chunk 必须占满整整一个 epoch 才能传输
# → chunk 到达中间节点后，转发最早发生在下一个 epoch

这就是"时隙化调度器"（TACCL / TE-CCL 通用做法）相对真实系统的固有误差：它给每个传输分配整数时隙，放弃了流水线重叠。AstraSim 精确模拟出这些重叠，所以时间更短。

🔴 拥塞在哪里？（aware 后端实证）

启用拥塞模型（AstraSim_Analytical_Congestion_Aware）后，两条路径的结果分化明显：

Ring 的拥塞来自：逻辑环在 Mesh 物理拓扑上，相邻逻辑节点的物理路径在多条流之间共享链路（尤其 0-1、14-15 等角落瓶颈边）。TE-CCL 的 MILP 显式平衡了链路负载，所以它的调度在拥塞模型下时间不变——这解释了"流量工程调度"论文的核心价值。

复制TE-CCL finish(真实 ns) = Epochs_Required × (1 个 chunk 的传输时间)
                        = 8 × (chunk_bytes ÷ bandwidth)
                        = 8 × (1048576 B ÷ 50 GB/s)
                        = 167,772 ns

依据：TE-CCL 的 epoch_duration = 1 / 最快链路容量，而链路容量 = 100 / chunk_size(GB)，两者相乘恰好消去归一化，等价于"传一个 chunk 的真实时间"。证明 TE-CCL 的模型 = 纯带宽模型（无拥塞、无延迟），与 AstraSim analytical 后端数学同源。

① 环境

复制# WSL2 + Ubuntu 22.04，已装好 AstraSim（三个后端）
$ git clone https://github.com/microsoft/te-ccl.git   # 走镜像 ghfast.top

② 转换调度计划

复制$ python3 teccl_schedule_to_plan.py \
    --schedule te-ccl/teccl/examples/schedules/mesh_4.json \
    --output examples/system/custom_collectives/teccl_mesh4/plan.json \
    --collective all_gather

③ 生成 Chakra 轨迹 + 配置

复制$ cd examples/system/custom_collectives/teccl_mesh4
$ python3 plan_to_et.py --plan plan.json --output-prefix teccl_mesh4
$ cat > mesh_16npus_nolat.yml <<'EOF'
topology: [ Mesh ]
npus_count: [ 16 ]
bandwidth: [ 50.0 ]
latency: [ 0.0 ]
EOF

④ 仿真

复制$ cd /home/xm/astra-sim
$ ./build/astra_analytical/build/bin/AstraSim_Analytical_Congestion_Unaware \
    --workload-configuration=examples/workload/microbenchmarks/all_gather/16npus_1MB/all_gather \
    --system-configuration=examples/system/custom_collectives/teccl_mesh4/teccl_mesh4_system.json \
    --remote-memory-configuration=examples/remote_memory/analytical/no_memory_expansion.json \
    --network-configuration=examples/system/custom_collectives/teccl_mesh4/mesh_16npus_nolat.yml
# 输出：Wall time: 97655（延迟0）/ 100155（延迟500ns）

⑤ 对照：官方 Ring

复制# system json 里把 all-gather-implementation-custom 换成：
"all-gather-implementation": ["ring"]
# 预期：Wall time ~305125