AstraSim 学习指南
从零跑通分布式 AI 系统模拟器

为什么大模型训练离不开"模拟"？

现代大模型（如 GPT、Llama）的单卡显存放不下，必须把模型切分到成百上千张 GPU 上并行训练。这时通信开销（GPU 之间传数据）往往比计算更慢，成为性能瓶颈。而通信的时间取决于：

想在买硬件之前就评估这些组合的性能？物理实验太贵太慢，于是有了 模拟器：把上述因素抽象成数学模型或事件驱动仿真，在普通电脑上"预演"一次分布式训练。

AstraSim 的分层架构（插件式设计）

AstraSim 2.0 把整个模拟栈拆成可插拔的层次，每一层都可以换实现——这是它最大的设计亮点：

模拟器本身不是"模型"，而是一个可组合的框架——你换一个后端，就换了一种仿真保真度；换一份轨迹，就换了一个训练负载。

需要装什么？

复制# WSL 中执行（需管理员权限安装 WSL 本体）
$ wsl --install -d Ubuntu-22.04

# 进入 Ubuntu 后，安装工具链
$ sudo apt update
$ sudo apt install -y build-essential cmake ninja-build \
    protobuf-compiler libprotobuf-dev python3 python3-pip git \
    libopenmpi-dev openmpi-bin

第一步：克隆主仓库

复制$ git clone https://github.com/astra-sim/astra-sim.git
$ cd astra-sim

第二步：初始化全部子模块

复制$ git submodule update --init --recursive

--recursive 表示子模块里的子模块也一起拉（嵌套）。这一步会下载 ns-3（约 170MB），耐心等待。

官方构建脚本（推荐）

复制$ cd build/astra_analytical
$ ./build.sh -t all   # 同时构建 congestion_unaware 和 congestion_aware

等价的手动命令（理解原理用）：

复制# ① 编译 Chakra proto
$ protoc et_def.proto --proto_path=extern/graph_frontend/chakra/schema/protobuf \
    --cpp_out=extern/graph_frontend/chakra/schema/protobuf

# ② cmake 配置 + ③ 编译
$ mkdir -p build/astra_analytical/build && cd build/astra_analytical/build
$ cmake .. -DBUILDTARGET=congestion_unaware
$ make -j$(nproc)

📄 examples/network/analytical/Ring_4npus.yml YAML

最简网络配置：4 个 NPU 组成环形（Ring），每条链路 50 GB/s、500 ns 延迟。

复制topology: [ Ring ]
npus_count: [ 4 ]
bandwidth: [ 50.0 ]  # GB/s
latency: [ 500.0 ]  # ns

字段解释

📄 examples/network/analytical/HGX-H100-validated.yml YAML

真实硬件配置：NVIDIA H100 8 卡服务器（官方实测校准参数），交换机直连拓扑。

复制topology: [ Switch ]
npus_count: [ 8 ]
bandwidth: [ 400.0 ]  # GB/s
latency: [ 936.25 ]  # ns

字段解释

📄 examples/system/native_collectives/Ring_4chunks.json JSON

系统配置（最值得研究）：决定调度策略、集合通信用什么算法、内存带宽等。

复制{
    "scheduling-policy": "LIFO",
    "endpoint-delay": 10,
    "active-chunks-per-dimension": 1,
    "preferred-dataset-splits": 4,
    "all-reduce-implementation": [
        "ring"
    ],
    "all-gather-implementation": [
        "ring"
    ],
    "reduce-scatter-implementation": [
        "ring"
    ],
    "all-to-all-implementation": [
        "ring"
    ],
    "collective-optimization": "localBWAware",
    "local-mem-bw": 1600,
    "boost-mode": 0,
    "roofline-enabled": 0,
    "peak-perf": 900
}

字段解释

📄 examples/system/native_collectives/HGX-H100-validated.json JSON

H100 实测版系统配置：与上面结构相同，只改了和真实硬件相关的参数。

复制{
    "scheduling-policy": "LIFO",
    "endpoint-delay": 10,
    "active-chunks-per-dimension": 2,
    "preferred-dataset-splits": 4,
    "all-reduce-implementation": [
        "ring"
    ],
    "all-gather-implementation": [
        "ring"
    ],
    "reduce-scatter-implementation": [
        "ring"
    ],
    "all-to-all-implementation": [
        "ring"
    ],
    "collective-optimization": "localBWAware",
    "local-mem-bw": 3350,
    "boost-mode": 0
}

字段解释

📄 examples/remote_memory/analytical/no_memory_expansion.json JSON

远端内存配置：声明不扩展内存——只用本地显存，模拟最朴素的情况。

复制{
    "memory-type": "NO_MEMORY_EXPANSION"
}

字段解释

📄 examples/network/ns3/sample_16nodes_1D.json JSON

逻辑拓扑配置（ns-3 后端专用）：告诉模拟器从物理网络里取哪 16 个节点、排成什么逻辑形状。

复制{
    "logical-dims": ["16"]
}

字段解释

🎞 .et 轨迹文件怎么"点开看"？

.et 是二进制 protobuf 格式，记事本打开是乱码。用下面这段 Python 就能读出每个 NPU 上的算子事件（构建时已生成 et_def_pb2.py）：

复制# ① 生成 protobuf 的 Python 代码（构建流程里已自动做过）：
#    protoc et_def.proto --proto_path=extern/graph_frontend/chakra/schema/protobuf \
#        --python_out=extern/graph_frontend/chakra/schema/protobuf

import sys
sys.path.insert(0, "extern/graph_frontend/chakra/schema/protobuf")
import et_def_pb2 as et

trace = et.ExecutionTrace()
with open("examples/workload/microbenchmarks/all_reduce/4npus_1MB/all_reduce.0.et", "rb") as f:
    trace.ParseFromString(f.read())

print("NPU id:", trace.id)
print("事件总数:", len(trace.events))
for ev in list(trace.events)[:8]:
    print(ev.type, "|", ev.name, "|", ev.attr)

🎬 轨迹可视化（真实 .et 数据）

下面的内容不是示意图，而是从你仓库里 examples/workload/microbenchmarks/ 的 16 个真实 .et 文件解析出来的（每个文件对应一个 NPU）。可以看到：微基准轨迹 = 每个文件只有 1 个抽象通信节点，具体的"怎么传、传几轮"由 AstraSim 在运行时结合系统/网络配置展开。

① 切换 workload，查看各 NPU 轨迹文件的内容

② 这个 1MB 的 AllReduce 在 4 卡 Ring 上是怎么跑的？（动画）

Ring AllReduce 分两阶段：Reduce-Scatter（数据沿环规约求和，3 步）→ All-Gather（结果沿环广播，3 步）。每步每个 NPU 只和邻居传 1 个 chunk（256 KB）。

换个后端试试：8 个 NPU 的 AllReduce（htsim）

复制$ ./build/astra_htsim/build/bin/AstraSim_HTSim \
    --workload-configuration=examples/workload/microbenchmarks/all_reduce/8npus_1MB/all_reduce \
    --system-configuration=examples/system/native_collectives/Ring_4chunks.json \
    --remote-memory-configuration=examples/remote_memory/analytical/no_memory_expansion.json \
    --network-configuration=examples/network/analytical/Ring_8npus.yml \
    --htsim_opts -topo examples/network/htsim/8nodes.topo

再试试 ns-3：16 个 NPU 的 AllGather

复制$ cd extern/network_backend/ns-3/build/scratch
$ ./ns3.42-AstraSimNetwork-default \
    --workload-configuration=/home/你的用户名/astra-sim/examples/workload/microbenchmarks/all_gather/16npus_1MB/all_gather \
    --system-configuration=/home/你的用户名/astra-sim/examples/system/native_collectives/Ring_4chunks.json \
    --network-configuration=/home/你的用户名/astra-sim/extern/network_backend/ns-3/scratch/config/config_clos.txt \
    --remote-memory-configuration=/home/你的用户名/astra-sim/examples/remote_memory/analytical/no_memory_expansion.json \
    --logical-topology-configuration=/home/你的用户名/astra-sim/examples/network/ns3/sample_16nodes_1D.json \
    --comm-group-configuration=empty

关键指标

本例中 Wall time = Comm time = 22240，说明这是一个纯通信微基准（microbenchmark）——没有计算，所有时间都花在通信上，符合预期。

三个后端的结果对比（本机实测）

动手实验清单（由易到难）