流水线并行模拟器
Stage 数量
Micro-batch 数量
调度策略
ZeroBubble
Gpipe
PipeDream-1F1B
PipeMorph
Delta_i
Static (Replay)
执行时间 (ms)
F:
Bᵢ:
W:
通信延迟 (ms)
调度计划
静态调度计划 (每行一个 Stage)
格式示例:
F1 F2 B1 W1
F1 B1 W1
...
运行模拟 & 渲染