PyTorch 的容错机制(HSDP、LocalSGD、DiLoCo、Streaming DiLoCo)
Fault tolerance for PyTorch (HSDP, LocalSGD, DiLoCo, Streaming DiLoCo)