运行时与启动
| 资源 | 类型 | 简介 | 资料 |
|---|---|---|---|
| How we achieved truly serverless GPUs | 博客 | 介绍 Modal 降低 GPU 推理冷启动开销的系统设计,涵盖健康空闲 GPU 缓冲池、ImageFS 惰性加载与内容寻址缓存,以及进程与 CUDA 状态的检查点恢复。 |
可靠性与运维
| 资源 | 类型 | 简介 | 资料 |
|---|---|---|---|
| Keeping 20,000 GPUs healthy | 博客 | 介绍 Modal 的 GPU 集群可靠性实践,涵盖实例选型、机器镜像测试、启动检查、被动监控、定期主动检查,以及故障主机的排空与替换。 |
