如果我们从头开始重新思考针对 Apple Silicon 的分布式 AI 训练呢？ @tychovdo 和 @MattBeton 在 @Cohere_Labs 的 ML 效率小组中介绍了 KPOP。 KPOP 是一种优化器，利用了 Apple Silicon 上高内存:FLOPS 比率。