如果我們從頭開始重新思考針對 Apple Silicon 的分佈式 AI 訓練呢？ @tychovdo 和 @MattBeton 在 @Cohere_Labs 的 ML 效率小組中介紹了 KPOP。 KPOP 是一種優化器，利用了 Apple Silicon 上高內存:FLOPS 比率。