在這裡添加一些背景，計算能力的增加也意味著更高的能耗，這是不可持續的。 EpochAI 預測： ➤ 訓練計算每年以 4-5 倍的速度增長。 ➤ 電力需求預計每年將增加 2.2 倍到 2.9 倍。 到 2030 年，每次訓練運行可能需要 4-16 吉瓦（GW），足以為數百萬美國家庭供電。 有幾種解決方案可供選擇： ➤ 提高硬件能效 ➤ 開發減少訓練時間的方法 ➤ 在不同地理位置的多個 GPU 上利用分佈式訓練。 在這些方案中，由 @ionet、@render 和 @AethirCloud 等項目主導的第三個選項似乎是最可行和最直接的解決方案。 h/t @EpochAIResearch