En ajoutant un peu de contexte ici, une puissance de calcul accrue équivaut également à une plus grande consommation d'énergie, ce qui n'est pas durable. EpochAI a projeté que : ➤ La puissance de calcul pour l'entraînement augmente de 4 à 5 fois par an. ➤ La demande en énergie devrait augmenter de 2,2 à 2,9 fois par an. D'ici 2030, chaque session d'entraînement pourrait nécessiter entre 4 et 16 gigawatts (GW), suffisamment pour alimenter des millions de foyers américains. Plusieurs solutions sont disponibles : ➤ Améliorer l'efficacité énergétique du matériel ➤ Développer des méthodes pour réduire la durée d'entraînement ➤ Utiliser l'entraînement distribué sur plusieurs GPU dans différentes localisations géographiques. Parmi celles-ci, la troisième option, menée par des projets comme @ionet, @render et @AethirCloud, semble être la solution la plus réalisable et immédiate. h/t @EpochAIResearch