Добавляя немного контекста, увеличение вычислительной мощности также означает более высокое потребление энергии, что является несustainable. EpochAI прогнозирует, что: ➤ Вычислительные мощности для обучения увеличиваются на 4-5 раз ежегодно. ➤ Спрос на электроэнергию, как ожидается, вырастет на 2,2-2,9 раза в год. К 2030 году каждая сессия обучения может потребовать от 4 до 16 гигаватт (ГВт), что достаточно для обеспечения электроэнергией миллионов домов в США. Доступно несколько решений: ➤ Улучшить энергоэффективность аппаратного обеспечения ➤ Разработать методы сокращения времени обучения ➤ Использовать распределенное обучение на нескольких GPU в разных географических локациях. Среди них третий вариант, возглавляемый проектами, такими как @ionet, @render и @AethirCloud, кажется наиболее осуществимым и срочным решением. h/t @EpochAIResearch