Мне бы тоже хотелось увидеть, как это происходит. Но на практике я не уверен, как реализовать что-то подобное. Просто ли федеральное правительство субсидирует стоимость для открытых лабораторий, чтобы они могли приобрести это оборудование? Это будет постоянная субсидия (нужно новое оборудование часто), и как выбрать, какие лаборатории получат субсидию? Напрямую подсчитывая, для 10K H200 это, вероятно, будет более 300 миллионов долларов, если использовать простое предположение о ~$30K за H200. И это только приобретение аппаратного обеспечения GPU. Вам нужно место, чтобы запускать их, а также операционные расходы на их обслуживание. Если вы заставите существующих владельцев вычислительных мощностей выделить часть своего предложения для этих лабораторий, им также потребуется какая-то форма субсидии. Большинство из этих компаний говорят, что они тоже сейчас ограничены в поставках. В любом случае, похоже, что мы движемся к созданию новой вычислительной парадигмы. Парадигма до сих пор вращалась вокруг масштабирования совместно расположенных вычислений. Без сомнения, будут и построения дата-центров размером с Манхэттен в США и других местах. Но также будут и меньшие вычислительные острова различного размера, которые будут соединены оптоволокном и т.д. Когда это станет новыми/стандартными ограничениями и фундаментальными ограничениями, это подтолкнет более широкое сообщество исследований в области ИИ в новые, неизведанные направления. Последствия этого могут означать большую и растущую дивергенцию между исследованиями, архитектурами моделей, экономикой и т.д., производимыми крупнейшими закрытыми лабораториями ИИ (тем, кто работает с фактически огромными единственными дата-центрами) и теми (вероятно, академиками и децентрализованными компаниями ИИ), которые используют более распределенные вычислительные кластеры (т.е. небольшие, но многочисленные вычислительные острова). Неясно, как это обернется для каждой стороны (и в конечном итоге, для потребителей моделей, произведенных каждой из них), но похоже, что это направление, в котором все движется. Вы даже можете утверждать, что мы уже видели проблески этого. Китайские лаборатории имеют принципиально разные вычислительные ограничения, чем OpenAI, например. Эти китайские лаборатории должны были инновационно подходить к техникам обучения/вывода из-за этого. Это не идеальная аналогия, но, возможно, это может помочь прояснить, как выглядят "малые шаги" к новой парадигме, и со временем эти малые шаги накапливаются и производят что-то, что выглядит/функционирует совершенно иначе, чем то, что производит другой путь.