Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Gostaria muito de ver isso acontecer também. Mas, na prática, não tenho certeza de como implementar algo assim.
O governo federal simplesmente subsidia o custo para laboratórios abertos adquirirem esse hardware? Isso seria um subsídio contínuo (é necessário novo hardware com frequência agora), e como selecionar quais laboratórios recebem o subsídio? Um cálculo rápido para 10K H200s provavelmente ultrapassa os $300M se usarmos a suposição simples de ~$30K por H200. E isso é apenas a aquisição de hardware GPU. Você precisa de um lugar para executar isso, além dos custos operacionais para mantê-los.
Se você obrigar os proprietários de computação existentes a reservar uma parte de seu suprimento para fornecer a esses laboratórios, eles também precisarão de algum tipo de subsídio. A maioria dessas empresas diz que estão com restrições de suprimento agora também.
De qualquer forma, parece que estamos caminhando para a criação de um novo paradigma de computação. O paradigma até agora tem girado em torno da escalabilidade da computação co-localizada. Sem dúvida, ainda haverá grandes construções de datacenters do tamanho de Manhattan nos EUA e em outros lugares. Mas também haverá ilhas de computação menores, variando em tamanho, que estão conectadas com fibra, etc. Quando essas forem as novas/standard restrições e limitações fundamentais, isso empurrará a comunidade de pesquisa em IA mais ampla em novas direções inexploradas.
O impacto downstream disso pode significar uma grande e crescente divergência entre a pesquisa, arquiteturas de modelos, economias, etc., produzidas entre os maiores laboratórios de IA fechados (aqueles que trabalham efetivamente com datacenters massivos) e aqueles (provavelmente acadêmicos e empresas de IA descentralizadas) que usam clusters de computação mais distribuídos (ou seja, as pequenas, mas numerosas ilhas de computação). Não está claro como isso se desenrolará para nenhum dos lados (e, em última análise, para os consumidores dos modelos produzidos por cada um), mas parece que é para lá que as coisas estão indo.
Você poderia até argumentar que já vimos vislumbres disso. Os laboratórios chineses têm restrições de computação fundamentalmente diferentes das da OpenAI, por exemplo. Esses laboratórios chineses tiveram que inovar em técnicas de treinamento/inferência por causa disso. Não é uma analogia perfeita, mas talvez possa ajudar a elucidar como "pequenos passos" em direção a um novo paradigma se parecem, e ao longo do tempo, esses pequenos passos se acumulam e produzem algo que parece/funciona de maneira bastante diferente do que o outro caminho produz.

4/08, 22:08
Para resolver isso, o recurso chave é ter vários laboratórios abertos com mais de 10000 GPUs cada.
Múltiplos laboratórios fazem com que não fiquemos dependentes da boa vontade das grandes empresas de tecnologia para querer lançar modelos. Essas instituições aumentam a inovação e reduzem o risco dessa tecnologia crucial.
810
Top
Classificação
Favoritos