Pesquisa do Dr. Yu Sun: Avançando a IA com computação hiperbólica O Dr. Yu Sun, ao lado de pesquisadores de Stanford, UC Berkeley, UCSD e UT Austin, está ampliando a fronteira da IA generativa usando a infraestrutura de GPU da Hyperbolic Labs. Dois projetos inovadores: geração de vídeo de um minuto e RNNs adaptativos. 🧵

Geração 🎥 de vídeo de um minuto A maioria dos modelos de vídeo como Sora e Veo cap em ~ 20s. A equipe de Sun introduziu camadas de Treinamento em Tempo de Teste (TTT) – estados neurais adaptativos que evoluem na inferência – possibilitando vídeos de 1 minuto a partir de um único prompt sem pós-edição.

Infra e Resultados > 256× NVIDIA H100s via @hyperbolic_ai > Modelo: 5B param CogVideo-X > Duração do contexto: 300.000 tokens > Tempo de execução: 50 horas de GPU > Conjunto de dados: desenhos animados com storyboard de 7 horas > +34 Elo vs Mamba 2 linha de base > papel 📄

RNNs com estados 🔁 ocultos expressivos Os RNNs padrão se degradam além de 16k tokens. A equipe do Dr. Sun construiu TTT-Linear e TTT-MLP - estados ocultos que são redes neurais que podem ser aprendidas. Eles se adaptam durante a inferência usando auto-supervisão baseada em gradiente.

Resultados > Comprimento do contexto: 32.000 tokens > Escala do modelo: parâmetros de 125M a 1,3B Aceleração do tempo de execução do >: 5× via otimização de forma dupla > Tempo linear, memória constante > supera ou iguala Transformer, Mamba, DeltaNet Código >:

Infra Hiperbólica = Facilitador de Pesquisa Os clusters H100 estáveis e de alta taxa de transferência da Hyperbolic suportavam processamento de 300 mil tokens, ambientes persistentes para otimização de loop interno e recursos escaláveis para experimentos combinados com FLOP.

"As GPUs e serviços H100 da Hyperbolic forneceram a confiabilidade que nos permitiu prototipar nossa pesquisa em treinamento em tempo de teste. Sua infraestrutura facilitou o dimensionamento de nossos modelos para gerar vídeos de um minuto a partir de storyboards de texto. Conseguimos nos concentrar na pesquisa em vez de lidar com questões de infraestrutura." — Dr. Yu Sun

O futuro da IA generativa e da modelagem de sequência está aqui. Com camadas TTT e computação escalável, novas fronteiras estão sendo desbloqueadas. Alugue GPUs sob demanda agora em Confira o blog completo: