OLMo 2 é o reescritor da web SOTA?
Pratyush Maini @ICLR'25
Pratyush Maini @ICLR'2518 de ago., 22:57
1/O pré-treinamento está atingindo uma parede de dados; Dimensionar os dados brutos da Web por si só leva a retornos decrescentes. Hoje, @datologyai compartilha o BeyondWeb, nossa abordagem de dados sintéticos e todos os aprendizados de escaloná-lo para trilhões de tokens🧑🏼 🍳 - Os LLMs 3B superam os modelos🚀 8B - Fronteira de Pareto para desempenho
46,24K