OLMo 2 adalah penulis ulang web SOTA??
Pratyush Maini @ICLR'25
Pratyush Maini @ICLR'2518 Agu, 22.57
1/Pretraining menabrak dinding data; Menskalakan data web mentah saja mengarah pada penurunan pengembalian. Hari ini @datologyai membagikan BeyondWeb, pendekatan data sintetis kami & semua pembelajaran mulai dari menskalakannya ke triliunan token🧑🏼 🍳 - LLM 3B mengalahkan model🚀 8B - Perbatasan Pareto untuk kinerja
46,22K