Vandaag is een heel grote prestatie voor Nous, maar mogelijk ook voor het AI-landschap. We zijn begonnen met een gedecentraliseerde pretraining-run van wat in feite een dichte Deepseek is - 40B-parameters, meer dan 20T-tokens, met MLA voor efficiëntie in de lange context. Alle controlepunten, ongegloeid, gegloeid, de dataset, alles wordt live opensource naarmate de training vordert. Bekijk de blog die het Psyche-team leidt @DillonRolnick, schreven @theemozilla en Ari in de citaat-tweet om *veel* meer te weten te komen over de infrastructuur.
Nous Research
Nous Research15 mei 2025
Aankondiging van de lancering van Psyche Nous Research democratiseert de ontwikkeling van kunstmatige intelligentie. Vandaag beginnen we aan onze grootste inspanning tot nu toe om die missie te realiseren: The Psyche Network Psyche is een gedecentraliseerd trainingsnetwerk dat het mogelijk maakt om de computer van de wereld samen te brengen om krachtige AI te trainen, waardoor individuen en kleine gemeenschappen toegang krijgen tot de middelen die nodig zijn om nieuwe, interessante en unieke grootschalige modellen te maken. We lanceren vandaag ons testnet met de pre-training van een 40B parameter LLM, een model dat krachtig genoeg is om als basis te dienen voor toekomstige activiteiten in open science. Deze run vertegenwoordigt de grootste pre-trainingsrun die tot nu toe via internet is uitgevoerd, en overtreft eerdere iteraties die kleinere modellen trainden op veel minder datatokens.
63,42K