I en tid med fortrening var det internetttekst som betydde noe. Du vil først og fremst ha en stor, mangfoldig samling av internettdokumenter av høy kvalitet å lære av. I en tid med overvåket finjustering var det samtaler. Kontraktsarbeidere er ansatt for å lage svar på spørsmål, litt som det du vil se på Stack Overflow / Quora, eller etc., men rettet mot LLM-brukstilfeller. Ingen av de to ovennevnte forsvinner (imo), men i denne epoken med forsterkende læring er det nå miljøer. I motsetning til de ovennevnte, gir de LLM en mulighet til å faktisk samhandle - iverksette handlinger, se resultater osv. Dette betyr at du kan håpe å gjøre det mye bedre enn statistisk ekspertimitasjon. Og de kan brukes både til modelltrening og evaluering. Men akkurat som før, er kjerneproblemet nå å trenge et stort, mangfoldig sett med miljøer av høy kvalitet, som øvelser for LLM å øve mot. På noen måter blir jeg minnet om OpenAIs aller første prosjekt (treningsstudio), som var akkurat et rammeverk i håp om å bygge en stor samling miljøer i samme skjema, men dette var lenge før LLM-er. Så miljøene var enkle akademiske kontrolloppgaver på den tiden, som cartpole, ATARI, etc. Huben for @PrimeIntellect miljøer (og «verifikatorer»-repositoriet på GitHub) bygger den moderniserte versjonen som er spesielt rettet mot LLM-er, og det er en flott innsats/idé. Jeg foreslo at noen skulle bygge noe lignende tidligere i år: Miljøer har den egenskapen at når skjelettet til rammeverket er på plass, kan i prinsippet samfunnet/industrien parallellisere på tvers av mange ulike domener, noe som er spennende. Siste tanke - personlig og langsiktig, jeg er bullish på miljøer og agentiske interaksjoner, men jeg er bearish på forsterkende læring spesifikt. Jeg tror at belønningsfunksjoner er super sus, og jeg tror mennesker ikke bruker RL for å lære (kanskje de gjør det for noen motoriske oppgaver osv., men ikke intellektuelle problemløsningsoppgaver). Mennesker bruker forskjellige læringsparadigmer som er betydelig kraftigere og prøveeffektive, og som ikke har blitt ordentlig oppfunnet og skalert ennå, selv om tidlige skisser og ideer eksisterer (som bare ett eksempel, ideen om "systemrask læring", flytte oppdateringen til tokens/kontekster ikke vekter og eventuelt destillere til vekter som en egen prosess litt som søvn gjør).