Ik heb gehoord dat jullie van UIs houden 👀

heb net mijn eerste multi-turn RL-omgeving gepusht naar @PrimeIntellect de opzet: het model krijgt de verhaaltitel + vraag van QuALITY (lange verhalen, meerkeuzevragen). tts enige tool: agentic RAG-zoekopdracht over het verhaal.

hoorde dat jullie van tuis houden

het vooruitzicht om een open source ecosysteem voor RL op te starten is wat me zeker aantrok tot verifiers en @PrimeIntellect

Het bouwen van RL-omgevingen is leuk. Hetzelfde doen met verificatoren/PI is bijna verslavend. Het voelt als een spel, haha, ik heb net mijn eerste paar omgevingen in dit ecosysteem gebouwd en ik denk niet dat ik kan of wil stoppen. Deze week ga ik proberen alle omgevingen die ik dit jaar heb gebouwd over te zetten en ze naar de hub te pushen.

open-source rl-omgevingen kunnen het belangrijkste onderdeel zijn voor het waarborgen van open source agi

Ik moet bekennen dat ik een zeer specifieke missie in gedachten heb met dit project. De semi-vage private bèta-uitrol maakt daar deel van uit. De set van taken die we aan het sourcen zijn, maakt daar deel van uit. De GPU-beloningen maken daar deel van uit. De shitposts maken daar deel van uit. De podcasts maken daar deel van uit. Mindshare is hier cruciaal. Laat me het uitleggen. Momenteel is veel van de discussie rond RL-omgevingen gericht op deze nieuwe golf van startups wiens businessmodel het bouwen en verkopen van omgevingen aan een zeer klein aantal grote laboratoria op exclusieve basis is. Mechanize is de luidste, maar er zijn er een aantal. In plaats van te investeren in instructie-afstemming monsters en annotaties, zijn laboratoria gretig om private omgevingen te kopen als hun volgende grote verbruikbare hulpbron voor modeltraining. Dit fenomeen is zowel een serieus risico voor de vooruitzichten van open-source modellen om concurrerend te blijven, als een grote kans om de balans te verschuiven als we het zwaartepunt kunnen verleggen. Als goede omgevingen allemaal duur en verborgen zijn, zullen open-source modellen nog verder achterop raken. Dit is in wezen wat er met pretraining data is gebeurd. Maar als er een voldoende robuust ecosysteem van open-source tools voor omgevingen en training kan ontstaan, dan kan de open-source optie ook de state-of-the-art zijn. Dit is min of meer wat er met pytorch is gebeurd. Het verschuiven van de balans hier is mijn doel. Ons doel. Ik ben bij Prime Intellect gekomen omdat iedereen waanzinnig getalenteerd was, godverdomd serieus over de missie van open-source AGI voor iedereen en niet bang was om dat te zeggen, en omdat het team een unieke structurele voorsprong had die betekende dat we daadwerkelijk enkele serieuze slagen konden maken. We verkopen rekencapaciteit. We bouwen infrastructuur om te verbeteren wat je met die rekencapaciteit kunt doen. We doen onderzoek naar hoe die rekencapaciteit op nieuwe manieren kan samenwerken. We trainen grotere en betere modellen. We hebben de juiste prikkels om het harde, noodzakelijke werk te doen. Deze onderdelen zijn allemaal met elkaar verbonden. We kunnen het niet alleen. Niemand kan dat. Het zal startups, ondernemingen, studenten en professoren over de hele wereld vergen. Open onderzoek heeft momenteel niet de tools om de vragen te bestuderen die grote laboratoria als het meest cruciaal voor toekomstige vooruitgang beschouwen. We moeten een manier vinden om die tools te bouwen. We proberen dat gemakkelijker te maken. We moeten allemaal beter worden in samenwerken, in het niet opnieuw uitvinden van het wiel, in het samenvoegen van individuele stukken tot grotere puzzels. Laten we nemen wat we gezamenlijk tot nu toe hebben gedaan, het opruimen, het laten samenwerken, meer mensen in de tent brengen en beginnen met het spelen van meer positieve-somspellen. Als we geen betere manieren kunnen vinden om samen te werken, gaan we naar een AI-toekomst waarin we collectief gewoon *niet weten wat deze modellen zelfs zijn*, omdat het gordijn nooit wordt opgetild, en alles wat we daadwerkelijk kunnen zien gewoon een speelgoed is. Er is een ander type bedrijf dat je in deze ruimte zou kunnen bouwen; een die je nog steeds in staat stelt om aan de grote laboratoria te verkopen, maar niet exclusief; een die je nog steeds je handelsgeheimen laat hebben en zoete ARR laat printen, maar ons collectief niet minder geïnformeerd maakt over de toekomst die we aan het bouwen zijn. Browserbase. Cursor. Exa. Modal. Morph. En talloze anderen. Laten we meer van deze doen. Je kunt een geweldig bedrijf bouwen door krachtige tools en harnassen voor agenten te maken die de hoogwaarde taken weerspiegelen die mensen willen dat modellen daadwerkelijk uitvoeren. Heb elementen die open zijn om vrij te proberen, en elementen die achter een API worden gehost. Vraag per gebruik met enkele premium enterprise-functies. Bouw de beste LLM-vormige excel-kloon, of figma-kloon, of turbotax-kloon. Verander het net genoeg om een rechtszaak te vermijden, en laat dan private klanten de meer rechtszaak-robuste versie zien. Geniet van een gezonde concurrentie in de arena, en vind manieren om samen te werken waar het telt. Vind je invalshoek en wees zo goed dat je aan iedereen kunt verkopen, of het nu voor RL of voor daadwerkelijk gebruik is. Bereik kritische massa en wees zo betaalbaar dat het voor niemand de moeite waard is om te proberen wat je al hebt gemaakt opnieuw op te bouwen. Dit is de tijdlijn waarvan ik hoop dat we eindigen. Het is een wereld waarin de grote laboratoria allemaal nog steeds geweldig kunnen doen, en waarschijnlijk de gemakkelijkste manieren zullen bieden om een beetje meer uit te geven voor verbeterde algemene prestaties. Maar het is ook een wereld waarin open-source modellen niet ver achterblijven, en iedereen die er genoeg om geeft, in wezen kan zien wat er aan de hand is en begrijpen hoe de modellen die we gebruiken daadwerkelijk worden getraind. Als je overweegt om een bedrijf te starten of je bij een bedrijf te voegen dat zich richt op RL-omgevingen, dring ik er bij je op aan om na te denken over welke tijdlijn je impliciet op wedt, en reflecteer op hoe je je daarover voelt.

Ik moet bekennen dat ik een zeer specifieke missie in gedachten heb met dit project. De semi-vage private bèta-uitrol maakt daar deel van uit. De set van taken die we aan het verzamelen zijn, maakt daar deel van uit. De GPU-beloningen maken daar deel van uit. De shitposts maken daar deel van uit. De podcasts maken daar deel van uit. Mindshare is hier cruciaal. Laat me het uitleggen. Momenteel is veel van de discussie rond RL-omgevingen gericht op deze nieuwe golf van startups wiens businessmodel het bouwen en verkopen van omgevingen aan een zeer klein aantal grote laboratoria op exclusieve basis is. Mechanize is de luidste, maar er zijn er een aantal. In plaats van te investeren in instructie-afstemming monsters en annotaties, zijn laboratoria gretig om private omgevingen te kopen als hun volgende grote verbruikbare hulpbron voor modeltraining. Dit fenomeen is zowel een serieus risico voor de vooruitzichten van open-source modellen om concurrerend te blijven, als een grote kans om de balans te verschuiven als we het zwaartepunt kunnen verleggen. Als goede omgevingen allemaal duur en verborgen zijn, zullen open-source modellen nog verder achterop raken. Dit is in wezen wat er met pretraining data is gebeurd. Maar als er een voldoende robuust ecosysteem van open-source tools voor omgevingen en training kan ontstaan, dan kan de open-source optie ook de state-of-the-art zijn. Dit is min of meer wat er met pytorch is gebeurd. Het verschuiven van de balans hier is mijn doel. Ons doel. Ik ben bij Prime Intellect gekomen omdat iedereen waanzinnig getalenteerd was, godverdomd serieus over de missie van open-source AGI voor iedereen en niet bang was om dat te zeggen, en omdat het team een unieke structurele voorsprong had die betekende dat we daadwerkelijk enkele serieuze slagen konden maken. We verkopen rekencapaciteit. We bouwen infrastructuur om te verbeteren wat je met die rekencapaciteit kunt doen. We doen onderzoek naar hoe die rekencapaciteit op nieuwe manieren kan samenwerken. We trainen grotere en betere modellen. We hebben de juiste prikkels om het harde, noodzakelijke werk te doen. Deze onderdelen zijn allemaal met elkaar verbonden. We kunnen het niet alleen. Niemand kan dat. Het zal startups, ondernemingen, studenten en professoren over de hele wereld vergen. Open onderzoek heeft momenteel niet de tools om de vragen te bestuderen die grote laboratoria als het meest cruciaal voor toekomstige vooruitgang beschouwen. We moeten een manier vinden om die tools te bouwen. We proberen dat gemakkelijker te maken. We moeten allemaal beter worden in samenwerken, in het niet opnieuw uitvinden van het wiel, in het samenvoegen van individuele stukken tot grotere puzzels. Laten we nemen wat we gezamenlijk tot nu toe hebben gedaan, het opruimen, het laten samenwerken, meer mensen in de tent brengen en beginnen met het spelen van meer positieve-som spellen. Alles wat we hebben gebouwd is gericht op het gemakkelijker maken hiervan. Als we geen betere manieren kunnen vinden om samen te werken, gaan we naar een AI-toekomst waarin we collectief gewoon *niet weten wat deze modellen zelfs zijn*, omdat het gordijn nooit wordt opgetild, en alles wat we daadwerkelijk kunnen zien gewoon een speeltje is. Er is een ander type bedrijf dat je in deze ruimte zou kunnen bouwen; een die je nog steeds in staat stelt om aan de grote laboratoria te verkopen, maar niet exclusief; een die je nog steeds je handelsgeheimen laat hebben en zoete ARR laat printen, maar ons collectief niet minder geïnformeerd maakt over de toekomst die we aan het bouwen zijn. Browserbase. Cursor. Exa. Modal. Morph. En talloze anderen. Laten we meer van deze doen. Je kunt een geweldig bedrijf bouwen door krachtige tools en harnassen voor agenten te maken die de hoogwaarde taken weerspiegelen die mensen willen dat modellen daadwerkelijk uitvoeren. Heb elementen die open zijn om vrij te proberen, en elementen die achter een API worden gehost. Vraag per gebruik met enkele premium enterprise-functies. Bouw de beste LLM-vormige excel-kloon, of figma-kloon, of turbotax-kloon. Verander het net genoeg om een rechtszaak te vermijden, en laat dan private klanten de meer rechtszaak-robuste versie zien. Geniet van gezonde concurrentie in de arena, en vind manieren om samen te werken waar het telt. Vind je invalshoek en wees zo goed dat je aan iedereen kunt verkopen, of het nu voor RL of voor daadwerkelijk gebruik is. Bereik kritische massa en wees zo betaalbaar dat het voor niemand de moeite waard is om te proberen wat je al hebt gemaakt opnieuw op te bouwen. Dit is de tijdlijn waarvan ik hoop dat we eindigen. Het is een wereld waarin de grote laboratoria allemaal nog steeds geweldig kunnen presteren, en waarschijnlijk de gemakkelijkste manieren zullen bieden om een beetje meer uit te geven voor verbeterde algemene prestaties. Maar het is ook een wereld waarin open-source modellen niet ver achterblijven, en iedereen die er genoeg om geeft, in wezen kan zien wat er aan de hand is en begrijpen hoe de modellen die we gebruiken daadwerkelijk worden getraind. Als je overweegt om een bedrijf te starten of je bij een bedrijf te voegen dat zich richt op RL-omgevingen, dring ik er bij je op aan om na te denken over welke tijdlijn je impliciet op wedt, en na te denken over hoe je je daarover voelt.

Wil je dit weekend bijdragen aan open-source AGI? Sluit je bij ons aan in het creëren van rl-omgevingen met behulp van Ping @willccbb, @johannes_hage of mij met wat je wilt bouwen - we sturen je vroegtijdige toegang tot de hub en een lijst van beloningen voor omgevingen om te bouwen.

geef me wat ideeën, vrienden! welke klinische en biomedische RL-taken wilde je altijd al doen? vergeet niet, veel medische taken zijn gemakkelijk te verifiëren, vooral als het om de visie gaat!