Open-Source-RL-Umgebungen könnten das wichtigste Element sein, um Open-Source-AGI zu gewährleisten.

Ich gestehe, dass ich mit diesem Projekt eine sehr spezifische Mission im Kopf habe. Der halb vage private Beta-Rollout ist Teil davon. Die Aufgaben, die wir beschaffen, sind Teil davon. Die GPU-Belohnungen sind Teil davon. Die Shitposts sind Teil davon. Die Podcasts sind Teil davon. Mindshare ist hier entscheidend. Lassen Sie mich erklären. Derzeit konzentriert sich ein Großteil der Diskussion über RL-Umgebungen auf diese neue Welle von Startups, deren Geschäftsmodell darin besteht, Umgebungen an eine sehr kleine Anzahl von großen Laboren auf exklusiver Basis zu bauen und zu verkaufen. Mechanize ist der lauteste, aber es gibt eine Reihe von ihnen. Anstatt in Anweisungsanpassungsproben und Annotationen zu investieren, sind Labore begierig darauf, private Umgebungen als ihre nächste große konsumierbare Ressource für das Modelltraining zu kaufen. Dieses Phänomen ist sowohl ein ernsthaftes Risiko für die Aussicht, dass Open-Source-Modelle wettbewerbsfähig bleiben, als auch eine große Gelegenheit, die Waage zu kippen, wenn wir das Zentrum der Schwerkraft verschieben können. Wenn gute Umgebungen alle teuer und verborgen sind, werden Open-Source-Modelle noch weiter zurückfallen. Das ist im Wesentlichen das, was mit Pretraining-Daten passiert ist. Aber wenn ein ausreichend robustes Ökosystem von Open-Source-Tools für Umgebungen und Training entstehen kann, dann kann die Open-Source-Option auch der Stand der Technik sein. Das ist mehr oder weniger das, was mit Pytorch passiert ist. Die Waage hier zu kippen, ist mein Ziel. Unser Ziel. Ich bin Prime Intellect beigetreten, weil jeder wahnsinnig talentiert war, verdammt ernsthaft über die Mission von Open-Source-AGI für alle war und es nicht scheute, das zu sagen, und weil das Team einen einzigartigen strukturellen Vorteil hatte, der bedeutete, dass wir tatsächlich einige echte Versuche unternehmen konnten. Wir verkaufen Rechenleistung. Wir bauen Infrastruktur, um zu verbessern, was Sie mit dieser Rechenleistung tun können. Wir forschen, wie man diese Rechenleistung auf neue Weise interoperabel macht. Wir trainieren größere und bessere Modelle. Wir haben die richtigen Anreize, um die harte, notwendige Arbeit zu leisten. Diese Teile sind alle miteinander verbunden. Wir können es nicht alleine tun. Niemand kann das. Es wird Startups, Unternehmen, Studenten und Professoren auf der ganzen Welt brauchen. Die offene Forschung hat derzeit nicht die Werkzeuge, um die Fragen zu untersuchen, die große Labore als am entscheidendsten für den zukünftigen Fortschritt erachtet haben. Wir müssen einen Weg finden, diese Werkzeuge zu bauen. Wir versuchen, das einfacher zu machen. Wir müssen alle besser darin werden, zusammenzuarbeiten, das Rad nicht neu zu erfinden, individuelle Teile zu größeren Puzzles zusammenzufügen. Lassen Sie uns das, was wir bisher gemeinsam erreicht haben, aufräumen, es zum Laufen bringen, mehr Menschen ins Zelt holen und anfangen, positivere Spiele zu spielen. Wenn wir keine besseren Wege finden, um zusammenzuarbeiten, steuern wir auf eine KI-Zukunft zu, in der wir kollektiv einfach *nicht wissen, was diese Modelle überhaupt sind*, weil der Vorhang nie gelüftet wird und alles, was wir tatsächlich sehen können, nur ein Spielzeug ist. Es gibt eine andere Art von Unternehmen, die Sie in diesem Bereich aufbauen könnten; eines, das es Ihnen immer noch ermöglicht, an die großen Labore zu verkaufen, aber nicht exklusiv; eines, das es Ihnen immer noch ermöglicht, Ihre Geschäftsgeheimnisse zu haben und süßen ARR zu drucken, aber uns kollektiv nicht weniger informiert über die Zukunft macht, die wir aufbauen. Browserbase. Cursor. Exa. Modal. Morph. Und unzählige andere. Lassen Sie uns mehr davon machen. Sie können ein großartiges Unternehmen aufbauen, indem Sie leistungsstarke Werkzeuge und Hilfsmittel für Agenten erstellen, die die hochgradigen Aufgaben widerspiegeln, die die Menschen möchten, dass Modelle tatsächlich erledigen. Haben Sie Elemente, die offen sind, um sie kostenlos auszuprobieren, und Elemente, die hinter einer API gehostet werden. Berechnen Sie nach Nutzung mit einigen Premium-Enterprise-Funktionen. Bauen Sie die beste LLM-ähnliche Excel-Kopie, oder Figma-Kopie, oder TurboTax-Kopie. Ändern Sie es gerade genug, um eine Klage zu vermeiden, und lassen Sie dann private Kunden die robustere Version sehen. Genießen Sie einen gesunden Wettbewerb in der Arena und finden Sie Wege, dort zu kooperieren, wo es zählt. Finden Sie Ihren Winkel und seien Sie so gut, dass Sie an jeden verkaufen können, sei es für RL oder für tatsächliche Nutzung. Erreichen Sie kritische Masse und seien Sie so erschwinglich, dass es sich für niemanden lohnt, zu versuchen, das, was Sie bereits gemacht haben, neu zu erstellen. Das ist der Zeitrahmen, in dem ich hoffe, dass wir enden. Es ist eine Welt, in der die großen Labore alle weiterhin großartige Leistungen erbringen können und wahrscheinlich die einfachsten Möglichkeiten bieten, ein wenig mehr auszugeben, um die allgemeine Leistung zu verbessern. Aber es ist auch eine, in der Open-Source-Modelle nicht weit zurückliegen, und jeder, der sich genug kümmert, im Grunde sehen kann, was vor sich geht und versteht, wie die Modelle, die wir verwenden, tatsächlich trainiert werden. Wenn Sie darüber nachdenken, ein Unternehmen zu gründen oder einem Unternehmen beizutreten, das sich auf RL-Umgebungen konzentriert, fordere ich Sie auf, darüber nachzudenken, auf welchen Zeitrahmen Sie implizit setzen, und darüber nachzudenken, wie Sie sich dabei fühlen.

Ich gestehe, dass ich mit diesem Projekt eine sehr spezifische Mission im Kopf habe. Der halb vage private Beta-Rollout ist Teil davon. Die Aufgaben, die wir beschaffen, sind Teil davon. Die GPU-Belohnungen sind Teil davon. Die Shitposts sind Teil davon. Die Podcasts sind Teil davon. Mindshare ist hier entscheidend. Lassen Sie mich erklären. Derzeit konzentriert sich die Diskussion über RL-Umgebungen auf diese neue Welle von Startups, deren Geschäftsmodell darin besteht, Umgebungen an eine sehr kleine Anzahl von großen Laboren auf exklusiver Basis zu bauen und zu verkaufen. Mechanize ist der lauteste, aber es gibt eine Reihe von ihnen. Anstatt in Instruction-Tuning-Proben und Annotationen zu investieren, sind Labore begierig darauf, private Umgebungen als ihre nächste große konsumierbare Ressource für das Modelltraining zu kaufen. Dieses Phänomen ist sowohl ein ernsthaftes Risiko für die Aussicht, dass Open-Source-Modelle wettbewerbsfähig bleiben, als auch eine große Gelegenheit, die Waage zu kippen, wenn wir das Zentrum der Schwerkraft verschieben können. Wenn gute Umgebungen alle teuer und verborgen sind, werden Open-Source-Modelle noch weiter zurückfallen. Das ist im Wesentlichen das, was mit Pretraining-Daten passiert ist. Aber wenn ein ausreichend robustes Ökosystem von Open-Source-Tools für Umgebungen und Training entstehen kann, dann kann die Open-Source-Option auch der Stand der Technik sein. Das ist mehr oder weniger das, was mit PyTorch passiert ist. Die Waage hier zu kippen, ist mein Ziel. Unser Ziel. Ich bin Prime Intellect beigetreten, weil jeder wahnsinnig talentiert war, verdammt ernsthaft über die Mission von Open-Source-AGI für alle war und es nicht scheute, das zu sagen, und weil das Team einen einzigartigen strukturellen Vorteil hatte, der bedeutete, dass wir tatsächlich einige echte Versuche unternehmen konnten. Wir verkaufen Rechenleistung. Wir bauen Infrastruktur, um zu verbessern, was Sie mit dieser Rechenleistung tun können. Wir forschen, wie man diese Rechenleistung auf neue Weise interoperabel macht. Wir trainieren größere und bessere Modelle. Wir haben die richtigen Anreize, um die harte, notwendige Arbeit zu leisten. Diese Teile sind alle miteinander verbunden. Wir können es nicht alleine tun. Niemand kann es. Es wird Startups, Unternehmen, Studenten und Professoren auf der ganzen Welt brauchen. Die offene Forschung hat derzeit nicht die Werkzeuge, um die Fragen zu untersuchen, die große Labore als am entscheidendsten für den zukünftigen Fortschritt erachtet haben. Wir müssen einen Weg finden, diese Werkzeuge zu bauen. Wir versuchen, das einfacher zu machen. Wir müssen alle besser darin werden, zusammenzuarbeiten, das Rad nicht neu zu erfinden, individuelle Teile zu größeren Puzzles zusammenzufügen. Lassen Sie uns das, was wir kollektiv bisher erreicht haben, aufräumen, es zusammenarbeiten lassen, mehr Menschen ins Zelt holen und anfangen, positivere Spiele zu spielen. Alles, was wir aufgebaut haben, dient dazu, dies einfacher zu machen. Wenn wir keine besseren Wege finden, um zusammenzuarbeiten, steuern wir auf eine KI-Zukunft zu, in der wir kollektiv einfach *nicht wissen, was diese Modelle überhaupt sind*, weil der Vorhang nie gelüftet wird und alles, was wir tatsächlich sehen können, nur ein Spielzeug ist. Es gibt eine andere Art von Unternehmen, die Sie in diesem Bereich aufbauen könnten; eines, das es Ihnen immer noch ermöglicht, an die großen Labore zu verkaufen, aber nicht exklusiv; eines, das es Ihnen immer noch ermöglicht, Ihre Geschäftsgeheimnisse zu haben und süßen ARR zu drucken, aber uns kollektiv nicht weniger informiert über die Zukunft macht, die wir aufbauen. Browserbase. Cursor. Exa. Modal. Morph. Und unzählige andere. Lassen Sie uns mehr davon machen. Sie können ein großartiges Unternehmen aufbauen, indem Sie leistungsstarke Werkzeuge und Hilfsmittel für Agenten erstellen, die die hochgradigen Aufgaben widerspiegeln, die die Menschen möchten, dass Modelle tatsächlich erledigen. Haben Sie Elemente, die offen sind, um sie kostenlos auszuprobieren, und Elemente, die hinter einer API gehostet werden. Berechnen Sie nach Nutzung mit einigen Premium-Enterprise-Funktionen. Bauen Sie die beste LLM-ähnliche Excel-Kopie, oder Figma-Kopie, oder TurboTax-Kopie. Ändern Sie es gerade genug, um eine Klage zu vermeiden, und lassen Sie dann private Kunden die robustere Version sehen. Genießen Sie gesunde Konkurrenz in der Arena und finden Sie Wege, dort zu kooperieren, wo es zählt. Finden Sie Ihren Winkel und seien Sie so gut, dass Sie an jeden verkaufen können, sei es für RL oder für tatsächliche Nutzung. Erreichen Sie kritische Masse und seien Sie so erschwinglich, dass es sich für niemanden lohnt, zu versuchen, das, was Sie bereits gemacht haben, neu zu erstellen. Das ist der Zeitrahmen, den ich hoffe, dass wir enden. Es ist eine Welt, in der die großen Labore alle weiterhin großartige Leistungen erbringen können und wahrscheinlich die einfachsten Möglichkeiten bieten, ein wenig mehr auszugeben, um die allgemeine Leistung zu verbessern. Aber es ist auch eine, in der Open-Source-Modelle nicht weit zurückliegen, und jeder, der sich genug kümmert, im Grunde sehen kann, was vor sich geht und versteht, wie die Modelle, die wir verwenden, tatsächlich trainiert werden. Wenn Sie darüber nachdenken, ein Unternehmen zu gründen oder einem Unternehmen beizutreten, das sich auf RL-Umgebungen konzentriert, fordere ich Sie auf, darüber nachzudenken, auf welchen Zeitrahmen Sie implizit setzen, und darüber nachzudenken, wie Sie sich dabei fühlen.

Möchtest du an diesem Wochenende zu Open-Source-AGI beitragen? Schließe dich uns an, um RL-Umgebungen zu erstellen, indem du @willccbb, @johannes_hage oder mich kontaktierst, mit dem, was du bauen möchtest - wir senden dir frühen Zugang zum Hub und eine Liste von Belohnungen für Umgebungen, die gebaut werden sollen.

Ich habe gerade meine erste @PrimeIntellect-Umgebung veröffentlicht - es ist ein Logikrätsel-Löser, schau es dir an und lass mich wissen, was du denkst und welche anderen Umgebungen du vielleicht sehen möchtest, vielleicht werde ich an diesem Wochenende noch ein paar mehr erstellen.

Ich habe das Gefühl, dass wir hier vielleicht etwas Großes auf die Beine stellen. Die Zeit wird es zeigen.

Gebt mir ein paar Ideen, Leute! Welche klinischen und biomedizinischen RL-Aufgaben wolltet ihr schon immer machen? Denkt daran, viele medizinische Aufgaben sind leicht verifizierbar, besonders wenn es um die Vision geht!

Freunde, geliebte Partner – wenn ihr an diesem Wochenende eine faire Menge an GPU-Credits verdienen möchtet im Austausch für ein wenig selbstständige Agenten-Entwicklungsarbeit, bitte kontaktiert mich über meine DMs.

Die @arcinstitute Virtual Cell Challenge: Preise im Wert von bis zu 100.000 US-Dollar für die genaue Vorhersage zellulärer Reaktionen auf genetische oder chemische Störungen.

Registriere dich noch heute für die Virtual Cell Challenge und nutze KI, um eines der komplexesten Probleme der Biologie zu lösen. Angekündigt in @CellCellPress, wird der Wettbewerb vom Arc Institute ausgerichtet und von @nvidia, @10xGenomics und @UltimaGenomics gesponsert.