la perspective de relancer un écosystème open source pour le RL est ce qui m'a certainement attiré vers les vérificateurs et @PrimeIntellect

Construire des environnements RL est agréable. Faire la même chose avec des vérificateurs/PI est presque addictif. On dirait un jeu, mdr, je viens de créer mes premiers environnements dans cet écosystème et je ne pense pas pouvoir ou vouloir m'arrêter. Cette semaine, je vais essayer de porter tous les environnements que j'ai construits cette année et de les pousser sur le hub.

les environnements RL open-source pourraient être la pièce la plus importante pour garantir une AGI open source.

Je vais avouer que j'ai une mission très spécifique en tête avec ce projet. Le déploiement semi-vague de la version bêta privée en fait partie. L'ensemble des tâches que nous sourçons en fait partie. Les primes GPU en font partie. Les shitposts en font partie. Les podcasts en font partie. L'impact mental est crucial ici. Laissez-moi expliquer. Actuellement, beaucoup de discussions autour des environnements RL se concentrent sur cette nouvelle vague de startups dont le modèle commercial consiste à construire et vendre des environnements à un très petit nombre de grands laboratoires sur une base exclusive. Mechanize est le plus bruyant, mais il y en a plusieurs. Au lieu de dépenser pour des échantillons d'instruction et des annotations, les laboratoires sont désireux d'acheter des environnements privés comme leur prochaine grande ressource consommable pour l'entraînement des modèles. Ce phénomène représente à la fois un risque sérieux pour la perspective que les modèles open-source restent compétitifs, ainsi qu'une grande opportunité de faire pencher la balance si nous pouvons déplacer le centre de gravité. Si de bons environnements sont tous chers et cachés, les modèles open-source seront encore plus à la traîne. C'est essentiellement ce qui s'est passé avec les données de pré-entraînement. Mais si un écosystème suffisamment robuste d'outils open-source pour les environnements et l'entraînement peut émerger, alors l'option open-source peut également être à la pointe de la technologie. C'est plus ou moins ce qui s'est passé avec Pytorch. Faire pencher la balance ici est mon objectif. Notre objectif. J'ai rejoint Prime Intellect parce que tout le monde était incroyablement talentueux, était sérieusement engagé dans la mission de l'AGI open-source pour tous et n'avait pas peur de le dire, et parce que l'équipe avait un avantage structurel unique qui signifiait que nous pouvions réellement prendre de vrais risques. Nous vendons de la puissance de calcul. Nous construisons des infrastructures pour améliorer ce que vous pouvez faire avec cette puissance de calcul. Nous faisons des recherches sur la manière de faire interopérer cette puissance de calcul de nouvelles manières. Nous formons des modèles plus grands et meilleurs. Nous avons les bons incitatifs pour faire le travail difficile et nécessaire. Ces éléments sont tous connectés. Nous ne pouvons pas le faire seuls. Personne ne le peut. Cela nécessitera des startups, des entreprises, des étudiants et des professeurs du monde entier. La recherche ouverte n'a actuellement pas les outils pour étudier les questions que les grands laboratoires ont jugées les plus cruciales pour le progrès futur. Nous devons trouver un moyen de construire ces outils. Nous essayons de rendre cela plus facile. Nous devons tous nous améliorer dans notre capacité à travailler ensemble, à ne pas réinventer la roue, à assembler des pièces individuelles en plus grands puzzles. Prenons ce que nous avons collectivement fait jusqu'à présent, nettoyons-le, faisons-le fonctionner ensemble, faisons entrer plus de gens sous la tente, et commençons à jouer à des jeux à somme positive. Si nous ne trouvons pas de meilleures façons de travailler ensemble, nous nous dirigeons vers un avenir de l'IA où nous ne saurons collectivement *même pas ce que sont ces modèles*, parce que le rideau n'est jamais levé, et tout ce que nous pouvons réellement voir n'est qu'un jouet. Il existe un autre type d'entreprise que vous pourriez construire dans cet espace ; une qui vous permettrait toujours de vendre aux grands laboratoires, mais pas exclusivement ; une qui vous permettrait toujours d'avoir vos secrets commerciaux et d'imprimer un ARR intéressant, mais qui ne nous rend pas collectivement moins informés sur l'avenir que nous construisons. Browserbase. Cursor. Exa. Modal. Morph. Et d'innombrables autres. Faisons plus de ces choses. Vous pouvez construire une grande entreprise en créant des outils puissants et des harnais pour des agents qui reflètent les tâches à haute valeur ajoutée que les gens veulent que les modèles accomplissent réellement. Ayez des éléments qui sont ouverts à essayer librement, et des éléments qui sont hébergés derrière une API. Facturez par utilisation avec certaines fonctionnalités premium pour les entreprises. Construisez le meilleur clone d'Excel en forme de LLM, ou clone de Figma, ou clone de TurboTax. Modifiez-le juste assez pour éviter un procès, puis laissez les clients privés voir la version plus robuste face aux poursuites. Profitez d'une saine concurrence dans l'arène, et trouvez des moyens de vous associer là où cela compte. Trouvez votre angle et soyez si bon que vous puissiez vendre à tout le monde, que ce soit pour RL ou pour une utilisation réelle. Atteignez une masse critique et soyez si abordable qu'il ne vaut pas la peine pour quiconque d'essayer de reconstruire ce que vous avez déjà fait. C'est la chronologie dans laquelle j'espère que nous finirons. C'est un monde où les grands laboratoires peuvent tous encore bien fonctionner, et offriront probablement les moyens les plus simples de dépenser un peu plus pour obtenir de meilleures performances générales. Mais c'est aussi un monde où les modèles open-source ne sont pas loin derrière, et tout le monde qui se soucie suffisamment peut essentiellement voir ce qui se passe et comprendre comment les modèles que nous utilisons sont réellement entraînés. Si vous envisagez de créer ou de rejoindre une entreprise axée sur les environnements RL, je vous encourage à réfléchir à la chronologie sur laquelle vous pariez implicitement, et à réfléchir à ce que vous en pensez.

Je vais avouer que j'ai une mission très spécifique en tête avec ce projet. Le déploiement de la bêta privée semi-vague en fait partie. L'ensemble des tâches que nous sourçons en fait partie. Les primes GPU en font partie. Les shitposts en font partie. Les podcasts en font partie. L'impact mental est crucial ici. Laissez-moi expliquer. Actuellement, beaucoup de discussions autour des environnements RL se concentrent sur cette nouvelle vague de startups dont le modèle commercial consiste à construire et vendre des environnements à un très petit nombre de grands laboratoires sur une base exclusive. Mechanize est le plus bruyant, mais il y en a plusieurs. Au lieu de dépenser pour des échantillons d'instruction et des annotations, les laboratoires sont désireux d'acheter des environnements privés comme leur prochaine grande ressource consommable pour l'entraînement des modèles. Ce phénomène représente à la fois un risque sérieux pour la perspective que les modèles open-source restent compétitifs, ainsi qu'une grande opportunité de faire pencher la balance si nous pouvons déplacer le centre de gravité. Si de bons environnements sont tous chers et cachés, les modèles open-source seront encore plus à la traîne. C'est essentiellement ce qui s'est passé avec les données de pré-entraînement. Mais si un écosystème suffisamment robuste d'outils open-source pour les environnements et l'entraînement peut émerger, alors l'option open-source peut également être à la pointe de la technologie. C'est plus ou moins ce qui s'est passé avec Pytorch. Faire pencher la balance ici est mon objectif. Notre objectif. J'ai rejoint Prime Intellect parce que tout le monde était incroyablement talentueux, était sérieusement engagé dans la mission de l'AGI open-source pour tous et n'avait pas peur de le dire, et parce que l'équipe avait un avantage structurel unique qui signifiait que nous pouvions réellement prendre de vrais risques. Nous vendons de la puissance de calcul. Nous construisons des infrastructures pour améliorer ce que vous pouvez faire avec cette puissance de calcul. Nous faisons des recherches sur la manière de faire interopérer cette puissance de calcul de nouvelles manières. Nous formons des modèles plus grands et meilleurs. Nous avons les bons incitatifs pour faire le travail difficile et nécessaire. Ces éléments sont tous connectés. Nous ne pouvons pas le faire seuls. Personne ne le peut. Cela nécessitera des startups, des entreprises, des étudiants et des professeurs du monde entier. La recherche ouverte n'a actuellement pas les outils pour étudier les questions que les grands laboratoires ont jugées les plus cruciales pour les progrès futurs. Nous devons trouver un moyen de construire ces outils. Nous essayons de rendre cela plus facile. Nous devons tous nous améliorer pour travailler ensemble, pour ne pas réinventer la roue, pour assembler des pièces individuelles en plus grands puzzles. Prenons ce que nous avons collectivement fait jusqu'à présent, nettoyons-le, faisons-le fonctionner ensemble, faisons entrer plus de gens sous la tente, et commençons à jouer à des jeux à somme positive. Tout ce que nous avons construit vise à rendre cela plus facile. Si nous ne pouvons pas trouver de meilleures façons de travailler ensemble, nous nous dirigeons vers un avenir de l'IA où nous ne saurons collectivement *pas ce que ces modèles sont même*, parce que le rideau n'est jamais levé, et tout ce que nous pouvons réellement voir n'est qu'un jouet. Il existe un autre type d'entreprise que vous pourriez construire dans cet espace ; une qui vous permettrait toujours de vendre aux grands laboratoires, mais pas exclusivement ; une qui vous permettrait toujours d'avoir vos secrets commerciaux et d'imprimer un ARR intéressant, mais qui ne nous rend pas collectivement moins informés sur l'avenir que nous construisons. Browserbase. Cursor. Exa. Modal. Morph. Et d'innombrables autres. Faisons plus de ces choses. Vous pouvez construire une grande entreprise en créant des outils puissants et des harnais pour des agents qui reflètent les tâches à haute valeur ajoutée que les gens veulent que les modèles accomplissent réellement. Avoir des éléments qui sont ouverts à essayer librement, et des éléments qui sont hébergés derrière une API. Facturer par utilisation avec certaines fonctionnalités premium pour les entreprises. Construisez le meilleur clone d'Excel en forme de LLM, ou clone de Figma, ou clone de TurboTax. Changez-le juste assez pour éviter un procès, puis laissez les clients privés voir la version plus robuste face aux poursuites. Profitez d'une saine concurrence dans l'arène, et trouvez des moyens de vous associer là où cela compte. Trouvez votre angle et soyez si bon que vous puissiez vendre à tout le monde, que ce soit pour RL ou pour une utilisation réelle. Atteignez une masse critique et soyez si abordable qu'il ne vaut pas la peine pour quiconque d'essayer de reconstruire ce que vous avez déjà fait. C'est la chronologie dans laquelle j'espère que nous finirons. C'est un monde où les grands laboratoires peuvent tous encore bien faire, et offriront probablement les moyens les plus simples de dépenser un peu plus pour obtenir de meilleures performances générales. Mais c'est aussi un monde où les modèles open-source ne sont pas loin derrière, et tout le monde qui se soucie suffisamment peut essentiellement voir ce qui se passe et comprendre comment les modèles que nous utilisons sont réellement entraînés. Si vous envisagez de créer ou de rejoindre une entreprise axée sur les environnements RL, je vous exhorte à réfléchir à la chronologie sur laquelle vous pariez implicitement, et à réfléchir à ce que vous en pensez.

Vous voulez contribuer ce week-end à l'AGI open-source ? Rejoignez-nous pour créer des environnements rl en utilisant Taguez @willccbb, @johannes_hage ou moi avec ce que vous souhaitez construire - nous vous enverrons un accès anticipé au hub et une liste de récompenses pour les environnements à créer.

Je viens de publier mon premier environnement @PrimeIntellect - c'est un solveur de puzzles logiques, jetez-y un œil, dites-moi ce que vous en pensez et faites-moi savoir quels autres environnements vous aimeriez voir, peut-être que je vais en créer quelques-uns ce week-end.

j'ai l'impression que nous pourrions être en train de cuisiner ici. le temps nous le dira.

donnez-moi quelques idées les gars ! quels types de tâches en RL clinique et biomédical que vous avez toujours voulu réaliser ? rappelez-vous, de nombreuses tâches médicales sont facilement vérifiables, surtout en ce qui concerne la vision !

Inscrivez-vous dès aujourd’hui au Défi de la cellule virtuelle et utilisez l’IA pour résoudre l’un des problèmes les plus complexes de la biologie. Annoncé en @CellCellPress, le concours est organisé par l’Institut Arc et parrainé par @nvidia, @10xGenomics et @UltimaGenomics.