Przedstawiamy nowy rodzaj technologii obywatelskiej, możliwej dzięki AI. Każdy obywatel powinien mieć na żywo, systemowy widok na swój rząd, a dzisiaj wprowadzamy to w SF! Śledź podmioty rządowe, wydatki, wiadomości i więcej w czasie rzeczywistym. Dzięki LLM możemy to wprowadzić do każdego miasta. Kto będzie następny?

1. Najpierw buduj. 2. Znajdź lukę. 3. Inwestuj na końcu. Dużo szacunku dla tego, jak @yoheinakajima to robi. Szczegóły w wideo!

miałem przyjemną rozmowę z zespołem @zypsycom na temat budowania i inwestowania w AI - a także dokąd to wszystko zmierza podcasty na żywo są takie zabawne :) pełne wideo w odpowiedzi 👇

W erze wstępnego uczenia, to, co miało znaczenie, to teksty z internetu. Głównie chciałbyś mieć dużą, różnorodną, wysokiej jakości kolekcję dokumentów internetowych, z których można się uczyć. W erze nadzorowanego dostrajania, to były rozmowy. Zatrudniani są pracownicy kontraktowi do tworzenia odpowiedzi na pytania, trochę jak to, co można zobaczyć na Stack Overflow / Quora, czy innych, ale skierowane w stronę zastosowań LLM. Żadne z powyższych nie zniknie (moim zdaniem), ale w tej erze uczenia przez wzmocnienie, to teraz środowiska. W przeciwieństwie do powyższych, dają LLM możliwość rzeczywistej interakcji - podejmowania działań, obserwowania wyników itd. Oznacza to, że można mieć nadzieję na znacznie lepsze wyniki niż statystyczna imitacja ekspertów. Mogą być używane zarówno do treningu modelu, jak i oceny. Ale tak jak wcześniej, podstawowym problemem jest teraz potrzeba dużego, różnorodnego, wysokiej jakości zestawu środowisk, jako ćwiczeń dla LLM do praktyki. W pewnym sensie przypomina mi to pierwszy projekt OpenAI (gym), który był dokładnie ramą mającą na celu zbudowanie dużej kolekcji środowisk w tym samym schemacie, ale to było dużo przed LLM. Tak więc środowiska były prostymi akademickimi zadaniami kontrolnymi tamtych czasów, takimi jak cartpole, ATARI itd. Hub środowisk @PrimeIntellect (i repozytorium `verifiers` na GitHubie) buduje zmodernizowaną wersję, skierowaną specjalnie na LLM, i to jest świetny wysiłek/pomysł. Zasugerowałem, że ktoś zbuduje coś podobnego na początku tego roku: Środowiska mają tę właściwość, że gdy szkielet ramy jest na miejscu, w zasadzie społeczność/branża może równolegle działać w wielu różnych dziedzinach, co jest ekscytujące. Ostatnia myśl - osobiście i długoterminowo, jestem optymistyczny co do środowisk i interakcji agentowych, ale pesymistyczny co do uczenia przez wzmocnienie w szczególności. Uważam, że funkcje nagrody są bardzo podejrzane, i myślę, że ludzie nie używają RL do nauki (może robią to w przypadku niektórych zadań motorycznych itd., ale nie w zadaniach rozwiązywania problemów intelektualnych). Ludzie używają różnych paradygmatów uczenia, które są znacznie potężniejsze i bardziej efektywne pod względem próbkowania i które nie zostały jeszcze odpowiednio wynalezione i skalowane, chociaż istnieją wczesne szkice i pomysły (jako jeden przykład, pomysł "uczenia się z podpowiedzi systemowych", przenosząc aktualizację na tokeny/konteksty, a nie wagi i opcjonalnie destylując do wag jako osobny proces, trochę jak sen).

„Perplexity, Replit, Lovable i Stackblitz nie uwzględniają kosztów uruchamiania modeli AI dla użytkowników niepłacących”

Zarówno ludzie, jak i agenci AI osiągają lepsze wyniki przy konkretnych instrukcjach, ale gdy słabe instrukcje prowadzą do słabych wyników, tylko ci pierwsi mogą być obwiniani.

próbowałem piec kilka ciast z "pomocą" od dzieciaków… 😅

teraz oficjalnie #1 na liście liderów MLE @openai!

dawno, dawno temu byłem dość głęboko w społeczności palaczy i byłem nawet częścią grupy tańca z ogniem wideo pochodzi z praktyki w dzień roboczy (10 lat temu), a my występowaliśmy na cotygodniowym wydarzeniu po godzinach (gdzie poznałem moją żonę!)

Ekonomia została stworzona dla niedoboru. Era Inteligencji dotyczy obfitości. Dziś wydajemy naszą książkę, Ostatnia Ekonomia, wprowadzając Inteligentną Ekonomię, zjednoczoną teorię dla tej nowej ery. 🧵