Jag gillade verkligen det här dokumentet från OpenAI om hur människor använder ChatGPT. Efterfrågan på inferens kommer att fortsätta att explodera under de kommande 1-2 åren. Det är uppenbart att en meningsfull del av den kommer att kräva tillgång till webben i realtid. idag är alternativen som AI-företag har: skrapa Google, skrapa Bing (som dödade sitt API) eller rangordna cacjorda/skrapade sökresultat med neurala nät (vissa startups gör detta). Ingen av dessa skalar verkligen. Idag används Grass av företag för att leverera otroliga mängder träningsdata (2-3 petabyte om dagen), varav det mesta är multimodalt. När beräkningsefterfrågan för slutsatsdragning vänder träningen förväntar vi oss att samma infrastruktur som används för att samla in träningsdata ska användas för hämtning av livekontext.