Mi-a plăcut foarte mult această lucrare de la OpenAI despre modul în care oamenii folosesc ChatGPT. Cererea de inferență va continua să explodeze în următorii 1-2 ani. Este clar că o parte semnificativă din aceasta va necesita acces în timp real la web. astăzi, opțiunile pe care le au companiile AI sunt: răzuiți Google, răzuiți Bing (care le-a ucis API-ul) sau reclasificați rezultatele căutării în cache/răzuite cu rețele neuronale (unele startup-uri fac acest lucru). niciuna dintre acestea nu se extinde cu adevărat. astăzi, Grass este folosit de companii pentru a furniza cantități incredibile de date de antrenament (2-3 petabytes pe zi), dintre care majoritatea sunt multimodale. Pe măsură ce cererea de calcul pentru inferență inversează antrenamentul, ne așteptăm ca aceeași infrastructură care este utilizată pentru colectarea datelor de antrenament să fie utilizată pentru recuperarea contextului live.