Realmente disfruté este artículo de OpenAI sobre cómo la gente usa ChatGPT. La demanda de inferencia seguirá explotando en los próximos 1-2 años. Está claro que una parte significativa de ella requerirá acceso en tiempo real a la web. Hoy en día, las opciones que tienen las empresas de IA son: raspar Google, raspar a Bing (que mató su API) o reclasificar los resultados de búsqueda en caché / raspados con redes neuronales (algunas nuevas empresas están haciendo esto). ninguno de estos realmente escala. hoy en día, las empresas utilizan Grass para entregar cantidades increíbles de datos de entrenamiento (2-3 petabytes al día), la mayoría de los cuales son multimodales. A medida que la demanda de cómputo de inferencia cambia el entrenamiento, esperamos que la misma infraestructura que se usa para recopilar datos de entrenamiento se use para Live Context Retrieval.