realmente disfruté este documento de openai sobre cómo las personas utilizan chatgpt. la demanda de inferencia va a seguir explotando en los próximos 1-2 años. está claro que una parte significativa de ella requerirá acceso en tiempo real a la web. hoy en día, las opciones que tienen las empresas de IA son: raspar google, raspar bing (que mató su api), o reordenar resultados de búsqueda en caché/raspados con redes neuronales (algunas startups están haciendo esto). ninguna de estas realmente escala. hoy en día, Grass es utilizado por empresas para entregar cantidades increíbles de datos de entrenamiento (2-3 petabytes al día), la mayoría de los cuales son multimodales. a medida que la demanda de cómputo para inferencia cambia el entrenamiento, esperamos que la misma infraestructura que se está utilizando para recopilar datos de entrenamiento se utilice para la Recuperación de Contexto en Vivo.