j'ai vraiment apprécié cet article d'openai sur la façon dont les gens utilisent chatgpt. la demande d'inférence va continuer à exploser dans les 1-2 prochaines années. il est clair qu'une part significative de celle-ci nécessitera un accès en temps réel au web. aujourd'hui, les options dont disposent les entreprises d'IA sont : extraire des données de google, extraire des données de bing (qui a supprimé son API), ou réorganiser les résultats de recherche mis en cache/extraits avec des réseaux neuronaux (certaines startups le font). aucune de ces solutions ne permet vraiment de monter en échelle. aujourd'hui, Grass est utilisé par des entreprises pour fournir d'incroyables quantités de données d'entraînement (2-3 pétaoctets par jour), dont la plupart sont multimodales. à mesure que la demande de calcul pour l'inférence renverse l'entraînement, nous nous attendons à ce que la même infrastructure utilisée pour collecter des données d'entraînement soit utilisée pour la récupération de contexte en direct.