Gostei muito deste artigo da OpenAI sobre como as pessoas usam o ChatGPT. A demanda por inferência continuará a explodir nos próximos 1-2 anos. É claro que uma parte significativa dela exigirá acesso em tempo real à web. hoje, as opções que as empresas de IA têm são: raspar o google, raspar o bing (que matou sua API) ou reclassificar os resultados de pesquisa em cache/raspados com redes neurais (algumas startups estão fazendo isso). nenhum deles realmente escala. hoje, o Grass é usado por empresas para fornecer quantidades incríveis de dados de treinamento (2-3 petabytes por dia), a maioria dos quais é multimodal. à medida que a demanda de computação para inferência inverte o treinamento, esperamos que a mesma infraestrutura que está sendo usada para coletar dados de treinamento seja usada para recuperação de contexto ao vivo.