Lembra quando escrevi neste fim de semana que as pessoas ainda não entendem a economia unitária da IA e que os agentes que fazem trabalho constante e/ou funcionam 24 horas por dia, 7 dias por semana, não custarão o preço de uma assinatura da Netflix? Isso é porque eles não podem. Anthropic e OpenAI perdem dinheiro a cada assinatura de US$ 200, quanto mais US$ 20. É um preço líder de perda em um nível que nunca vimos. Cerca de 3000% -4000% de desconto no custo real de execução desses modelos. Este pobre coitado está experimentando isso agora. Todos o farão em breve. A solução que muitas pessoas apresentam é "limpar a janela de contexto", também conhecida como tornar o modelo mais estúpido, dando-lhe amnésia. Um desenvolvedor estava otimizando seu horário de sono em torno dos limites antrópicos. Não há solução atualmente. Esse preço não é sustentável com a tecnologia atual. A resposta real é que qualquer agente que não seja um modelo de código aberto, rodando em seu próprio hardware, provavelmente estará fora do alcance de muitas pessoas em um futuro não muito distante sem avanços em arquiteturas de modelos pequenos ou um avanço complementar em arquitetura/destilação/etc. de modelos grandes, e que os agentes serão principalmente trabalhadores digitais para empresas e com preços adequados, também conhecido como salários aproximadamente humanos.