每天一万亿个令牌。这算多吗？ “当我们狭义地看待由Foundry API提供的令牌数量时，我们在本季度处理了超过100万亿个令牌，同比增长5倍，仅上个月就创下了50万亿个令牌的记录。” 在四月，微软分享了一项统计数据，透露他们的Foundry产品每月处理约1.7万亿个令牌。 昨天，Vipul分享了每天处理2万亿个开源推理的消息。 在七月，谷歌宣布了一个惊人的数字： “在五月的I/O大会上，我们宣布在我们的平台上处理了每月480万亿个令牌。自那时以来，我们将这个数字翻了一番，现在每月处理超过980万亿个令牌，增长显著。” 谷歌每天处理32.7万亿个令牌，比Together多16倍，比微软Foundry四月的处理量多574倍。 从这些数字中，我们可以得出几个假设： 1. 开源推理是推理的个位数比例。目前尚不清楚谷歌的推理令牌中有多少来自他们的开源模型，如Gemma。但如果我们假设Anthropic和OpenAI每天处理5万亿到10万亿个令牌，并且都是闭源的，加上Azure的规模大致相似，那么开源推理可能占总推理的1-3%。 2. 代理仍处于早期阶段。微软的数据点表明，GitHub、Visual Studio、Copilot Studio和Microsoft Fabric中的代理对Azure整体AI推理的贡献不到1%。 3. 预计微软今年将在AI数据中心基础设施上投资800亿美元，而谷歌则为850亿美元，因此每家公司在硬件上线和算法改进方面的AI推理工作负载都应显著增加。 “仅通过软件优化，我们在同样的GPU上交付的令牌比一年前多了90%。” 微软正在从他们的GPU中榨取更多的数字柠檬水，谷歌也必须在做类似的事情。 我们何时能看到每天处理的首个10万亿或50万亿个AI令牌？现在应该不远了。 - 空中估算！ - 谷歌和Azure每天各处理33万亿个令牌，Together和其他5个新云每天各处理约2万亿个令牌，Anthropic和OpenAI每天处理5万亿个令牌，总共给我们88万亿个令牌。如果我们假设谷歌的令牌中有5%来自开源模型，那就是每天1.65万亿个令牌，约占总推理的1.9%。再次强调，这只是非常粗略的计算。