热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
Ahmad
人工智能研究员和软件工程师，肩负构建 DGX B200 GPU 集群的使命
MiniMax-M2.5 NVFP4
运行在 2x RTX 6000
> 单流 83 个令牌/秒
> 允许最多 32 个并发用户
> 推送 1000+ 个令牌/秒
> 这大约花费 ~2x 512GB Mac Studios
> 除了 Mac = 一次一个提示
> 甚至更慢的令牌/秒
> 模型在 HF
> lukealonso/MiniMax-M2.5-NVFP4
2月14日 14:45
非常兴奋：首个 Minimax m2.5 NVFP4 量化模型在 huggingface 上发布。单流 vllm 在双 RTX 6000 上达到 83tok/s。或者说速度是价格仅为一半的 Mac 512gb 系统的两倍。除了 Mac 不能通过 32+ 并发连接实现 1000+ tok/s 的速度。此测试的每个 GPU 功率限制为 550W。
lukealonso/MiniMax-M2.5-NVFP4
我在图像替代文本中使用的 vllm 配方
55
热门
排行
收藏