熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣，引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
Ahmad
人工智慧研究員和軟體工程師，肩負著建立 DGX B200 GPU 叢集的使命
MiniMax-M2.5 NVFP4
運行於 2x RTX 6000
> 單流每秒 83 個標記
> 允許最多 32 位同時用戶
> 推送超過 1000 個標記/秒
> 這大約花費 ~2x 512GB Mac Studios
> 除了 Mac = 每次 1 個提示
> 而且每秒標記速度更慢
> 模型在 HF
> lukealonso/MiniMax-M2.5-NVFP4
2月14日 14:45
非常興奮：第一個在 huggingface 上的 Minimax m2.5 NVFP4 量化。單流 vllm 在雙 RTX 6000 上達到 83tok/s。或者大約是價格只有一半的 Mac 512gb 系統的兩倍速度。除了 Mac 不能通過 32+ 的並發連接達到 1000+ tok/s。這次測試的每個 GPU 功率限制為 550W。
lukealonso/MiniMax-M2.5-NVFP4
我在圖片替代文字中使用的 vllm 食譜
46
熱門
排行
收藏