以每小時10美元的價格，您可以自托管Kimi，並在8個H200 GPU上以440個令牌/秒的速度生成故事（或其他任何內容），與Prime Intellect一起。 關鍵是不要擔心延遲。例如，如果您想從24個問題中獲取26,400個令牌，您可以自托管Kimi，並在大約一分鐘內獲得（一切準備就緒後😉）。 這大約是每百萬輸出令牌6美元。相當不錯！ 不過在Groq上，Kimi K2-0905（256k）的價格是每百萬輸出令牌3.00美元。所以我甚至無法比Groq自托管更便宜——至少在我嘗試的負載和設置下是這樣。但這仍然比Sonnet 4.0便宜約2.5倍，而根據基準測試，這個模型大致相當於此。 我認為自托管如此強大的模型是非常賦權的。要麼Groq在大力補貼Kimi令牌，要麼他們確實擁有驚人的技術。🙂 附言：對於短的類似問題，只用幾個令牌回答，我們可以獲得大約573個令牌/秒的輸出，導致每小時大約150,000個提示。因此，Kimi K2在8個H200上每小時可以進行150K個簡單分類。