10 dollarilla tunnissa voit isännöidä Kimiä itse ja luoda tarinoita (tai mitä tahansa muuta) nopeudella 440 tokenia sekunnissa 8 H200-grafiikkasuorittimella Prime Intellectin avulla. Tärkeintä ei ole huolehtia latenssista. Jos esimerkiksi haluat 26 400 tokenia 24 kysymyksestä, voit isännöidä Kimiä itse ja saada sen noin minuutissa (kun kaikki on kunnossa 😉). Se on noin 6 dollaria miljoonaa tuotantotokenia kohden. Aika siistiä! Groqissa Kimi K2-0905 (256k) on kuitenkin 3,00 dollaria miljoonaa lähtötokenia kohden. Joten en voi edes isännöidä itse halvempaa kuin Groq – en ainakaan kokeilemallani kuormituksella ja asetuksilla. Mutta se on silti noin 2,5 × halvempi kuin Sonnet 4.0, jota tämä malli (vertailuarvojen mukaan) vastaa suunnilleen. Mielestäni näin tehokkaan mallin isännöinti on uskomattoman voimaannuttavaa. Joko Groq tukee voimakkaasti Kimi-tokeneita, tai heillä on todella hämmästyttävää teknologiaa. 🙂 PS: Lyhyisiin samanlaisiin kysymyksiin, joihin vastataan vain muutamalla tokenilla, voimme saada noin 573 merkkiä sekunnissa, mikä johtaa noin 150 000 kehotteeseen tunnissa. Joten 150K yksinkertainen luokittelu tunnissa kimi k2:lle 8xh200:lla