Toimitimme Gemma 3 27B:n jo maaliskuussa, ja se on edelleen paras valinta kuluttajien GPU:ille. Siinä on vankat multimodaaliset ominaisuudet, QAT vankan kvantisoinnin avaamiseksi, ja se on kehittäjäystävällinen koko. Ja meillä on enemmän uunissa 🧑 🍳
Kim BENNI
Kim BENNI14.8. klo 01.55
Tärkeintä on, että näiden 10 parhaan mallin joukossa Googlen Gemma ja Mistral Small ovat ainoat, jotka mahtuvat/toimivat kuluttajalaitteistolla. Yksi RTX 4090 riittää. Kaikissa muissa malleissa on >100b-parametrit ja ne vaativat erittäin kalliita ammattilaitteita. Tämä muuttaa näkökulmaa mielestäni paljon raakaa partituuria pidemmälle.
87,09K