Niewiele rozmów zostaje z tobą na dłużej, ta z @JonathanRoss321 w Bangalore (dzięki Lightspeed @MohapatraHemant) była jedną z nich. Kluczowe wnioski: 1. Szybsza inferencja to nie tylko kwestia prędkości. Gdy czas jest ograniczeniem, jakość wyjściowa znacznie się poprawia (przetwarzanych jest więcej tokenów). 2. Dla przedsiębiorstw prawdziwą grą są finanse: będą nadal inwestować w szybszą inferencję, aż konkretne zadania zobaczą spadek kosztów lub wzrost przychodów.
1,43K