Weinig gesprekken blijven bij je hangen, het gesprek met @JonathanRoss321 in Bangalore (dank Lightspeed @MohapatraHemant) was er een van. Belangrijke punten: 1. Snellere inferentie gaat niet alleen om snelheid. Wanneer tijd de beperking is, verbetert de outputkwaliteit aanzienlijk (meer tokens verwerkt) 2. Voor bedrijven is de echte inzet economie: ze blijven investeren in snellere inferentie totdat specifieke taken kosten verlagen of inkomsten stijgen.
1,44K