la mayoría de la gente no se da cuenta de que la temperatura solo está ajustando la velocidad del ventilador en el clúster de GPU que te está sirviendo
gojo
gojo15 ago, 23:20
Literalmente estaba hablando con este "investigador de LLM" sobre cómo ajustar la temperatura en los LLM y le pregunté, ya sabes, ¿por qué bajar o subir la temperatura resulta en salidas más deterministas o aleatorias, verdad? Y él dijo que sí, que cambia la forma en que se representan los tokens. Chico, qué demonios, la gente EN el maldito campo no tiene idea sobre estadísticas de Boltzmann o incluso softmax. Voy a llorar.
396