¡Boom! LLM en una tarjeta de presentación, prueba de proyecto de garaje. Solo puede ir hacia arriba desde aquí. ¡Esto es como jugo turbo para mis proyectos! ¡Gracias @pham_blnh!
Binh Pham
Binh Pham6 sept, 06:10
Acabo de convertirme en el primero del mundo en ejecutar un LLM localmente en una tarjeta de presentación, jaja. ¿Por qué? Por diversión. Detalles: - llama2.c de @karpathy con modificaciones de @_davebennett - 24tok/sec en esp32s3 n16r8 con un modelo de 260k parámetros - diseñé la tarjeta yo mismo, toda la inspiración proviene de las tablas ouija, es decir, hablar con fantasmas. Si pongo LLMs en mi tarjeta de presentación, debería tener la forma de una ouija, jaja. - pcb y smt patrocinados por @HQ_NextPCB Publicando un video en youtube + esquemas este fin de semana.
12,79K