La optimización de LLM, una técnica común es la compresión, que tiene dos caminos de operación opuestos. 1. Comprimir la entrada, común en modelos de nivel insignia, utilizando conceptos en lugar de largas descripciones; el "prompt divino" de Li Jigang es un ejemplo, sustituyendo estilos de escritura como "Oscar Wilde", "Lu Xun" y "Lin Yutang"; la dificultad radica en la comprensión y acumulación abstracta de conceptos, y requiere intentos repetidos, con una mala adaptación entre modelos; 2. Comprimir la salida, aplicable a todos los modelos, especialmente en productos agentic, utilizando herramientas encapsuladas con precisión en lugar de que el agente ejecute la tarea completa; la dificultad radica en la elección de la escala de las herramientas, si son muy pocas no tienen efecto, y si son demasiadas pueden distraer la atención, lo que lleva a una degradación del efecto, poniendo a prueba la filosofía de diseño.
9,52K