A otimização de LLM, uma técnica comum é a compressão, que possui dois caminhos operacionais opostos. 1. Comprimir a entrada, comum em modelos de nível flagship, substituindo longas descrições por conceitos; o "prompt divino" de Li Jigang é um exemplo, substituindo estilos de escrita por "Oscar Wilde", "Lu Xun" e "Lin Yutang"; a dificuldade reside na compreensão abstrata e acumulação de conceitos, além de exigir tentativas repetidas, com baixa adaptabilidade entre modelos; 2. Comprimir a saída, aplicável a todos os modelos, especialmente em produtos agentic, utilizando ferramentas encapsuladas de forma precisa para substituir a execução completa de tarefas pelo agente; a dificuldade está na escolha da escala das ferramentas, se forem muito poucas não têm efeito, se forem muitas ocupam a atenção, levando à degradação do resultado, testando a filosofia de design.
9,53K