Andrej Karpathy soutient l'introduction d'un nouveau terme lié à "l'ingénierie du contexte" dans le développement de logiciels d'IA utilisant des LLM. Et ce terme a longtemps semblé très nécessaire. Chaque fois que j'explique aux gens comment nous développons notre Nethermind AuditAgent, l'un des aspects clés, en plus d'utiliser l'expertise de domaine (sécurité web3) et d'utiliser les meilleurs modèles d'IA disponibles (d'OpenAI, Anthropic et Google), et des outils pour LLM, est précisément "l'ingénierie du contexte". Il y a parfois une expression "le contexte est roi", et c'est vraiment vrai. Les LLM, qu'ils soient énormes et avancés ou des LLM optimisés et petits, sont un outil puissant, mais comme tout outil, s'il est entre de mauvaises mains, vous obtiendrez des résultats beaucoup moins prometteurs que vous ne pourriez si vous travaillez avec eux correctement. Et la gestion (ou l'ingénierie) du contexte est en effet un domaine complexe et pas très bien décrit qui évolue constamment, et il a vraiment émergé comme une extension du concept d'ingénierie des prompts, qui a déjà quelques connotations négatives. Dans l'ensemble, Andrej a énuméré les principaux aspects liés à l'ingénierie du contexte (sur la deuxième capture d'écran), mais dans chaque tâche spécifique, les gens obtiennent d'excellents résultats en grande partie grâce à des essais et des erreurs, essayant chaque fois de manière monotone de sélectionner les bons éléments de contexte qui sont vraiment nécessaires à ce stade de la résolution de problèmes, en collectant des benchmarks pour chaque étape, en regardant les métriques, en divisant les ensembles de données en test, validation, et ainsi de suite. Que pensez-vous de "l'ingénierie du contexte"?