Andrej Karpathy supporta l'introduzione di un nuovo termine relativo all'"ingegneria del contesto" nello sviluppo di software AI utilizzando LLM. E questo termine è sembrato a lungo molto necessario. Ogni volta che spiego alle persone come sviluppiamo il nostro Nethermind AuditAgent, uno degli aspetti chiave, oltre all'uso di competenze di dominio (sicurezza web3) e all'utilizzo dei migliori modelli AI disponibili (da OpenAI, Anthropic e Google), e strumenti per LLM, è proprio l'"ingegneria del contesto". A volte c'è un'espressione "il contesto è re", e questo è davvero vero. Gli LLM, siano essi enormi avanzati o piccoli LLM ottimizzati, sono uno strumento potente, ma come qualsiasi strumento, se è nelle mani sbagliate, otterrai risultati molto meno promettenti di quanto potresti se lavorassi con loro correttamente. E la gestione (o ingegneria) del contesto è davvero un'area complessa e non molto ben descritta che è in continua evoluzione, e che è emersa davvero come un'estensione del concetto di ingegneria dei prompt, che già ha alcune connotazioni negative. In generale, Andrej ha elencato i principali aspetti legati all'ingegneria del contesto (nella seconda schermata), ma in ogni compito specifico, le persone ottengono risultati eccellenti in gran parte attraverso tentativi ed errori, cercando ogni volta monotonicamente di selezionare gli elementi di contesto giusti che sono davvero necessari in questa fase della risoluzione dei problemi, raccogliendo benchmark per ogni fase, guardando le metriche, dividendo i dataset in test, validazione, e così via. Cosa ne pensi dell'"ingegneria del contesto"?