Optymalizacja LLM, powszechną techniką jest kompresja, istnieją dwie przeciwstawne ścieżki operacyjne. 1. Kompresja wejścia, powszechnie stosowana w modelach flagowych, polega na zastępowaniu dużych fragmentów opisów pojęciami; "boski prompt" Li Jiganga jest przykładem, "Oscar Wilde" "Lu Xun" "Lin Yutang" zastępują styl pisania; trudność polega na abstrakcyjnym zrozumieniu i gromadzeniu pojęć oraz wymaga wielokrotnych prób, a także słabej adaptacji między modelami; 2. Kompresja wyjścia, odpowiednia dla wszystkich modeli, szczególnie widoczna w produktach agentowych, polega na zastępowaniu pełnego wykonania zadania przez agenta precyzyjnie zapakowanymi narzędziami; trudność polega na wyborze skali narzędzi, zbyt mało nie przynosi efektów, zbyt wiele zajmuje uwagę, co prowadzi do pogorszenia efektów, co testuje filozofię projektowania;
9,52K