RIP fine-tuning ☠️ Bài báo mới từ Stanford này vừa làm cho nó chết. Nó có tên là 'Agentic Context Engineering (ACE)' và nó chứng minh rằng bạn có thể làm cho các mô hình thông minh hơn mà không cần chạm vào một trọng số nào. Thay vì huấn luyện lại, ACE phát triển chính ngữ cảnh. Mô hình viết, phản ánh và chỉnh sửa chính prompt của nó liên tục cho đến khi nó trở thành một hệ thống tự cải thiện. Hãy nghĩ về nó như mô hình giữ một cuốn sổ tay ngày càng lớn về những gì hiệu quả. Mỗi thất bại trở thành một chiến lược. Mỗi thành công trở thành một quy tắc. Kết quả thật phi lý: +10.6% tốt hơn so với các tác nhân được hỗ trợ bởi GPT-4 trên AppWorld. +8.6% trong lý luận tài chính. Giá cả và độ trễ thấp hơn 86.9%. Không có nhãn. Chỉ có phản hồi. Mọi người đã bị ám ảnh với các prompt "ngắn, sạch". ACE đảo ngược điều đó. Nó xây dựng các playbook dài, chi tiết và phát triển mà không bao giờ quên. Và nó hoạt động vì LLM không muốn sự đơn giản, chúng muốn *độ dày ngữ cảnh. Nếu điều này mở rộng, thế hệ AI tiếp theo sẽ không được "tinh chỉnh". Nó sẽ tự tinh chỉnh. Chúng ta đang bước vào kỷ nguyên của các prompt sống.