Tôi nhận thấy rằng do (tôi nghĩ?) có rất nhiều benchmarkmaxxing trong các nhiệm vụ dài hạn, các LLM đang trở nên hơi quá tự chủ theo mặc định, hơi vượt quá trường hợp sử dụng trung bình của tôi. Ví dụ, trong lập trình, các mô hình bây giờ có xu hướng suy luận trong một khoảng thời gian khá dài, chúng có xu hướng bắt đầu liệt kê và tìm kiếm các tệp trên toàn bộ kho lưu trữ, chúng thực hiện các tìm kiếm trên web lặp đi lặp lại, chúng phân tích quá mức và suy nghĩ quá nhiều về những trường hợp hiếm hoi ngay cả trong mã mà rõ ràng là chưa hoàn chỉnh và đang trong quá trình phát triển tích cực, và thường quay lại ~phút sau ngay cả với các truy vấn đơn giản. Điều này có thể hợp lý cho các nhiệm vụ chạy lâu nhưng lại không phù hợp lắm cho việc phát triển lặp đi lặp lại "trong vòng" mà tôi vẫn làm rất nhiều, hoặc nếu tôi chỉ đang tìm kiếm một kiểm tra nhanh trước khi chạy một kịch bản, chỉ để phòng trường hợp tôi đã lập chỉ mục sai hoặc mắc phải một lỗi ngớ ngẩn nào đó. Vì vậy, tôi thường xuyên phải dừng các LLM với những biến thể như "Dừng lại, bạn đang suy nghĩ quá nhiều về điều này. Chỉ nhìn vào tệp này thôi. Đừng sử dụng bất kỳ công cụ nào. Đừng thiết kế quá mức", v.v. Cơ bản là khi mặc định bắt đầu từ từ tiến vào chế độ "siêu suy nghĩ" tự chủ, tôi cảm thấy cần phải ngược lại, và nói chung là cần những cách tốt để chỉ ra hoặc giao tiếp ý định / rủi ro, từ "chỉ cần nhìn nhanh" cho đến "đi ra ngoài trong 30 phút, quay lại khi hoàn toàn chắc chắn".