Đo lường Hiệu quả Tư duy trong các Mô hình Lập luận: Tiêu chuẩn Thiếu hụt Chúng tôi đã đo lường việc sử dụng token trong các mô hình lập luận: các mô hình mở xuất ra 1.5-4 lần nhiều token hơn so với các mô hình đóng trên các nhiệm vụ giống nhau, nhưng với sự biến động lớn tùy thuộc vào loại nhiệm vụ (lên đến 10 lần trên các câu hỏi đơn giản). Chi phí ẩn này thường làm mất đi lợi thế về giá theo token. Hiệu quả token nên trở thành mục tiêu chính bên cạnh các tiêu chuẩn độ chính xác, đặc biệt là khi xem xét các trường hợp sử dụng không liên quan đến lập luận. Đọc bài đánh giá chi tiết về hiệu quả lập luận trong bối cảnh các mô hình mở và đóng trong bài viết blog mới nhất của chúng tôi, hợp tác với nhà nghiên cứu của chúng tôi, Tim. Xem thêm công việc của họ tại đây: