Tôi đã thức dậy với một PR mới của mình được hợp nhất vào torchtitan. Nó sửa một sự không ổn định trong torch trunc_normal_ cho bf16, làm lệch trọng số khi khởi tạo, dẫn đến các kích hoạt lớn và việc đào tạo không ổn định.

Bài báo thú vị làm cho toàn bộ quỹ đạo RL trở nên khả vi phân, cho phép lan truyền ngược qua thời gian. Họ lấy mẫu "soft tokens", đưa chúng trở lại vào transformer, và áp dụng một phần thưởng khả vi phân lên chúng. Công việc rất tuyệt vời! 🔗

Bài báo thú vị! Nó giải quyết sự phân kỳ logits trong việc đào tạo LLM với một cách sửa đơn giản: trung tâm hóa các nhúng đầu ra bằng cách trừ đi giá trị trung bình của chúng. Lý thuyết rất hợp lý, giải pháp gọn gàng và thanh lịch! 🔗