Đây là một tóm tắt mã một dòng trong MLX của bài viết trên blog @thinkymachines về tính không xác định trong suy diễn LLM. Tôi đoán rằng sự khác biệt sẽ lớn hơn khi độ chính xác thấp hơn, vì bạn sẽ gặp phải những ảnh hưởng lớn hơn từ tính không kết hợp của toán học FP. Thú vị thay, điều đó ngụ ý rằng việc đào tạo với độ chính xác thấp (nghĩ đến NVFP4) có thể làm cho việc sinh ra nhạy cảm hơn nhiều với kích thước lô.