Chủ đề thịnh hành
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Dwarkesh Patel
"Một trong những điều rất khó hiểu về các mô hình hiện tại: làm thế nào để hòa giải thực tế rằng chúng đang hoạt động rất tốt trong các bài đánh giá.
Và bạn nhìn vào các bài đánh giá và bạn nói, 'Những bài đánh giá này khá khó.'
Nhưng tác động kinh tế dường như đang tụt lại một cách đáng kể.
Có [một khả năng] giải thích. Khi mọi người thực hiện việc huấn luyện trước, câu hỏi về dữ liệu nào để huấn luyện đã được trả lời, vì câu trả lời là mọi thứ. Vì vậy, bạn không cần phải suy nghĩ xem nó sẽ là dữ liệu này hay dữ liệu kia.
Khi mọi người thực hiện huấn luyện RL, họ nói, 'Được rồi, chúng tôi muốn có loại huấn luyện RL này cho điều này và loại huấn luyện RL kia cho điều kia.'
Bạn nói, 'Này, tôi rất muốn mô hình của chúng tôi hoạt động thật tốt khi chúng tôi phát hành nó. Tôi muốn các bài đánh giá trông tuyệt vời. Huấn luyện RL nào có thể giúp cho nhiệm vụ này?'
Nếu bạn kết hợp điều này với việc tổng quát hóa các mô hình thực sự không đủ, điều đó có khả năng giải thích rất nhiều những gì chúng ta đang thấy, sự ngắt quãng giữa hiệu suất đánh giá và hiệu suất thực tế trong thế giới."
01:29 26 thg 11
Tập @ilyasut
0:00:00 – Giải thích độ gợn của mô hình
0:09:39 - Cảm xúc và hàm giá trị
0:18:49 – Chúng ta đang mở rộng cái gì?
0:25:13 – Tại sao con người tổng quát tốt hơn mô hình
0:35:45 – Siêu trí tuệ thẳng tiến
0:46:47 – Mô hình của SSI sẽ học từ việc triển khai
0:55:07 – Sự đồng bộ
1:18:13 – “Chúng ta đang ở trong một thời đại công ty nghiên cứu”
1:29:23 – Tự chơi và đa tác nhân
1:32:42 – Gu nghiên cứu
Tìm kiếm Dwarkesh Podcast trên YouTube, Apple Podcasts hoặc Spotify. Chúc bạn vui vẻ!
361,83K
“Có nhiều công ty hơn là ý tưởng một cách đáng kể.
Tính toán đủ lớn đến mức không rõ ràng rằng bạn cần nhiều tính toán hơn để chứng minh một ý tưởng nào đó.
AlexNet được xây dựng trên 2 GPU. Transformer được xây dựng trên 8 đến 64 GPU. Điều đó sẽ tương đương với, cái gì nhỉ, 2 GPU của ngày nay? Bạn có thể lập luận rằng lý luận o1 không phải là thứ tốn nhiều tính toán nhất trên thế giới.
Đối với nghiên cứu, bạn chắc chắn cần một lượng tính toán nào đó, nhưng không rõ ràng rằng bạn cần số lượng tính toán lớn nhất tuyệt đối.
Nếu mọi người đều nằm trong cùng một khuôn khổ, thì tính toán trở thành một trong những yếu tố phân biệt lớn.”
@ilyasut
01:29 26 thg 11
Tập @ilyasut
0:00:00 – Giải thích độ gợn của mô hình
0:09:39 - Cảm xúc và hàm giá trị
0:18:49 – Chúng ta đang mở rộng cái gì?
0:25:13 – Tại sao con người tổng quát tốt hơn mô hình
0:35:45 – Siêu trí tuệ thẳng tiến
0:46:47 – Mô hình của SSI sẽ học từ việc triển khai
0:55:07 – Sự đồng bộ
1:18:13 – “Chúng ta đang ở trong một thời đại công ty nghiên cứu”
1:29:23 – Tự chơi và đa tác nhân
1:32:42 – Gu nghiên cứu
Tìm kiếm Dwarkesh Podcast trên YouTube, Apple Podcasts hoặc Spotify. Chúc bạn vui vẻ!
169,61K
Hàng đầu
Thứ hạng
Yêu thích