Khảo sát: Một cuộc tranh luận sôi nổi tại văn phòng Compound là khoảng cách giữa nghiên cứu nội bộ tại các phòng thí nghiệm tiên phong so với học thuật hiện nay trong những gì chúng ta có thể gọi là "AI truyền thống" (định nghĩa điều này là quy mô LLM bình thường, transformers + những thứ liên quan như SSMs, bất kỳ điều gì liên quan đến RL bây giờ) Một phần trong số này là do hạn chế về tính toán, phần khác chỉ là sự tập trung/thí nghiệm. Bỏ qua hoàn toàn các phương pháp sinh học mới hoặc điều gì đó, các phòng thí nghiệm tiên phong so với học thuật: