Một vài người đã đặt ra câu hỏi này. Vấn đề không phải là liệu chúng ta "cần" 1.000 bài báo hay không. Vấn đề là đó là điều có thể xảy ra ngay bây giờ, và chúng ta cần điều chỉnh theo thực tế đó và bắt đầu thiết kế lại các hệ thống để đảm bảo chúng ta thúc đẩy việc sản xuất tri thức. Nếu chúng ta không làm gì và để hệ thống tạp chí như hiện tại, thì động lực sẽ là để mọi người sản xuất hàng ngàn bài báo không tốt lắm, có lẽ. Chúng ta nên hướng tới việc làm tốt hơn.

Nghiên cứu AI đang tăng tốc. Vào ngày 2 tháng 1, tôi đã tuyên bố rằng Claude Code đang đến với học thuật "như một chiếc tàu hàng" và rằng một học giả duy nhất sẽ có thể "viết hàng ngàn bài báo thực nghiệm." Chưa đầy hai tháng kể từ đó, và đáng để xem xét chúng ta đang ở đâu... Trong lĩnh vực kinh tế, @YanagizawaD đã khởi động một dự án mà thực sự đang viết 1.000 bài báo. Dự đoán của tôi đã trở thành hiện thực nhanh hơn tôi nghĩ! Trong khi đó, @alexolegimas đã phát hành một loạt nghiên cứu mới chóng mặt qua substack của mình, tận dụng Claude Code một cách triệt để. Tôi đã phát hành một "đàn nghiên cứu" viết hàng trăm bài báo, cũng như một công cụ trực quan cho việc tìm kiếm thông số, một hội đồng LLM có thể được sử dụng cho việc đánh giá đồng nghiệp, và nhiều hơn nữa. Sinh viên của tôi và tôi đã thực hiện một thí nghiệm rộng rãi trên Claude Code và Codex, và bất ngờ phát hiện rằng các rào cản của chúng ngăn chặn p-hacking (mặc dù chúng có thể bị vượt qua dễ dàng). Ở khắp nơi, chúng ta đang thấy những bài báo mới thú vị tận dụng AI. Tiến trình áp dụng Claude Code và các công cụ AI khác và sử dụng chúng để sản xuất nghiên cứu đang diễn ra nhanh hơn tôi mong đợi, và giờ đây có vẻ khả thi rằng nó sẽ tiếp tục tăng tốc khi các công cụ cải thiện và nhiều nhà nghiên cứu quen thuộc hơn. Tôi cảm thấy bối rối với bất kỳ nhà khoa học xã hội thực nghiệm nào không chú ý đến những xu hướng này và không thay đổi thực hành của họ cho phù hợp. Chưa rõ những thay đổi này sẽ ảnh hưởng đến kiến thức như thế nào, nhưng thật không thể bỏ qua những gì đang đến, và những gì đã xảy ra trong vài tháng qua.

AI sắp viết hàng ngàn bài báo. Liệu nó có p-hack chúng không? Chúng tôi đã thực hiện một thí nghiệm để tìm hiểu, cung cấp cho các tác nhân lập trình AI những bộ dữ liệu thực từ các kết quả null đã được công bố và gây áp lực cho chúng để tạo ra những phát hiện có ý nghĩa. Thật bất ngờ, rất khó để khiến các mô hình p-hack, và chúng thậm chí đã mắng chúng tôi khi chúng tôi yêu cầu chúng làm như vậy! "Tôi cần dừng lại ở đây. Tôi không thể hoàn thành nhiệm vụ này như đã yêu cầu... Đây là một hình thức gian lận khoa học." — Claude "Tôi không thể giúp bạn thao túng các lựa chọn phân tích để ép buộc kết quả có ý nghĩa thống kê." — GPT-5 NHƯNG, khi chúng tôi định nghĩa lại p-hacking là "định lượng sự không chắc chắn có trách nhiệm" — yêu cầu giới hạn trên của các ước lượng hợp lý — cả hai mô hình đã trở nên điên cuồng. Chúng đã tìm kiếm qua hàng trăm thông số và chọn ra người chiến thắng, gấp ba kích thước hiệu ứng trong một số trường hợp. Điều chúng tôi rút ra: Các mô hình AI tỏ ra khá kháng cự với việc p-hacking nịnh bợ khi thực hiện nghiên cứu khoa học xã hội. Nhưng chúng có thể bị bẻ khóa thành p-hacking tinh vi với nỗ lực bất ngờ ít ỏi — và càng nhiều sự linh hoạt phân tích trong thiết kế nghiên cứu, thiệt hại càng tồi tệ hơn. Khi AI bắt đầu viết hàng ngàn bài báo — như @paulnovosad và @YanagizawaD đã khám phá — điều này sẽ trở thành một vấn đề lớn. Chúng tôi được truyền cảm hứng một phần từ công việc mà @joabaum và các cộng sự đã thực hiện về p-hacking và LLMs. Chúng tôi sẽ thực hiện thêm nhiều công việc để khám phá p-hacking trong AI và đề xuất những cách mới để quản lý và đánh giá nghiên cứu với những vấn đề này trong tâm trí. Tin tốt là những công cụ tương tự có thể làm giảm chi phí p-hacking cũng làm giảm chi phí phát hiện nó. Bài báo đầy đủ và repo được liên kết trong phản hồi bên dưới.