“Những phát hiện này cung cấp bằng chứng rõ ràng rằng dữ liệu thu thập trên MTurk đơn giản là không thể tin cậy.” Các nhà nghiên cứu đã tranh luận từ lâu về việc liệu dữ liệu khảo sát từ Amazon Mechanical Turk (MTurk) có thể được tin cậy hay không. Bài báo này áp dụng một cách tiếp cận đơn giản để đánh giá chất lượng dữ liệu hiện đang được sản xuất bởi MTurk. Tác giả đưa ra cho người trả lời các cặp câu hỏi mà rõ ràng là mâu thuẫn với nhau. Ví dụ: "Tôi nói rất nhiều" và "Tôi hiếm khi nói." Hoặc: "Tôi thích trật tự" và "Tôi khao khát hỗn loạn." Nếu mọi người đang chú ý, việc đồng ý với một câu nên có nghĩa là không đồng ý với câu kia. Tối thiểu, hai câu trả lời không nên di chuyển cùng nhau. Cùng một khảo sát chính xác được thực hiện trên ba nền tảng: Prolific, CloudResearch Connect và MTurk. Trên Prolific và Connect, mọi thứ diễn ra bình thường: hầu hết các mục mâu thuẫn có tương quan âm, như lẽ thường tình dự đoán. Tuy nhiên, trên MTurk, kết quả lại ngược lại. Hơn 96% các cặp mục rõ ràng đối lập này có tương quan dương. Nói cách khác, nhiều người trả lời đưa ra các câu trả lời tương tự cho những tuyên bố mà thực sự mâu thuẫn với nhau. Các tác giả sau đó thử những gì hầu hết các nhà nghiên cứu sẽ làm tiếp theo: -hạn chế mẫu cho "công nhân MTurk có uy tín cao" -ap dụng các kiểm tra chú ý tiêu chuẩn -loại bỏ những người trả lời nhanh và những người trả lời thẳng....