„Diese Ergebnisse liefern klare Beweise dafür, dass die auf MTurk gesammelten Daten einfach nicht vertrauenswürdig sind.“ Forscher haben lange darüber diskutiert, ob die Umfragedaten von Amazon Mechanical Turk (MTurk) vertrauenswürdig sind. Dieses Papier verfolgt einen einfachen Ansatz zur Bewertung der Qualität der derzeit von MTurk produzierten Daten. Der Autor gibt den Befragten Paare von Fragen, die offensichtlich widersprüchlich sind. Zum Beispiel: „Ich rede viel“ und „Ich rede selten.“ Oder: „Ich mag Ordnung“ und „Ich sehne mich nach Chaos.“ Wenn die Leute aufmerksam sind, sollte die Zustimmung zu einer Aussage die Ablehnung der anderen bedeuten. Mindestens sollten sich die beiden Antworten nicht gemeinsam bewegen. Die genau gleiche Umfrage wird auf drei Plattformen durchgeführt: Prolific, CloudResearch Connect und MTurk. Auf Prolific und Connect verhalten sich die Dinge normal: die meisten widersprüchlichen Elemente sind negativ korreliert, genau wie es der gesunde Menschenverstand vorhersagt. Auf MTurk hingegen sind die Ergebnisse das Gegenteil. Über 96 % dieser eindeutig gegensätzlichen Elementpaare sind positiv korreliert. Mit anderen Worten, viele Befragte geben ähnliche Antworten auf Aussagen, die sich buchstäblich widersprechen. Die Autoren versuchen dann, was die meisten Forscher als Nächstes tun würden: -das Sample auf „hoch angesehene“ MTurk-Arbeiter beschränken -standardmäßige Aufmerksamkeitstests anwenden -schnelle Antwortgeber und gerade Linien herausnehmen...