"Nämä havainnot antavat selvää näyttöä siitä, että MTurkista kerättyihin tietoihin ei yksinkertaisesti voi luottaa." Tutkijat ovat pitkään kiistelleet siitä, voiko Amazon Mechanical Turkin (MTurk) kyselytietoihin luottaa. Tämä artikkeli lähestyy yksinkertaisesti MTurkin tällä hetkellä tuottaman datan laadun arviointia. Kirjoittaja antaa vastaajille parit kysymyksiä, jotka ovat selvästi ristiriitaisia. Esimerkiksi: "Puhun paljon" ja "Puhun harvoin." Tai: "Pidän järjestyksestä" ja "Kaipaan kaaosta." Jos ihmiset kiinnittävät huomiota, toisen kanssa samaa mieltä oleminen pitäisi tarkoittaa eri mieltä olemista toisen kanssa. Vähintäänkin kahden vastauksen ei pitäisi liikkua yhdessä. Täsmälleen sama kysely toteutetaan kolmella alustalla: Prolific, CloudResearch Connect ja MTurk. Prolivic- ja Connect-sivustoilla asiat käyttäytyvät normaalisti: useimmat ristiriitaiset kohteet korreloivat negatiivisesti, aivan kuten maalaisjärki ennustaa. MTurkissa tulokset ovat kuitenkin päinvastaiset. Yli 96 % näistä selvästi vastakkaisista kohdepareista on positiivisesti korreloituneita. Toisin sanoen monet vastaajat antavat samankaltaisia vastauksia väitteisiin, jotka kirjaimellisesti ovat ristiriidassa keskenään. Kirjoittajat kokeilevat sitten sitä, mitä useimmat tutkijat tekisivät seuraavaksi: -rajoittaa otos "korkeamaineisiin" MTurkin työntekijöihin -käytä tavallisia tarkkaavaisuustarkistuksia -pudota nopeat vasteet ja suoraviivaiset...