“Questi risultati forniscono prove chiare che i dati raccolti su MTurk semplicemente non possono essere considerati affidabili.” I ricercatori hanno a lungo discusso se i dati dei sondaggi di Amazon Mechanical Turk (MTurk) possano essere considerati affidabili. Questo documento adotta un approccio semplice per valutare la qualità dei dati attualmente prodotti da MTurk. L'autore fornisce ai rispondenti coppie di domande che sono ovviamente contraddittorie. Ad esempio: "Parlo molto" e "Parlo raramente." Oppure: "Mi piace l'ordine" e "Desidero il caos." Se le persone prestano attenzione, concordare con una dovrebbe significare disaccordare con l'altra. Al minimo, le due risposte non dovrebbero muoversi insieme. Lo stesso identico sondaggio viene somministrato su tre piattaforme: Prolific, CloudResearch Connect e MTurk. Su Prolific e Connect, le cose si comportano normalmente: la maggior parte degli elementi contraddittori è correlata negativamente, proprio come prevede il buon senso. Su MTurk, tuttavia, i risultati sono opposti. Oltre il 96% di queste coppie di elementi chiaramente opposti sono correlate positivamente. In altre parole, molti rispondenti forniscono risposte simili a affermazioni che si contraddicono letteralmente. Gli autori poi provano ciò che la maggior parte dei ricercatori farebbe dopo: -restringere il campione a lavoratori MTurk "di alta reputazione" -applicare controlli standard di attenzione -escludere i rispondenti rapidi e quelli che rispondono in modo lineare...