"Tato zjištění jasně dokazují, že data shromážděná na MTurk prostě nelze věřit." Výzkumníci dlouhodobě diskutují o tom, zda lze věřit datům průzkumu Amazon Mechanical Turk (MTurk). Tento článek přistupuje jednoduše k hodnocení kvality dat, která MTurk aktuálně produkuje. Autor respondentům dává dvojice otázek, které jsou zjevně protichůdné. Například: "Hodně mluvím" a "Mluvím jen zřídka." Nebo: "Mám rád pořádek" a "Toužím po chaosu." Pokud lidé dávají pozor, souhlas s jedním by měl znamenat nesouhlas s druhým. Minimálně by se tyto dvě odpovědi neměly pohybovat společně. Stejný průzkum je realizován na třech platformách: Prolific, CloudResearch Connect a MTurk. Na Prolific a Connect se věci chovají normálně: většina protichůdných položek je negativně korelována, přesně jak zdravý rozum předpovídá. Na MTurk je však výsledek opačný. Více než 96 % těchto zjevně opačných párů položek je pozitivně korelováno. Jinými slovy, mnoho respondentů odpovídá podobně na výroky, které si doslova odporují. Autoři pak zkoušejí to, co by většina výzkumníků udělala dál: -omezit vzorek na pracovníky MTurk s "vysokou reputací" -Použít standardní kontroly pozornosti - shazování rychlých zasahujících a přímých lodí...