“這些發現提供了明確的證據,顯示在MTurk上收集的數據根本無法被信任。” 研究人員長期以來一直在爭論亞馬遜機械土耳其(MTurk)調查數據是否可信。 這篇論文採取了一種簡單的方法來評估目前由MTurk產生的數據質量。 作者給受訪者提供了一對明顯矛盾的問題。 例如: “我說話很多”和“我很少說話。” 或者: “我喜歡有序”和“我渴望混亂。” 如果人們在專心,贊同一個應該意味著反對另一個。至少,這兩個答案不應該一起移動。 完全相同的調查在三個平台上進行:Prolific、CloudResearch Connect和MTurk。 在Prolific和Connect上,情況正常:大多數矛盾項目呈負相關,正如常識所預測的那樣。 然而,在MTurk上,結果卻相反。 超過96%的這些明顯相反的項目對是正相關的。換句話說,許多受訪者對字面上互相矛盾的陳述給出了相似的答案。 然後,作者嘗試了大多數研究人員接下來會做的事情: - 限制樣本到“高聲譽”MTurk工作者 - 應用標準注意力檢查 - 刪除快速回應者和直線回答者...