熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
“這些發現提供了明確的證據,顯示在MTurk上收集的數據根本無法被信任。”
研究人員長期以來一直在爭論亞馬遜機械土耳其(MTurk)調查數據是否可信。
這篇論文採取了一種簡單的方法來評估目前由MTurk產生的數據質量。
作者給受訪者提供了一對明顯矛盾的問題。
例如:
“我說話很多”和“我很少說話。”
或者:
“我喜歡有序”和“我渴望混亂。”
如果人們在專心,贊同一個應該意味著反對另一個。至少,這兩個答案不應該一起移動。
完全相同的調查在三個平台上進行:Prolific、CloudResearch Connect和MTurk。
在Prolific和Connect上,情況正常:大多數矛盾項目呈負相關,正如常識所預測的那樣。
然而,在MTurk上,結果卻相反。
超過96%的這些明顯相反的項目對是正相關的。換句話說,許多受訪者對字面上互相矛盾的陳述給出了相似的答案。
然後,作者嘗試了大多數研究人員接下來會做的事情:
- 限制樣本到“高聲譽”MTurk工作者
- 應用標準注意力檢查
- 刪除快速回應者和直線回答者...

熱門
排行
收藏
