在线自愿参与式民调通过广告、邮件列表或自行报名招募受访者,而不是采用随机抽样。这使它们容易受到虚假受访者的影响:这些人为了尽快完成调查并领取奖励,会粗心或不如实作答。皮尤研究中心测试了三种筛选方法能否将这类受访者与真实参与者区分开来。

皮尤研究中心于2024年11月对11,114名美国成年人开展了一项在线自愿参与式调查。测试内容包括有关不可能发生或虚构活动的陷阱题、CloudResearch的Sentry自动预筛选系统,以及将受访者的姓名和地址与全国选民档案进行匹配。陷阱题标记了18%的受访者,其中包括10%声称去过国际空间站的人。Sentry标记了将近一半的受访者,最常见的原因是自由文本答案显得答非所问或存在复制痕迹。选民档案匹配只验证了完整样本中的36%。

柱状图比较三种筛选方法在不同人口群体中标记受访者的频率
皮尤研究中心的不同方法将差异很大的受访者比例标记为可能虚假。www.pewresearch.org

该图比较了陷阱题、CloudResearch Sentry预筛选和选民档案匹配在不同人口群体中的结果,为文章讨论每种方法如何识别可疑案例提供依据。

这些方法改善了某些质量指标。陷阱题和Sentry降低了“迎合式作答”——即无论问题内容如何,都对是非题表示同意;而选民档案匹配因删除了许多有效受访者,反而略微增加了总体误差。匹配失败并不能证明受访者不诚实:当事人可能不愿提供联系方式、没有登记为选民,或未被商业数据库收录。

柱状图显示采用不同虚假回答筛选方法后的迎合式作答率
陷阱题和Sentry降低了迎合式作答,而选民档案匹配使其恶化。www.pewresearch.org

该图直接展示了文章中讨论的调查质量指标结果,包括三种清理方法对迎合性回答产生的不同影响。

表格比较将受访者信息与选民档案数据匹配后的调查误差
在皮尤研究中心的实验中,选民档案匹配并未降低总体调查误差。www.pewresearch.org

该表支持文章的警告:选民档案匹配失败可能会删除有效受访者,并可能使估计结果更不准确,而不是更干净。

政治结果显示,为什么不能把筛选视为简单的反欺诈开关。三种方法都略微加剧了样本对2024年总统选举中民主党支持率的高估。皮尤研究中心将其归因于虚假受访者往往声称自己投给了获胜者唐纳德·特朗普;因此,剔除这些人改变了报告中的投票选择。该研究无法直接测出仍有多少虚假案例未被发现,也无法测出有多少有效案例被误删,因此没有一种清理方法能够做到万无一失。