オンラインのオプトイン方式の世論調査では、無作為抽出ではなく、広告、メールリスト、自己登録を通じて回答者を募集します。そのため、報酬を受け取るために短時間で終えようと、雑に、あるいは不誠実に答える「不正確な回答者」の影響を受けやすくなります。Pew Research Centerは、3種類のスクリーニング手法で、こうした回答者を本来の参加者から区別できるかを検証しました。
Pew Research Centerは2024年11月、米国の成人11,114人を対象にオンラインのオプトイン方式による調査を実施しました。検証したのは、不可能な行為や架空の行為に関するトラップ質問、CloudResearchの自動事前審査システム「Sentry」、そして回答者の氏名と住所を全国の有権者名簿と照合する方法です。トラップ質問では回答者の18%が検出され、その中には10%、国際宇宙ステーションを訪れたことがあると答えた人も含まれていました。Sentryは回答者のほぼ半数を検出し、その主な理由は、自由回答の回答内容が質問に反応していない、またはコピーされたもののように見えたためでした。有権者名簿との照合では、全サンプルの36%だけが有効と確認されました。
このグラフは、トラップ質問、CloudResearchのSentryによる事前審査、有権者名簿との照合を人口統計上の各グループで比較しており、各手法が疑わしいケースをどのように特定するかに関する記事の記述を補強しています。
これらの手法は、いくつかの品質指標を改善しました。トラップ質問とSentryは、「イエス・セイン」、つまり質問の内容にかかわらずはい・いいえの質問に同意する傾向を減らしました。一方、有権者名簿との照合は、多くの有効な回答者を除外したため、総合誤差をわずかに増やしました。照合に失敗しても、不誠実であることの証明にはなりません。連絡先の共有を拒否している場合、有権者登録をしていない場合、または商業データベースに登録されていない場合もあるからです。
この図は、記事で取り上げられた品質指標の結果を直接示しており、3種類の除外手法が同意傾向のある回答に及ぼす対照的な影響を含んでいます。
この表は、有権者名簿との照合に失敗した場合、有効な回答者が除外され、推定値がより正確になるどころか精度が下がる可能性があるという、記事の警告を裏付けています。
政治に関する結果からは、スクリーニングを単純な不正判定のスイッチとして扱えない理由が分かります。3つの手法はいずれも、2024年大統領選挙における民主党への支持をサンプル内でやや過大評価する傾向を強めました。Pew Research Centerは、その理由を、不正確な回答者が勝者のドナルド・トランプに投票したと主張する傾向にあり、その回答者を除外したことで報告された投票先が変わったためだと説明しています。この研究では、不正確なケースがどれほど残ったか、また有効なケースがどれほど誤って除外されたかを直接測定できなかったため、確実に除外できる方法は分かりませんでした。