ペルーの農村部にある531の学校を対象とした10年間のランダム化比較試験では、子供たちにノートパソコンを提供しても学業成績には全く影響がないことが判明した。これは、テクノロジーへのアクセスが教育的成功の主要な要因であるという広範な信念とは対照的な結果である。この結果は、厳格な評価の欠如と心理的な「コントロールの錯覚」によって、社会的な介入が掲げられた目標を達成できないことが多いという、より広い傾向を浮き彫りにしている。
善意に基づく介入の失敗
さまざまな社会政策や慈善プログラムが、多額の資金を投じながらも掲げられた目標を達成できていない。例えば、米国の成績の最も低い学校に対する30億ドルの「学校改善助成金」は測定可能な改善をもたらさず、アフガニスタン人女性の就職を支援するための2億8000万ドルの取り組みは、政府が実際に女性が雇用を確保できたかどうかを確認することすら不可能にした。
同様に、多様性や特定の社会的行動を目的としたイニシアチブも停滞することが多い。2001年から2019年の間にチーフ・ダイバーシティ・オフィサーを雇用した大学では、多様な学生や教員の増加は見られなかった。場合によっては、ワクチン接種を促すためのメッセージが、誤ってワクチンが自閉症を引き起こすという信念を強めてしまうことさえあった。
「この儀式の目的は、神々への服従を示すことではない(もちろん、神々の中の誰かが立ち寄って助けてくれるなら、それは素晴らしいことだが)、自分たちが何も知らないことを自分たちに思い出させることである。」
— We need more goat sacrifices
評価の鉄則
社会学者ピーター・ロッシは、大規模な社会プログラムの期待される純影響はゼロであるという「評価の鉄則」を提唱した。これは「真鍮の法則」によってさらに複雑なものとなる。この法則は、プログラムが人々の変化を意図するほど、その実際の効果がゼロになる可能性が高くなるということを示している。
一部のプログラムは成功するものの、それらを特定することは困難である。なぜなら、単発の研究は肯定的な結果を出すために容易に操作が可能だからである。これにより、多くの介入が「ライト・コーデッド・フェイラー(right-coded failures)」、つまり介入によって意図とは正反対の結果が生じたものとなる一方で、多くの介入が「レフト・コーデッド・フェイラー(left-coded failures)」、つまり主要な目的を達成できなかったまま放置されるという状況が生じている。
意図性の心理学
これらの失敗が持続する理由は、「コントロールの錯覚」にあるかもしれない。これは、自分の行動が実際よりも結果に対して大きな影響を与えていると個人が信じ込む心理現象である。これは、当選確率が変わらないにもかかわらず、人々が自分で数字を選んだロットのチケットをより高く評価する傾向があることからも裏付けられる。
社会政策の文脈において、この錯覚は厳格な実験的評価の欠如につながる。国立科学財団が資金提供したSTEMプロジェクトに関する調査では、研究者の76%が実際の実験を用いてプログラムを評価しようとせず、「素晴らしいアイデア」さえあれば成功を保証できるという仮定に基づいて活動していることが判明した。
ケーススタディ:NYU医学部への寄付
この失敗の具体的な例として、億万長者のケネス・ランゴンがNYU医学部の授業料を免除するために1億ドルを寄付した事例がある。その目的は、学生に小児科のような低賃金の専門分野を選んでもらうことだったが、学生の構成に変化はなかった。
この介入が失敗した理由は、医学部の負債の計算がキャリア選択の転換を正当化しなかったためである。医学部の平均負債が200,000ドルで、家族診療医の年収が約281,000ドルであれば、負債はすでに管理可能な範囲内であった。授業料は所得に関わらず全員免除されたため、整形外科手術のような高収入の専門分野よりも低賃金の専門分野を選ぶ経済的な動機が学生には存在しなかった。
HN Digestによる図表(experimental-history.comの報告数に基づく。数値はソースの表記通り)。
Hacker Newsの読者の反応
- 代替案: あるコメント主は、社会プログラムには検証可能な成功指標と終了条項を含めるべきだと提案したが、指標を目標に変えることは意図しない問題を引き起こす可能性があるとも指摘した。 コメント ↗
- 体験談: 別のユーザーは、多くの組織が効果的な結果よりも行動しているかのような外見を優先していると主張し、多様性トレーニングを例に挙げ、それが安価であり困難な変化を回避できるためであると述べた。 コメント ↗
- 懐疑的: ある読者は、ハイチにおける歴史的な結果を引き合いに出し、そのような介入の有効性に対して懐疑的な見解を表明した。 コメント ↗
Hacker Newsのスレッドで出た意見の要約です。事実として検証されたものではありません。 議論の全文を読む ↗