Mercorによる研究は、アメリカの労働範囲と人工知能を評価するために使用される指標との間に、大幅な不一致があることを示唆しています。この研究によると、米国の労働時間の約90%は、既存のAIベンチマークにおいてほとんど、あるいは全くカバーされていないタスクに費やされています。この乖離は、AIモデルが特定の能力についてテストされている一方で、それらのテストが労働力の大部分によって行われる実際の日常業務を代表していない可能性があることを示唆しています。また、この研究では、AIへの露出を制御した場合でも、高賃金の職業のタスクがベンチマークのプロンプトにおいて著しく過剰に代表されていることが指摘されており、これは一般的な労働よりも高価値な役割の自動化に焦点が当てられている可能性を示しています。

この乖離には、専門的な仕事の性質や現在のテスト手法の限界など、いくつかの要因が寄与しています。一部の観察者は、ソーシャルワークや精神医学など、多くの専門的な役割には、一連のプロンプトでは定量化や複製が困難な複雑な人間関係が含まれていると指摘しています。他の人々は、AIベンチマークがしばしば問題を「解決する」能力に焦点を当てているのに対し、現実世界の仕事の重要な構成要素はエラーを検出し修正する能力であると示唆しています。さらに、このデータはO*NET（職業分類のデータベース）に依存していますが、一部の批評家は、これが時代遅れであり、テック、金融、コンサルティングなどの分野における現代のホワイトカラーの役割を正確に捉えられていないと主張しています。

この乖離の実践的な影響は、職場における生産性と自動化がどのように認識されるかに関わります。一部の論者は、多くの業界における「ボトルネック」はタスクの実行ではなく、その後のレビュー、フィードバック、および承認プロセスであり、これらは依然として人間中心のものであると主張しています。他の人々は、コーディングのような特定のタスクがAIを通じてより効率的になるにつれて、労働者が会議やプロジェクト管理などの自動化されない管理上のオーバーヘッドに不釣り合いな量の時間を費やすようになるという「コスト病」の効果を観察しています。これらの視点は、AIの影響が単なるタスクの置き換えよりも微妙である可能性を示唆しており、残された人間の仕事は、自動化システムによって生み出される出力や複雑性を管理することへとシフトする可能性があることを示しています。