AnthropicのProject Glasswing、脆弱性の修正とトリアージにおいて課題に直面

AnthropicのProject Glasswingは、数千件の高およびクリティカルな重要度の脆弱性を特定することを目的としていたが、プロジェクトに帰属する442件のCVEのうち、これまでに野外で悪用されたのはわずか2件であった。これは0.45%の悪用率を意味しており、プロジェクトの初期の発表内容と比較して、その発見結果の実質的な影響について疑問を投げかけている。

この画像は、プロジェクトに帰属する442件のCVEの低い悪用率（0.45%）を説明している。

この画像は、プロジェクトに帰属する442件のCVEに関する議論をサポートしている。

発見と修正の間の乖離

Project Glasswingは、数千件の高重要度脆弱性を責任を持って開示することを目的に2026年4月に開始された。しかし、現在のデータは発見と実際の修正の間の乖離が拡大していることを示している。Anthropicによって報告された37,966件の発見のうち、発見から公開された修正へと移行したのはごく一部に過ぎない。

HN Digestによる図表（vulncheck.comの報告数に基づく。数値はソースの記載通り）。

9月から11月の間に、プロジェクトの台帳は約12,000件の発見を増加させたが、記録された新しい修正はわずか15件であった。この同じ期間中、重複としてマークされた発見の数は2件から1,600件以上に増加しており、多くの発見が他者によって特定されているか、あるいは重複していることを示唆している。

この画像は、台帳データに記載されている発見と修正の間の拡大する乖離を視覚化している。

「2ヶ月間で、Anthropicは約12,000件の発見を追加したが、修正されたのはわずか15件であった。」

— After 7-months, Glasswing Overwelms Maintainers with Underwhelming Findings | Blog | VulnCheck

オープンソース・メンテナへの影響

人間による検証のボトルネックを管理するため、Anthropicはプロジェクトがセルフサービスによるトリアージを選択できるOSS Scannerを公開した。これにより、モデルによって生成された報告の検証負担は、影響を受けるソフトウェアのメンテナに直接転嫁されることになる。

'curl'プロジェクトによる実世界でのテストは、この負担を浮き彫りにしている。スキャナーによって公開された34件の報告のうち、19件は脆弱性ではないと判断され、6件は低重要度であることが確認された。この高い誤検知率は、メンテナに対して、大きな影響をもたらさない報告のトリアージに多大なリソースを費やすことを強いることになる。

この画像は、'curl'プロジェクトによるOSS Scannerの検証に関する視覚的な文脈を提供している。

重要度と正確性の不一致

Anthropicのモデルが脆弱性を評価する方法と、メンテナがそれらを認識する方法の間には、顕著な不一致がある。過去数ヶ月間、Claudeは台帳の発見の91.5%をクリティカルまたは高重要度と評価したが、メンテナはそれらの発見のうちわずか51.3%を同じ重要度レベルとして評価した。

さらに、Anthropicが主張する真陽性率は94.2%に上昇した一方で、取り下げられた発見や重複する発見が同時に増加していることは、「真陽性」の計算方法における潜在的なフィードバックループを示唆している。まだ公開されていない80%の発見が、修正の欠如、妥当性の欠如、あるいはその他の要因によって保留されているのかは依然として不明である。