企業系AIスクレイパーによる家庭ネットワークの飽和に伴うセルフホスティングの課題

あるセルフホスティング愛好家は、企業のAIスクレイパーによる「憂鬱な」現状から逃れるため、自身の写真作品をウェブから物理的なジンへと移行することを計画している。著者は、AzureやAlibabaといった大手クラウドプロバイダーを源泉とするこれらのスクレイパーが、大規模言語モデル（LLM）にデータを供給するために、自宅のアップロード帯域を飽和させていると報告している。

LLMスクレイパーの影響

著者は、セルフホスティングの体験が、システム管理を学ぶ喜びから「LLMスクレイパー」に対処する不満へと変化していると述べている。これらの自動システムは、AIトレーニングのためのデータを収集するために著者のサイトにアクセスし、しばしば家庭ネットワークのアップロード容量を飽和させる。

一部のスクレイパーはSDKを介して住宅用IP範囲を使用しており、これらは実際のユーザーに影響を与えずにブロックすることが困難であるが、問題のあるトラフィックの大部分は、少数の大規模なクラウド割り当て/16 IP範囲から発生していた。

「自分の時間が、最終的にあの機械に餌を与えるために費やされることは望んでいない。」

— Running web sites makes me not want to - Lowkey Party

技術的な緩和策

このトラフィックから防御するために、著者は`nftables`と`nft-blackhole`を利用して、既知のクラウドプロバイダーのIP範囲からの接続をドロップした。これらのツールは、ファイアウォールレベルでネットワークトラフィックを細かくフィルタリングすることを可能にする。

これらの努力にもかかわらず、著者は、膨大な量の「合法的な」スクレイピングがあるため、高度な技術スキルを持つか、あるいは大企業にContent Delivery Network（CDN）を提供してもらうための費用を支払わない限り、ウェブサイトを維持することは困難であると指摘している。

物理メディアへの移行

「企業の技術的な過剰介入」により、著者は自身の写真ウェブサイトを完全に削除することを検討している。その目標は、物理的なジンを販売することに移行し、作品が「創造性の質の低い模倣品」を生成する機械に供給されるのではなく、物理的な世界にとどまるようにすることである。

この動きはトレードオフを意味する。物理的な商品を制作・配布するにはより多くの手作業が必要になるが、自動的なデータ収集に対する防御の負担を取り除くことができる。著者はこれを、現在のウェブの状態における「救い」と捉えている。