Shoal Research：ボットがHTMLリクエストの約60%を占める

調査機関Shoal Researchが発表したレポートによると、Cloudflareネットワーク上のHTMLコンテンツのHTTPリクエストの約60%をボットが占め、人間は38.2%を占めています。CloudflareのCEOであるMatthew Prince氏は以前、2027年までにボットトラフィックが人間のトラフィックを上回ると予測していましたが、その後、エージェントトラフィックの増加により、ボットが人間のトラフィックをすでに上回っていると発表しました。レポートによると、AIアプリケーションはユーザーをチャットインターフェースに留め、コンテンツを要約する一方で、元のサイトに誘導することはありません。AIクローラーのクロール対リターン比率はGooglebotよりもはるかに高く、ClaudeBotは過去1年間で平均して1回のリターン訪問あたり約4,200ページをクロールしています。Pewの調査によると、AI要約によりクリック率は15%から8%に低下しています。robots.txtとコンテンツ交換トラフィックモデルは維持が困難です。訴訟やプライベート認証は一時的な対策です。リクエストごとの支払いは、キーを使用したクローズドマーケットと、HTTP 402とx402やMPPなどのステーブルコインを使用したオープンプロトコルに分かれています。ほとんどのウェブサイトは依然として無料アクセスを提供するか、ブロックしています。