AIスクレイピング：ウェブサイト・ブロックを無視したパープレクシティに対する衝撃的な告発
2025-08-05 13:15
BitcoinWorld AIスクレイピング：ウェブサイトブロックを無視したPerplexityに対する衝撃的な告発 データが王である、進化し続けるデジタルランドスケープでは、AI企業が重要なトレーニング材料をどのように取得するかをめぐる嵐が吹き荒れている。暗号通貨の分散型理念とデジタル所有権の原則に深く投資している人々にとって、AIのスクレイピング慣行をめぐる最新の暴露は特に気になるものだ。会話型AIで知られるAIスタートアップのPerplexityは、インターネットインフラ大手のCloudflareから、意図的にウェブサイトの環境設定を回避し、無許可のデータ収集に関与していると非難されている。この論争は、AIのイノベーションとコンテンツ制作者の基本的権利の間の重大な衝突を浮き彫りにしている。CloudflareのPerplexity AIに対する疑惑を解き明かす 著名なインターネット・セキュリティおよびインフラストラクチャ・プロバイダーであるCloudflareは最近、詳細なレポートを発表し、AIスタートアップのPerplexity AIが、コンテンツのスクレイピングを防止するためのウェブサイトからの明示的な指示を組織的に無視していると非難した。Cloudflareの調査では、Perplexityがその正体を隠すために多大な労力を費やし、robots.txtのような確立されたウェブ標準を迂回したとされている。このウェブ標準は、クローラーにサイトのどの部分にアクセスできるか、またはアクセスできないかを伝えるシンプルなファイルで、自動化されたボットにとってデジタルな「立ち入り禁止」の標識の役割を果たす。Cloudflareの観測は、数万のドメインと毎日数百万のリクエストに及んでおり、広範な行動パターンを示している。PerplexityがCloudflareのブロッキング対策を回避したとされる方法 Cloudflareの調査結果によると、Perplexityがコンテンツ制限を回避するために採用した方法は、高度で意図的なものでした。Cloudflareは、このAIスタートアップがクローリングとスクレイピング活動を隠そうとしていることを確認しました。確認された主な手口は以下の通りです：ユーザーエージェントの操作：Perplexityのボットは、訪問者のデバイスとブラウザの種類を識別するデジタル署名である「ユーザーエージェント」を変更したと言われています。宣言されたクローラーがブロックされると、彼らはmacOS上のGoogle Chromeのような一般的なブラウザになりすましたと報告されています。自律システムネットワーク（ASN）の変更：このスタートアップは、インターネット上の大規模なネットワークを識別する固有の番号であるASN（Autonomous System Network）を変更したことでも告発されている。これは、インターネット上の大規模なネットワークを識別する一意の番号である。これにより、ネットワーク・オリジンに基づく活動の追跡やブロックが困難になる。アイデンティティの隠蔽：Cloudflareの研究者は、Perplexityがアイデンティティの隠蔽に努めていることを指摘し、ウェブサイトのプリファレンスを回避し、検出を回避する明確な意図があることを示唆しました。これらの行為が事実であれば、ウェブサイトの所有者がコンテンツを管理するために使用するメカニズムに対する直接的な挑戦であり、Cloudflareのブロッキングの取り組みはデジタル自治にとって極めて重要です。Perplexityの対応却下と否定 このような深刻な申し立てに対し、Perplexityは却下的ではあるが、迅速な反論を行った。Perplexityの広報担当者であるJesse Dwyer氏は、Cloudflareの詳細なブログ投稿を単なる「売り込み」だと評した。ドワイヤーはさらに、Cloudflareの報告書で提供されたスクリーンショットは「コンテンツにアクセスされていない」ことを示していると主張し、その後のフォローアップで、Cloudflareが名指しした特定のボットは「我々のものでもない」と主張し、物議を醸している。この対照的な説明によって、技術コミュニティは告発の真相とAI開発者の倫理的責任について議論している。AIトレーニングにおけるRobots.txt Bypassの重要な役割 この論争の核心は、Robots.txt Bypassの疑惑にある。ウェブサイトはrobots.txtファイルを使って、ウェブクローラーに自分の好みを伝えている。法的拘束力はないが、インターネットコミュニティでは広く受け入れられている倫理基準だ。PerplexityのようなAI企業がこれらの明確な指示を無視したとされる場合、生成的AIの時代におけるデータ倫理と知的財産権に関する根本的な疑問が生じる。AIモデルは学習のために膨大な量のデータを必要とし、無許可のスクレイピングはコンテンツの創造と所有権の根幹を損ない、出版社や個人クリエイターの経済モデルを脅かす。この継続的な課題には、強固なソリューションと、責任あるAI開発のための明確な枠組みが必要です。デジタル資産の保護データ・プライバシーAIの未来 クラウドフレアの無許可のデータ・プライバシーAIのスクレイピングに対する強い姿勢は、インターネット全体の懸念の高まりを反映しています。同社はPerplexityのボットを検証済みリストから除外しただけでなく、ボットをブロックするための新たな技術も開発しています。Cloudflareは、防御的な対策にとどまらず、コンテンツ制作者に力を与えるソリューションを積極的に追求しています：AIスクレイパー・マーケットプレイス：Cloudflareは最近、ウェブサイトのオーナーがAIスクレイパーにコンテンツへのアクセス料を請求できるマーケットプレイスを立ち上げました。無料のボット防止ツール：昨年、ボットが許可なくAIのトレーニング目的でウェブサイトをスクレイピングすることを防止するために特別に設計された無料のツールを発表した。クラウドフレアのマシュー・プリンス最高経営責任者（CEO）は、AIが「インターネットのビジネスモデルを壊している」と公然と懸念を表明している。この継続的な戦いは、AIデータ取得のための明確なガイドラインと強制力のある基準の緊急の必要性を強調している。パープレクシティに対する盗作告発のパターン パープレクシティがデータ取得と帰属の慣行に関する告発に直面したのは今回が初めてではない。昨年、Wiredを含む著名な報道機関が、Perplexityが適切な引用や許可を得ずにコンテンツを複製し、盗用していると主張した。さらに、PerplexityのCEOであるAravind Srinivasは、Disrupt 2024カンファレンスでのインタビューで、盗作に対する同社のスタンスを定義するのに苦労した。このように繰り返される事件は、複雑な倫理的状況をナビゲートするAIスタートアップの姿を描いており、コンテンツの使用や帰属に関する確立された規範としばしば対立している。CloudflareとPerplexityの間で進行中の紛争は、AIとインターネットの進化における極めて重要な瞬間を強調している。AIモデルがますます洗練され、データを大量に消費するようになるにつれ、コンテンツ取得をめぐる倫理的な境界線は曖昧になりつつある。コンテンツ制作者、パブリッシャー、そしてデジタル所有権を重視するすべての人々にとって、自分のデータがどのように使用されるかをコントロールする能力は最も重要である。今回の事件は、AIがイノベーションを約束する一方で、知的財産やユーザーの嗜好を尊重する枠組みの中で運用されなければならないことを痛感させるものだ。このような紛争の結果は、間違いなくAI開発の将来とオープンウェブの構造そのものを形作るだろう。最新のAI倫理の動向については、AIモデルの特徴を形成する主要な開発についての記事をご覧ください。この投稿 AIスクレイピング：ウェブサイトブロックを無視したPerplexityに対する衝撃的な告発はBitcoinWorldに最初に掲載され、編集チームによって書かれました。
