一部のロボットによるウェブサイトのインデックス作成をブロックします。ただし、すべてのロボットをブロックするわけではありません。
https://robotstxt.org
ロボット.txt
データにアクセスする 60,830,604 ウェブサイト それは Some Robots Disallow 顧客. 私たちは知っている 39,138,226 ライブウェブサイト 使用して Some Robots Disallow そして追加の 21,692,378 使用したサイト Some Robots Disallow 歴史的に そして 596,988 ウェブサイト アメリカ合衆国.
リストを取得する 60,830,604 使用中のウェブサイト Some Robots Disallow 位置情報、ホスティングデータ、連絡先の詳細などが含まれます。 39,138,226 現在公開中のウェブサイト そして追加の 1,058,844 このリスト内のサイトにリダイレクトするドメイン。 21,692,378 以前この技術を使用していたサイトそして 596,988 ウェブサイト アメリカ合衆国 現在使用中 Some Robots Disallow.
国
Financial
Group
Region