一部のロボットによるウェブサイトのインデックス作成をブロックします。ただし、すべてのロボットをブロックするわけではありません。
https://robotstxt.org
ロボット.txt
データにアクセスする 63,578,813 ウェブサイト それは Some Robots Disallow 顧客. 私たちは知っている 10,759,718 ライブウェブサイト 使用して Some Robots Disallow そして追加の 52,819,095 使用したサイト Some Robots Disallow 歴史的に そして 6,582,545 ウェブサイト アメリカ合衆国
これはチャートから除外されたテクノロジーです。 一般的なロボットはルールを許可しません。
18,145,897 ライブサイト
12,568,342 ライブサイト
11,856,471 ライブサイト
297,992 ライブサイト
286,720 ライブサイト
12,739,715 ライブサイト
12,495,810 ライブサイト
312,516 ライブサイト
4,719,358 ライブサイト
26,459 ライブサイト
12,003,031 ライブサイト
4,299,023 ライブサイト
84,870 ライブサイト
181,817 ライブサイト
12,010 ライブサイト
11,796,610 ライブサイト
8,297,265 ライブサイト
8,906,110 ライブサイト
270,110 ライブサイト
51,290 ライブサイト
54,616 ライブサイト
1,371 ライブサイト
3,444 ライブサイト
5,177 ライブサイト
7,468 ライブサイト
36,783 ライブサイト
529 ライブサイト
1,335,258 ライブサイト
1,417,242 ライブサイト
1,856,245 ライブサイト
リストを取得する 10,827,923 使用中のウェブサイト Some Robots Disallow これには、位置情報、ホスティング データ、連絡先の詳細が含まれます。 リストには以下が含まれます 10,759,718 ライブウェブサイト そして 68,205 それらのサイトにリダイレクトするウェブサイト。 6,582,545 これらのサイトのうち アメリカ合衆国.
我々はまた、 52,819,095 使用したサイト Some Robots Disallow 以前.