ロボット.txt 使用分布 アメリカ領ヴァージン諸島

トップイン ロボット.txt 使用分布 アメリカ領ヴァージン諸島

テクノロジー	ウェブサイト	%
Anthropic Claude Bot Disallow	148	7.75
GPTBot Disallow	144	7.54
AppleBot Disallow	142	7.43
Common Crawl Bot Disallow	142	7.43
Facebook Bot Disallow	141	7.38
Google Bard Disallow	140	7.33
Apple AI Bot Disallow	137	7.17
Cohere AI Disallow	134	7.02
Perplexity	133	6.96
Google AdsBot Mobile Apps Disallow	103	5.39
Robots Disallow	91 *	4.76
Ahrefs Bot Disallow	89	4.66
Baidu Bot Disallow	52	2.72
Yandex Bot Disallow	35	1.83
Some Robots Disallow	33	1.73
Sogou Bot Disallow	33	1.73
Yahoo Slurp Disallow	29	1.52
Alexa Bot Disallow	28	1.47
Majestic Bot Disallow	27	1.41
Semrush Bot Disallow	25	1.31
Microsoft BingBot Disallow	23	1.2
Soso Bot Disallow	21	1.1
Google Media Partners Disallow	18 *	0.94
ByteDance Bytespider Disallow	7	0.37
Microsoft MSNBot Disallow	7	0.37
Google Image Bot Disallow	6	0.31
Exalead Bot Disallow	5	0.26
Webz Omgili Disallow	5	0.26
360 Bot Disallow	3	0.16
Diffbot Disallow	2	0.1
BuiltWithBot Disallow	2	0.1
YOU Disallow	1	0.05
Google Video Bot Disallow	1	0.05
Google News Bot Disallow	1	0.05
Google Favicon Disallow	1	0.05
Pipl Disallow	1	0.05

1,910 検出

の ロボット.txt アメリカ領ヴァージン諸島. 最終更新日 07th 6 2025.

Anthropic Claude Bot Disallow 現在、このカテゴリーで最も人気のあるテクノロジーです。