Archivo robots.txt Distribución de uso En la Isla de Man

Arriba en Archivo robots.txt Distribución de uso En la Isla de Man

Tecnología	Sitios web	%
Yandex Bot Disallow	3.391	11,27
Googlebot Disallow	2.848	9,47
Baidu Bot Disallow	2.754	9,15
Sogou Bot Disallow	2.679	8,9
Microsoft BingBot Disallow	2.571	8,54
Yahoo Slurp Disallow	2.499	8,31
Some Robots Disallow	1.734	5,76
Soso Bot Disallow	1.383	4,6
Alexa Bot Disallow	1.298	4,31
GPTBot Disallow	1.104	3,67
Anthropic Claude Bot Disallow	1.059	3,52
Common Crawl Bot Disallow	1.049	3,49
Google Bard Disallow	1.048	3,48
Semrush Bot Disallow	1.024	3,4
Majestic Bot Disallow	1.021	3,39
Google AdsBot Disallow	487	1,62
Ahrefs Bot Disallow	431	1,43
Robots Disallow	416 *	1,38
Google Media Partners Disallow	160 *	0,53
Google AdsBot Mobile Disallow	149	0,5
AppleBot Disallow	149	0,5
Apple AI Bot Disallow	119	0,4
Facebook Bot Disallow	116	0,39
Perplexity	86	0,29
Cohere AI Disallow	81	0,27
ByteDance Bytespider Disallow	60	0,2
Webz Omgili Disallow	58	0,19
Google AdsBot Mobile Apps Disallow	41	0,14
Microsoft MSNBot Disallow	39	0,13
360 Bot Disallow	34	0,11
Diffbot Disallow	30	0,1
Google Image Bot Disallow	24	0,08
YOU Disallow	23	0,08
Exalead Bot Disallow	20	0,07
DuckDuckGo Bot Disallow	14	0,05
Pipl Disallow	14	0,05
Google Video Bot Disallow	11	0,04
Google News Bot Disallow	11	0,04
Google API Bot Disallow	11	0,04
Google Favicon Disallow	10	0,03
Google DuplexWeb Disallow	10	0,03
LLMS Text	9	0,03
Google FeedFetcher Disallow	4	0,01
BuiltWithBot Disallow	3	0,01
Youdao Bot Disallow	2	0,01
Anthropic Claude User Bot Disallow	1	0
Anthropic Claude Search Bot Disallow	1	0
Google Read Aloud Disallow	1	0
Google BIG Bench Disallow	1	0

30.088 Detecciones

de Archivo robots.txt En la Isla de Man. Última actualización 01st jul. 2025.

Yandex Bot Disallow Actualmente es la tecnología más popular en esta categoría.