Archivo robots.txt Distribución de uso En los Países Bajos

Arriba en Archivo robots.txt Distribución de uso En los Países Bajos

Tecnología	Sitios web	%
Googlebot Disallow	127.892	10,69
Google AdsBot Disallow	84.024	7,02
Microsoft BingBot Disallow	72.572	6,06
Baidu Bot Disallow	68.895	5,76
Yandex Bot Disallow	68.112	5,69
Google AdsBot Mobile Disallow	59.489	4,97
Sogou Bot Disallow	57.832	4,83
Yahoo Slurp Disallow	54.184	4,53
Majestic Bot Disallow	53.297	4,45
Robots Disallow	52.480 *	4,39
Ahrefs Bot Disallow	50.702	4,24
Some Robots Disallow	46.587	3,89
GPTBot Disallow	31.051	2,59
AppleBot Disallow	28.628	2,39
Common Crawl Bot Disallow	27.945	2,34
Semrush Bot Disallow	27.830	2,33
Anthropic Claude Bot Disallow	26.049	2,18
Google Bard Disallow	25.534	2,13
Alexa Bot Disallow	24.666	2,06
Facebook Bot Disallow	23.369	1,95
Apple AI Bot Disallow	23.345	1,95
Perplexity	21.879	1,83
Cohere AI Disallow	21.320	1,78
Soso Bot Disallow	21.235	1,77
DuckDuckGo Bot Disallow	20.769	1,74
Google AdsBot Mobile Apps Disallow	12.455	1,04
ByteDance Bytespider Disallow	11.510	0,96
Exalead Bot Disallow	7.798	0,65
Google Image Bot Disallow	6.606	0,55
Microsoft MSNBot Disallow	6.208	0,52
Google Media Partners Disallow	5.841 *	0,49
Webz Omgili Disallow	5.254	0,44
LLMS Text	4.638	0,39
Diffbot Disallow	4.121	0,34
YOU Disallow	3.264	0,27
360 Bot Disallow	2.213	0,18
BuiltWithBot Disallow	1.235	0,1
Google News Bot Disallow	1.168	0,1
Google Video Bot Disallow	1.070	0,09
Google Favicon Disallow	963	0,08
Google API Bot Disallow	864	0,07
Google DuplexWeb Disallow	856	0,07
Pipl Disallow	600	0,05
Anthropic Claude User Bot Disallow	138	0,01
Anthropic Claude Search Bot Disallow	136	0,01
Youdao Bot Disallow	62	0,01
Google FeedFetcher Disallow	37	0
Google Read Aloud Disallow	25	0
Google Web Light Disallow	20	0

1.196.768 Detecciones

de Archivo robots.txt En los Países Bajos. Última actualización 01st jul. 2025.

Googlebot Disallow Actualmente es la tecnología más popular en esta categoría.