Robot.txt Distribuzione dell'utilizzo nel Salvador

Distribuzione per siti web che utilizzano Robot.txt tecnologie

Tecnologia	Siti web	%
Google AdsBot Disallow	423	11,69
Googlebot Disallow	336	9,28
Google AdsBot Mobile Disallow	325	8,98
Robots Disallow	312 ^*	8,62
GPTBot Disallow	138	3,81
AppleBot Disallow	135	3,73
Ahrefs Bot Disallow	134	3,7
Anthropic Claude Bot Disallow	125	3,45
Google Media Partners Disallow	124 ^*	3,43
Google Bard Disallow	124	3,43
Common Crawl Bot Disallow	123	3,4
Apple AI Bot Disallow	123	3,4
Facebook Bot Disallow	118	3,26
Perplexity	117	3,23
Cohere AI Disallow	112	3,09
Baidu Bot Disallow	85	2,35
Microsoft BingBot Disallow	82	2,27
Yandex Bot Disallow	82	2,27
Google AdsBot Mobile Apps Disallow	82	2,27
Sogou Bot Disallow	78	2,15
Yahoo Slurp Disallow	76	2,1
Some Robots Disallow	68	1,88
Alexa Bot Disallow	63	1,74
Soso Bot Disallow	58	1,6
LLMS Text	37	1,02
Semrush Bot Disallow	28	0,77
Majestic Bot Disallow	27	0,75
ByteDance Bytespider Disallow	16	0,44
Microsoft MSNBot Disallow	15	0,41
Webz Omgili Disallow	9	0,25
Google Image Bot Disallow	9	0,25
Exalead Bot Disallow	7	0,19
Diffbot Disallow	6	0,17
YOU Disallow	6	0,17
DuckDuckGo Bot Disallow	3	0,08
Google Video Bot Disallow	3	0,08
Google News Bot Disallow	3	0,08
Google API Bot Disallow	3	0,08
360 Bot Disallow	2	0,06
Pipl Disallow	2	0,06
BuiltWithBot Disallow	1	0,03