Robot.txt Distribuzione dell'utilizzo nell'Isola di Natale

Distribuzione per siti web che utilizzano Robot.txt tecnologie

Tecnologia	Siti web	%
Googlebot Disallow	932	12,18
Baidu Bot Disallow	888	11,6
Sogou Bot Disallow	865	11,3
Yandex Bot Disallow	826	10,79
Microsoft BingBot Disallow	825	10,78
Yahoo Slurp Disallow	812	10,61
Some Robots Disallow	759	9,92
Google Media Partners Disallow	320 ^*	4,18
Robots Disallow	247 ^*	3,23
Alexa Bot Disallow	187	2,44
Soso Bot Disallow	179	2,34
GPTBot Disallow	83	1,08
Anthropic Claude Bot Disallow	59	0,77
Majestic Bot Disallow	57	0,74
Semrush Bot Disallow	57	0,74
Ahrefs Bot Disallow	54	0,71
AppleBot Disallow	49	0,64
Google Bard Disallow	47	0,61
Common Crawl Bot Disallow	42	0,55
ByteDance Bytespider Disallow	42	0,55
Facebook Bot Disallow	40	0,52
Apple AI Bot Disallow	37	0,48
Perplexity	32	0,42
Webz Omgili Disallow	30	0,39
Cohere AI Disallow	28	0,37
Diffbot Disallow	21	0,27
YOU Disallow	18	0,24
Microsoft MSNBot Disallow	17	0,22
Google AdsBot Mobile Apps Disallow	15	0,2
Exalead Bot Disallow	13	0,17
Google Image Bot Disallow	13	0,17
DuckDuckGo Bot Disallow	9	0,12
Pipl Disallow	8	0,1
Google Video Bot Disallow	7	0,09
Google News Bot Disallow	7	0,09
Google Favicon Disallow	7	0,09
360 Bot Disallow	6	0,08
Google API Bot Disallow	6	0,08
Google DuplexWeb Disallow	6	0,08
Youdao Bot Disallow	3	0,04
LLMS Text	1	0,01
BuiltWithBot Disallow	1	0,01