Robot.txt Distribuzione dell'utilizzo a Jersey

Distribuzione per siti web che utilizzano Robot.txt tecnologie

Tecnologia	Siti web	%
Google AdsBot Disallow	275	10,09
GPTBot Disallow	210	7,71
AppleBot Disallow	200	7,34
Google Bard Disallow	197	7,23
Common Crawl Bot Disallow	196	7,19
Perplexity	196	7,19
Anthropic Claude Bot Disallow	193	7,08
Facebook Bot Disallow	191	7,01
Apple AI Bot Disallow	191	7,01
Cohere AI Disallow	191	7,01
Googlebot Disallow	135	4,95
Google AdsBot Mobile Apps Disallow	128	4,7
Baidu Bot Disallow	47	1,72
Yandex Bot Disallow	47	1,72
Microsoft BingBot Disallow	43	1,58
Yahoo Slurp Disallow	42	1,54
Sogou Bot Disallow	40	1,47
Google Media Partners Disallow	36 ^*	1,32
Soso Bot Disallow	33	1,21
Alexa Bot Disallow	32	1,17
Some Robots Disallow	30	1,1
Ahrefs Bot Disallow	20	0,73
Robots Disallow	13 ^*	0,48
Majestic Bot Disallow	9	0,33
Semrush Bot Disallow	6	0,22
Microsoft MSNBot Disallow	4	0,15
Exalead Bot Disallow	3	0,11
Google Image Bot Disallow	3	0,11
ByteDance Bytespider Disallow	2	0,07
Webz Omgili Disallow	2	0,07
Diffbot Disallow	2	0,07
360 Bot Disallow	1	0,04
LLMS Text	1	0,04
YOU Disallow	1	0,04
Youdao Bot Disallow	1	0,04
Google Video Bot Disallow	1	0,04
Google News Bot Disallow	1	0,04
Google Favicon Disallow	1	0,04
Pipl Disallow	1	0,04