Robot.txt Distribuzione dell'utilizzo nell'Iraq

Distribuzione per siti web che utilizzano Robot.txt tecnologie

Tecnologia	Siti web	%
Googlebot Disallow	270	17,21
Google AdsBot Disallow	248	15,81
Robots Disallow	191	12,17
Yandex Bot Disallow	114	7,27
Majestic Bot Disallow	113	7,2
Some Robots Disallow	70	4,46
Ahrefs Bot Disallow	68	4,33
Yahoo Slurp Disallow	38	2,42
Alexa Bot Disallow	37	2,36
GPTBot Disallow	35	2,23
AppleBot Disallow	34	2,17
Facebook Bot Disallow	33	2,1
Anthropic Claude Bot Disallow	32	2,04
Google Bard Disallow	32	2,04
Apple AI Bot Disallow	32	2,04
Perplexity	32	2,04
Common Crawl Bot Disallow	31	1,98
Soso Bot Disallow	30	1,91
Cohere AI Disallow	30	1,91
Google AdsBot Mobile Apps Disallow	29	1,85
Semrush Bot Disallow	25	1,59
Google Media Partners Disallow	16 ^*	1,02
Exalead Bot Disallow	5	0,32
Google Image Bot Disallow	5	0,32
ByteDance Bytespider Disallow	3	0,19
Microsoft MSNBot Disallow	3	0,19
Webz Omgili Disallow	2	0,13
Diffbot Disallow	2	0,13
360 Bot Disallow	1	0,06
DuckDuckGo Bot Disallow	1	0,06
YOU Disallow	1	0,06
Google News Bot Disallow	1	0,06
Google Video Bot Disallow	1	0,06
Google Favicon Disallow	1	0,06
Google API Bot Disallow	1	0,06
Google DuplexWeb Disallow	1	0,06
Pipl Disallow	1	0,06