Robot.txt Distribuzione dell'utilizzo nel Canada

Distribuzione per siti web che utilizzano Robot.txt tecnologie

In cima Robot.txt Distribuzione dell'utilizzo nel Canada

Tecnologia	Siti web	%
Google AdsBot Disallow	269.478	11,96
Google AdsBot Mobile Disallow	215.548	9,57
Googlebot Disallow	191.558	8,5
GPTBot Disallow	110.328	4,9
Common Crawl Bot Disallow	102.865	4,57
AppleBot Disallow	102.651	4,56
Anthropic Claude Bot Disallow	102.251	4,54
Google Bard Disallow	101.368	4,5
Facebook Bot Disallow	100.147	4,45
Apple AI Bot Disallow	99.131	4,4
Perplexity	98.816	4,39
Cohere AI Disallow	98.289	4,36
Ahrefs Bot Disallow	71.115	3,16
Google AdsBot Mobile Apps Disallow	67.405	2,99
Baidu Bot Disallow	62.816	2,79
Yandex Bot Disallow	61.460	2,73
Sogou Bot Disallow	56.220	2,5
Microsoft BingBot Disallow	53.529	2,38
Yahoo Slurp Disallow	52.741	2,34
Robots Disallow	46.929 ^*	2,08
Some Robots Disallow	39.483	1,75
Alexa Bot Disallow	31.920	1,42
Soso Bot Disallow	29.219	1,3
Semrush Bot Disallow	19.243	0,85
Majestic Bot Disallow	18.170	0,81
ByteDance Bytespider Disallow	8.269	0,37
Google Media Partners Disallow	6.089 ^*	0,27
Microsoft MSNBot Disallow	5.562	0,25
Google Image Bot Disallow	4.997	0,22
Webz Omgili Disallow	4.673	0,21
Exalead Bot Disallow	3.611	0,16
Diffbot Disallow	3.142	0,14
LLMS Text	2.696	0,12
360 Bot Disallow	1.674	0,07
YOU Disallow	1.601	0,07
Google News Bot Disallow	1.176	0,05
Google Video Bot Disallow	1.053	0,05
Google Favicon Disallow	987	0,04
BuiltWithBot Disallow	869	0,04
DuckDuckGo Bot Disallow	787	0,03
Pipl Disallow	711	0,03
Google API Bot Disallow	389	0,02
Google DuplexWeb Disallow	366	0,02
Anthropic Claude Search Bot Disallow	285	0,01
Anthropic Claude User Bot Disallow	283	0,01
Youdao Bot Disallow	218	0,01
Google Read Aloud Disallow	164	0,01
Google FeedFetcher Disallow	161	0,01
Google Web Light Disallow	146	0,01