Robots.txt Nutzungsverteilung in Somalia

Verteilung für Websites mit Robots.txt Technologien

Technologie	Websites	%
Googlebot Disallow	1.162	15,22
Baidu Bot Disallow	1.108	14,51
Sogou Bot Disallow	1.103	14,45
Some Robots Disallow	825	10,81
Yahoo Slurp Disallow	614	8,04
Alexa Bot Disallow	436	5,71
Soso Bot Disallow	435	5,7
Yandex Bot Disallow	408	5,34
Microsoft BingBot Disallow	390	5,11
Robots Disallow	303	3,97
Google Media Partners Disallow	222 ^*	2,91
Ahrefs Bot Disallow	71	0,93
Majestic Bot Disallow	55	0,72
Google AdsBot Disallow	53	0,69
GPTBot Disallow	53	0,69
Semrush Bot Disallow	50	0,65
Google AdsBot Mobile Disallow	38	0,5
Common Crawl Bot Disallow	34	0,45
Anthropic Claude Bot Disallow	30	0,39
Google Bard Disallow	29	0,38
AppleBot Disallow	27	0,35
Facebook Bot Disallow	27	0,35
Cohere AI Disallow	25	0,33
Perplexity	24	0,31
Apple AI Bot Disallow	23	0,3
Google AdsBot Mobile Apps Disallow	21	0,28
ByteDance Bytespider Disallow	9	0,12
360 Bot Disallow	9	0,12
Webz Omgili Disallow	7	0,09
Google Image Bot Disallow	7	0,09
Microsoft MSNBot Disallow	5	0,07
Exalead Bot Disallow	4	0,05
Diffbot Disallow	4	0,05
LLMS Text	4	0,05
BuiltWithBot Disallow	3	0,04
YOU Disallow	3	0,04
DuckDuckGo Bot Disallow	2	0,03
Google News Bot Disallow	2	0,03
Google Video Bot Disallow	2	0,03
Google Favicon Disallow	2	0,03
Google API Bot Disallow	2	0,03
Google DuplexWeb Disallow	2	0,03
Youdao Bot Disallow	1	0,01
Pipl Disallow	1	0,01