Archivo robots.txt Distribución de uso En Nepal

Distribución para sitios web que utilizan Archivo robots.txt Tecnologías

Tecnología	Sitios web	%
Robots Disallow	1.301	22,78
Googlebot Disallow	502	8,79
Baidu Bot Disallow	324	5,67
GPTBot Disallow	299	5,24
Sogou Bot Disallow	273	4,78
Some Robots Disallow	246	4,31
Yahoo Slurp Disallow	240	4,2
Google AdsBot Disallow	212	3,71
Yandex Bot Disallow	203	3,56
Alexa Bot Disallow	188	3,29
Ahrefs Bot Disallow	177	3,1
Soso Bot Disallow	169	2,96
Microsoft BingBot Disallow	168	2,94
Google Media Partners Disallow	127 ^*	2,22
Semrush Bot Disallow	117	2,05
AppleBot Disallow	115	2,01
Google Bard Disallow	114	2
Common Crawl Bot Disallow	113	1,98
Facebook Bot Disallow	111	1,94
Anthropic Claude Bot Disallow	108	1,89
Apple AI Bot Disallow	104	1,82
Majestic Bot Disallow	104	1,82
Perplexity	90	1,58
Cohere AI Disallow	83	1,45
Google AdsBot Mobile Apps Disallow	63	1,1
Webz Omgili Disallow	33	0,58
ByteDance Bytespider Disallow	22	0,39
Microsoft MSNBot Disallow	18	0,32
Diffbot Disallow	14	0,25
Google Image Bot Disallow	13	0,23
Exalead Bot Disallow	11	0,19
DuckDuckGo Bot Disallow	8	0,14
Youdao Bot Disallow	6	0,11
YOU Disallow	5	0,09
Pipl Disallow	5	0,09
360 Bot Disallow	4	0,07
BuiltWithBot Disallow	4	0,07
Google News Bot Disallow	4	0,07
Google Video Bot Disallow	3	0,05
Google API Bot Disallow	3	0,05
Google Favicon Disallow	2	0,04
Google DuplexWeb Disallow	2	0,04
Google FeedFetcher Disallow	1	0,02
LLMS Text	1	0,02