ملف robots.txt توزيع الاستخدام في المكسيك

أعلى في ملف robots.txt توزيع الاستخدام في المكسيك

تكنولوجيا	المواقع الالكترونية	%
Google AdsBot Disallow	40,360	14.89
Googlebot Disallow	32,312	11.92
Google AdsBot Mobile Disallow	26,039	9.61
Ahrefs Bot Disallow	18,121	6.69
Robots Disallow	11,117	4.1
Baidu Bot Disallow	10,274	3.79
Anthropic Claude Bot Disallow	10,027	3.7
Sogou Bot Disallow	9,216	3.4
Yahoo Slurp Disallow	8,405	3.1
GPTBot Disallow	7,581	2.8
Alexa Bot Disallow	7,515	2.77
Yandex Bot Disallow	7,137	2.63
Soso Bot Disallow	7,012	2.59
AppleBot Disallow	6,976	2.57
Microsoft BingBot Disallow	6,953	2.57
Common Crawl Bot Disallow	6,949	2.56
Google Bard Disallow	6,775	2.5
Facebook Bot Disallow	6,694	2.47
Apple AI Bot Disallow	6,617	2.44
Perplexity	6,550	2.42
Cohere AI Disallow	6,482	2.39
Google AdsBot Mobile Apps Disallow	5,514	2.03
Some Robots Disallow	4,885	1.8
Semrush Bot Disallow	2,714	1
Google Media Partners Disallow	1,906 *	0.7
Majestic Bot Disallow	1,661	0.61
Google Image Bot Disallow	1,012	0.37
Microsoft MSNBot Disallow	817	0.3
Webz Omgili Disallow	597	0.22
ByteDance Bytespider Disallow	584	0.22
Diffbot Disallow	388	0.14
Exalead Bot Disallow	347	0.13
YOU Disallow	342	0.13
DuckDuckGo Bot Disallow	324	0.12
360 Bot Disallow	143	0.05
Google News Bot Disallow	138	0.05
Google Video Bot Disallow	108	0.04
Youdao Bot Disallow	91	0.03
Google API Bot Disallow	91	0.03
Google DuplexWeb Disallow	91	0.03
Google Favicon Disallow	70	0.03
Pipl Disallow	50	0.02
BuiltWithBot Disallow	48	0.02
Google Read Aloud Disallow	8	0
Google FeedFetcher Disallow	8	0
Google Web Light Disallow	6	0

271,055 الكشف

ل ملف robots.txt في المكسيك. آخر تحديث 15th ذو القعدة 2025.

Google AdsBot Disallow هي حاليًا التكنولوجيا الأكثر شيوعًا في هذه الفئة.