ملف robots.txt توزيع الاستخدام في سانت هيلينا

أعلى في ملف robots.txt توزيع الاستخدام في سانت هيلينا

تكنولوجيا	المواقع الالكترونية	%
Googlebot Disallow	1,888	14.05
Baidu Bot Disallow	1,815	13.5
Sogou Bot Disallow	1,795	13.36
Some Robots Disallow	1,509	11.23
Robots Disallow	1,315	9.78
Yahoo Slurp Disallow	766	5.7
Alexa Bot Disallow	542	32.05
Yandex Bot Disallow	540	4.02
Microsoft BingBot Disallow	536	3.99
Soso Bot Disallow	522	3.88
Google Media Partners Disallow	286 *	2.13
GPTBot Disallow	169	9.99
Ahrefs Bot Disallow	139	1.03
Google AdsBot Disallow	122	0.91
Google Bard Disallow	118	6.98
Common Crawl Bot Disallow	113	6.68
Anthropic Claude Bot Disallow	106	6.27
Majestic Bot Disallow	101	0.75
AppleBot Disallow	100	0.74
Semrush Bot Disallow	100	0.74
Facebook Bot Disallow	99	5.85
Apple AI Bot Disallow	89	5.26
Perplexity	75	4.44
Cohere AI Disallow	74	4.38
Webz Omgili Disallow	74	4.38
ByteDance Bytespider Disallow	66	3.9
Google AdsBot Mobile Disallow	64	0.48
Diffbot Disallow	53	3.13
YOU Disallow	44	2.6
Google AdsBot Mobile Apps Disallow	36	0.27
Microsoft MSNBot Disallow	27	0.2
Google Image Bot Disallow	23	0.17
360 Bot Disallow	17	0.13
Pipl Disallow	16	0.12
Google News Bot Disallow	15	0.11
DuckDuckGo Bot Disallow	14	0.1
Google Video Bot Disallow	14	0.1
Exalead Bot Disallow	12	0.09
Google Favicon Disallow	12	0.09
Google API Bot Disallow	11	0.08
Google DuplexWeb Disallow	11	0.08
LLMS Text	7	0.05
BuiltWithBot Disallow	4	0.03
Youdao Bot Disallow	1	0.01

13,440 الكشف

ل ملف robots.txt في سانت هيلينا. آخر تحديث 15th ذو القعدة 2025.

Googlebot Disallow هي حاليًا التكنولوجيا الأكثر شيوعًا في هذه الفئة.