ملف robots.txt توزيع الاستخدام في جزر توركس وكايكوس

أعلى في ملف robots.txt توزيع الاستخدام في جزر توركس وكايكوس

تكنولوجيا	المواقع الالكترونية	%
Robots Disallow	81	7.58
Googlebot Disallow	73	6.84
Google AdsBot Disallow	60	5.62
GPTBot Disallow	60	5.62
Common Crawl Bot Disallow	53	4.96
Google Bard Disallow	52	4.87
AppleBot Disallow	51	4.78
Anthropic Claude Bot Disallow	51	4.78
Facebook Bot Disallow	50	4.68
Apple AI Bot Disallow	50	4.68
Perplexity	50	4.68
Cohere AI Disallow	49	4.59
Baidu Bot Disallow	47	4.4
Google AdsBot Mobile Apps Disallow	45	4.21
Some Robots Disallow	44	4.12
Sogou Bot Disallow	42	3.93
Google Media Partners Disallow	32 *	3
Yandex Bot Disallow	29	2.72
Yahoo Slurp Disallow	24	2.25
Alexa Bot Disallow	21	1.97
Microsoft BingBot Disallow	20	1.87
Soso Bot Disallow	19	1.78
Ahrefs Bot Disallow	15	1.4
Majestic Bot Disallow	8	0.75
Semrush Bot Disallow	8	0.75
Microsoft MSNBot Disallow	8	0.75
Google Image Bot Disallow	5	0.47
ByteDance Bytespider Disallow	2	0.19
Exalead Bot Disallow	2	0.19
360 Bot Disallow	2	0.19
DuckDuckGo Bot Disallow	2	0.19
Google News Bot Disallow	2	0.19
Google Video Bot Disallow	2	0.19
Google Favicon Disallow	2	0.19
Google API Bot Disallow	2	0.19
Google DuplexWeb Disallow	2	0.19
Webz Omgili Disallow	1	0.09
BuiltWithBot Disallow	1	0.09
Google FeedFetcher Disallow	1	0.09

1,068 الكشف

ل ملف robots.txt في جزر توركس وكايكوس. آخر تحديث 15th ذو القعدة 2025.

Robots Disallow هي حاليًا التكنولوجيا الأكثر شيوعًا في هذه الفئة.