Роботы.txt Распределение использования в Кувейте

Вверху Роботы.txt Распределение использования в Кувейте

Технологии	Веб-сайты	%
Google AdsBot Disallow	798	15,69
Ahrefs Bot Disallow	539	10,6
Googlebot Disallow	422	8,3
Google AdsBot Mobile Disallow	415	8,16
Robots Disallow	347	6,82
Common Crawl Bot Disallow	192	12,69
GPTBot Disallow	180	11,9
AppleBot Disallow	180	3,54
Google Bard Disallow	179	11,83
Anthropic Claude Bot Disallow	174	11,5
Facebook Bot Disallow	174	11,5
Perplexity	173	11,43
Apple AI Bot Disallow	171	11,3
Cohere AI Disallow	169	11,17
Google AdsBot Mobile Apps Disallow	153	3,01
Baidu Bot Disallow	116	2,28
Yandex Bot Disallow	86	1,69
Yahoo Slurp Disallow	82	1,61
Some Robots Disallow	80	1,57
Alexa Bot Disallow	73	4,82
Soso Bot Disallow	73	1,44
Microsoft BingBot Disallow	72	1,42
Majestic Bot Disallow	52	1,02
Semrush Bot Disallow	40	0,79
Google Media Partners Disallow	32 *	0,63
Exalead Bot Disallow	20	0,39
Google Image Bot Disallow	19	0,37
Microsoft MSNBot Disallow	15	0,29
360 Bot Disallow	14	0,28
BuiltWithBot Disallow	13	0,26
DuckDuckGo Bot Disallow	8	0,16
ByteDance Bytespider Disallow	7	0,46
Webz Omgili Disallow	7	0,46
Diffbot Disallow	3	0,2
Google News Bot Disallow	3	0,06
Google Video Bot Disallow	3	0,06
Google Favicon Disallow	1	0,02
Google API Bot Disallow	1	0,02
Google DuplexWeb Disallow	1	0,02

5 087 Обнаружения

из Роботы.txt в Кувейте. Последнее обновление 13th май 2025.

Google AdsBot Disallow в настоящее время является самой популярной технологией в этой категории.