人工智能机器人 使用分布 跻身前 100 万个网站之列

排名靠前 人工智能机器人 使用分布 跻身前 100 万个网站之列

技术	网站	%
GPTBot Disallow	38,247	3.82
Common Crawl Bot Disallow	27,097	2.71
Anthropic Claude Bot Disallow	24,783	2.48
AmazonBot Disallow	21,709	2.17
Alexa Bot Disallow	18,867	1.89
Google Bard Disallow	18,736	1.87
Facebook Bot Disallow	15,642	1.56
ByteDance Bytespider Disallow	15,611	1.56
Perplexity	13,909	1.39
Apple AI Bot Disallow	12,507	1.25
Cohere AI Disallow	11,130	1.11
Webz Omgili Disallow	11,077	1.11
Diffbot Disallow	7,694	0.77
YOU Disallow	6,454	0.65
Anthropic Claude User Bot Disallow	828	0.08

244,291 Detections

的 人工智能机器人 跻身前 100 万个网站之列. 上次更新 27th 7月 2025.

GPTBot Disallow 是目前该类别中最流行的技术.