人工智能机器人 使用分布 跻身前 100 万个网站之列

排名靠前 人工智能机器人 使用分布 跻身前 100 万个网站之列

技术	网站	%
GPTBot Disallow	39,657	3.97
Common Crawl Bot Disallow	28,554	2.86
Anthropic Claude Bot Disallow	27,879	2.79
Google Bard Disallow	21,872	2.19
AmazonBot Disallow	21,709	2.17
Alexa Bot Disallow	19,335	1.93
ByteDance Bytespider Disallow	16,975	1.7
Perplexity	15,862	1.59
Facebook Bot Disallow	15,855	1.59
Apple AI Bot Disallow	13,858	1.39
Cohere AI Disallow	11,240	1.12
Webz Omgili Disallow	11,186	1.12
Diffbot Disallow	7,809	0.78
YOU Disallow	6,650	0.66
Anthropic Claude User Bot Disallow	2,719	0.27

261,160 Detections

的 人工智能机器人 跻身前 100 万个网站之列. 上次更新 01st 7月 2025.

GPTBot Disallow 是目前该类别中最流行的技术.