Robots.txt 使用分布 瓦利斯和富图纳群岛

排名靠前 Robots.txt 使用分布 瓦利斯和富图纳群岛

技术	网站	%
Robots Disallow	90	13.29
Googlebot Disallow	72	10.64
Baidu Bot Disallow	72	10.64
Sogou Bot Disallow	69	10.19
Alexa Bot Disallow	63	9.31
Yahoo Slurp Disallow	59	8.71
Soso Bot Disallow	59	8.71
Yandex Bot Disallow	58	8.57
Microsoft BingBot Disallow	57	8.42
Google Media Partners Disallow	16 *	2.36
Ahrefs Bot Disallow	6	0.89
GPTBot Disallow	5	0.74
Semrush Bot Disallow	5	0.74
Microsoft MSNBot Disallow	4	0.59
Common Crawl Bot Disallow	3	0.44
Anthropic Claude Bot Disallow	3	0.44
Google Bard Disallow	3	0.44
Perplexity	3	0.44
Majestic Bot Disallow	3	0.44
ByteDance Bytespider Disallow	3	0.44
Webz Omgili Disallow	3	0.44
AppleBot Disallow	2	0.3
Facebook Bot Disallow	2	0.3
Apple AI Bot Disallow	2	0.3
Google Image Bot Disallow	2	0.3
Diffbot Disallow	2	0.3
Cohere AI Disallow	1	0.15
Google AdsBot Mobile Apps Disallow	1	0.15
Exalead Bot Disallow	1	0.15
DuckDuckGo Bot Disallow	1	0.15
YOU Disallow	1	0.15
Google News Bot Disallow	1	0.15
Google Video Bot Disallow	1	0.15
Youdao Bot Disallow	1	0.15
Google Favicon Disallow	1	0.15
Google API Bot Disallow	1	0.15
Google DuplexWeb Disallow	1	0.15

677 检测

的 Robots.txt 瓦利斯和富图纳群岛. 上次更新 13th 5月 2025.

Robots Disallow 是目前该类别中最流行的技术。