ロボット.txt 使用分布 インターネット全体で

トップイン ロボット.txt 使用分布 インターネット全体で

テクノロジー	ウェブサイト	%
Some Robots Disallow	39,138,226	21
Googlebot Disallow	14,319,434	7.68
Baidu Bot Disallow	12,150,021	6.52
Sogou Bot Disallow	11,417,894	6.13
Google Media Partners Disallow	11,121,112	5.97
Google AdsBot Disallow	8,717,405	4.68
Yandex Bot Disallow	7,621,222	4.09
Microsoft BingBot Disallow	7,440,345	3.99
Google AdsBot Mobile Disallow	7,269,025	3.9
Yahoo Slurp Disallow	6,865,301	3.68
Robots Disallow	6,726,342	3.61
Alexa Bot Disallow	5,463,520	2.93
Soso Bot Disallow	5,158,515	2.77
Ahrefs Bot Disallow	4,496,845	2.41
GPTBot Disallow	3,486,969	1.87
AppleBot Disallow	3,386,826	1.82
Common Crawl Bot Disallow	3,348,702	1.8
Anthropic Claude Bot Disallow	3,192,382	1.71
Google Bard Disallow	3,048,904	1.64
Facebook Bot Disallow	3,010,549	1.62
Cohere AI Disallow	2,911,243	1.56
Apple AI Bot Disallow	2,884,255	1.55
Perplexity	2,827,248	1.52
Google AdsBot Mobile Apps Disallow	2,383,506	1.28
Majestic Bot Disallow	2,236,423	1.2
Semrush Bot Disallow	1,988,371	1.07
ByteDance Bytespider Disallow	725,293	0.39
Exalead Bot Disallow	465,941	0.25
Microsoft MSNBot Disallow	411,879	0.22
Webz Omgili Disallow	406,407	0.22
Google Image Bot Disallow	320,095	0.17
360 Bot Disallow	317,543	0.17
Diffbot Disallow	226,377	0.12
BuiltWithBot Disallow	167,065	0.09
DuckDuckGo Bot Disallow	140,391	0.08
YOU Disallow	131,745	0.07
Google News Bot Disallow	92,263	0.05
Google Video Bot Disallow	90,809	0.05
Youdao Bot Disallow	76,504	0.04
Google Favicon Disallow	75,282	0.04
Google API Bot Disallow	51,425	0.03
Google DuplexWeb Disallow	47,315	0.03
Pipl Disallow	20,841	0.01
Google Read Aloud Disallow	4,255	0
Google FeedFetcher Disallow	3,852	0
LLMS Text	2,382	0
Google Web Light Disallow	714	0
Google BIG Bench Disallow	28	0

186,388,991 検出

の ロボット.txt インターネット全体で. 最終更新日 13th 5 2025.

Google Media Partners Disallow 現在、このカテゴリーで最も人気のあるテクノロジーです。