로봇.txt 사용량 분포 ~에 슬로베니아

핀을 꼽는 로봇.txt 사용량 분포 ~에 슬로베니아

기술	웹사이트	%
Google AdsBot Disallow	2,914	13.49
Googlebot Disallow	2,542	11.77
Google AdsBot Mobile Disallow	2,110	9.77
Ahrefs Bot Disallow	1,394	6.45
Robots Disallow	1,352	6.26
Baidu Bot Disallow	1,063	4.92
Yandex Bot Disallow	1,053	4.87
Microsoft BingBot Disallow	954	4.42
Yahoo Slurp Disallow	894	4.14
Majestic Bot Disallow	873	4.04
Some Robots Disallow	773	3.58
Sogou Bot Disallow	761	3.52
GPTBot Disallow	645	2.99
Soso Bot Disallow	619	2.87
Semrush Bot Disallow	598	2.77
Google AdsBot Mobile Apps Disallow	582	2.69
Alexa Bot Disallow	571	2.64
Google Media Partners Disallow	536	2.48
Microsoft MSNBot Disallow	359	1.66
Google Image Bot Disallow	173	0.8
360 Bot Disallow	163	0.75
Exalead Bot Disallow	121	0.56
Google News Bot Disallow	110	0.51
Google Video Bot Disallow	109	0.5
DuckDuckGo Bot Disallow	76	0.35
Google API Bot Disallow	75	0.35
Google Favicon Disallow	74	0.34
Google DuplexWeb Disallow	65	0.3
BuiltWithBot Disallow	23	0.11
Google FeedFetcher Disallow	10	0.05
AppleBot Disallow	8	0.04
Youdao Bot Disallow	4	0.02

21,604 탐지

~의 로봇.txt ~에 슬로베니아. 마지막 업데이트 10th 4 2024.

Google AdsBot Disallow 현재 이 카테고리에서 가장 인기 있는 기술입니다.