로봇.txt 사용량 분포 상위 100만개 사이트에

다음을 사용하여 웹사이트에 배포 로봇.txt 기술

핀을 꼽는 로봇.txt 사용량 분포 상위 100만개 사이트에
기술 웹사이트 %
Robots Disallow 142,424 14.24
Googlebot Disallow 59,490 5.95
Ahrefs Bot Disallow 57,087 5.71
Yandex Bot Disallow 48,896 4.89
Google AdsBot Disallow 38,547 3.85
Some Robots Disallow 36,920 3.69
Baidu Bot Disallow 36,830 3.68
Microsoft BingBot Disallow 29,750 2.97
Semrush Bot Disallow 29,313 2.93
Majestic Bot Disallow 28,834 2.88
Google Media Partners Disallow 24,850 2.48
Alexa Bot Disallow 24,570 2.46
Yahoo Slurp Disallow 24,509 2.45
GPTBot Disallow 23,315 2.33
Sogou Bot Disallow 19,463 1.95
Soso Bot Disallow 16,849 1.68
Common Crawl Bot Disallow 16,448 1.64
Microsoft MSNBot Disallow 12,634 1.26
Google AdsBot Mobile Disallow 10,698 1.07
Google Image Bot Disallow 10,421 1.04
Anthropic Claude Bot Disallow 9,346 0.93
Google Bard Disallow 8,526 0.85
Exalead Bot Disallow 8,440 0.84
Google AdsBot Mobile Apps Disallow 6,995 0.7
Google News Bot Disallow 6,467 0.65
Facebook Bot Disallow 5,528 0.55
DuckDuckGo Bot Disallow 5,114 0.51
360 Bot Disallow 4,995 0.5
Google Video Bot Disallow 4,937 0.49
ByteDance Bytespider Disallow 4,695 0.47
AppleBot Disallow 4,558 0.46
Google Favicon Disallow 4,312 0.43
Google API Bot Disallow 4,203 0.42
Google DuplexWeb Disallow 4,108 0.41
Cohere AI Disallow 3,726 0.37
Webz Omgili Disallow 3,358 0.34
BuiltWithBot Disallow 2,115 0.21
Perplexity 1,887 0.19
Diffbot Disallow 1,437 0.14
Pipl Disallow 1,426 0.14
Apple AI Bot Disallow 1,051 0.11
YOU Disallow 999 0.1
Youdao Bot Disallow 969 0.1
Google FeedFetcher Disallow 136 0.01
Google Read Aloud Disallow 40 0
Google Web Light Disallow 13 0
Google BIG Bench Disallow 2 0

791,231 탐지

~의 로봇.txt 상위 100만개 사이트에. 마지막 업데이트 06th 7 2024.

Google Media Partners Disallow Google Media Partners Disallow 현재 이 카테고리에서 가장 인기 있는 기술입니다.

맨 위 1m
트래픽 기준 상위 1,000,000개 사이트
791,231
맨 위 100k
트래픽 기준 상위 100,000개 사이트
131,611
맨 위 10k
트래픽 기준 상위 10,000개 사이트
18,044
전체 인터넷
162,083,857
미국
40,831,249
독일
7,069,709
영국
4,508,268
러시아
4,034,055
호주
2,213,154
이탈리아
1,850,820
캐나다
1,715,444
프랑스
1,204,000
브라질
1,129,600
.co
1,049,780
일본
946,433
인도
944,238
네덜란드
885,190
스페인
717,785
스위스
682,392
중국
679,642
IO .io
677,892
PL 폴란드
458,369
ME .me
405,744
BE 벨기에
372,432
NZ 뉴질랜드
347,468
SE 스웨덴
343,553
AT 오스트리아
297,790
MX 멕시코
286,838
CZ 체코 공화국
262,555
NO 노르웨이
253,379
DK 덴마크
242,916
KR 대한민국
242,137
ZA 남아프리카
239,309
TR 칠면조
233,565
CC 코코스 제도
220,546
RO 루마니아
211,533
IE 아일랜드
180,980
ID 인도네시아
175,979
PH 필리핀 제도
166,518
FI 핀란드
164,910
TV .TV
125,996
PT 포르투갈
124,285
TW 대만
119,757
TH 태국
118,299
SG 싱가포르
113,163
CL 칠레
108,091
AR 아르헨티나
102,144
HU 헝가리
97,069
HK 홍콩
95,737
UA 우크라이나
92,593
GR 그리스
90,068
VN 베트남
89,454
IL 이스라엘
81,796
VG 영국령 버진아일랜드
68,943
AE UAE
64,614
SK 슬로바키아
63,298
MY 말레이시아
62,107
AI 앵귈라
59,536
WS 사모아
45,011
LU 룩셈부르크
44,514
IR 이란
38,637
PK 파키스탄
37,492
SA 사우디 아라비아
37,240
BG 불가리아
34,597
CM 카메룬
34,381
LT 리투아니아
33,705
PE 페루
30,962
EE 에스토니아
30,519
LV 라트비아
30,087
SI 슬로베니아
25,665
IS 아이슬란드
24,793
NU 니우에
23,171
HR 크로아티아
20,943
PW 팔라우
19,058
PR 푸에르토 리코
18,498
RS 세르비아
18,349
BY 벨라루스
17,833
NG 나이지리아
17,145
CR 코스타리카
15,743
EC 에콰도르
15,653
UY 우루과이
15,149
KE 케냐
14,813
IM 맨 섬
13,269
KZ 카자흐스탄
13,159
TO 통가
12,105
LI 리히텐슈타인
12,007
BD 방글라데시
11,876
RE 재결합
11,766
GG 건지
11,487
MT 몰타
10,858
VC 세인트 빈센트 그레나딘
10,847
DO 도미니카 공화국
10,656
MA 모로코
10,303
EG 이집트
9,905
SH 세인트 헬레나
8,938
GT 과테말라
8,841
GE 그루지야
7,787
BZ 벨리즈
7,602
PA 파나마
7,399
VE 베네수엘라
7,152
LB 레바논
6,710
SO 소말리아
6,678
LK 스리랑카
6,561
UG 우간다
6,390
AL 알바니아
6,243
GH 가나
6,200
CY 키프로스
6,061
QA 카타르
6,024
AM 아르메니아
5,964
UZ 우즈베키스탄
5,894
FM 미크로네시아
5,669
NP 네팔
5,127
KW 쿠웨이트
4,889
MK 마케도니아
4,421
JO 요르단
4,216
MD 몰도바
4,003
CX 크리스마스 섬
3,894
TZ 탄자니아
3,608
PY 파라과이
3,472
TN 튀니지
3,286
MU 모리셔스
3,228
HN 온두라스
3,210
AZ 아제르바이잔
3,197
BO 볼리비아
2,987
NA 나미비아
2,738
OM 오만
2,737
AG 앤티가 바부다
2,660
MC 모나코
2,652
MN 몽골리아
2,562
DZ 알제리
2,481
BS 바하마
2,408
KY 케이맨 제도
2,348
ZW 짐바브웨
2,343
SV 엘살바도르
2,310
BH 바레인
2,263
ST 상투메 프린시페
2,252
BA 보스니아 헤르체고비나
2,171
RW 르완다
2,168
AF 아프가니스탄
2,158
GP 과들루프
2,011
BM 버뮤다
1,973
VI 미국령 버진아일랜드
1,965
ZM 잠비아
1,958
KH 캄보디아
1,905
SC 세이셸
1,842
MS 몬세라트
1,825
LC 세인트 루시아
1,763
TT 트리니다드 토바고
1,749
IQ 이라크
1,709
ET 에티오피아
1,676
NI 니카라과
1,659
NC 뉴 칼레도니아
1,591
MZ 모잠비크
1,386
MV 몰디브
1,345
MM 미얀마
1,330
PM 생 피에르 앤 미클롱
1,325
JM 자메이카
1,299
CI 코트디부아르
1,288
KG 키르기스스탄
1,279
CD 콩고
1,237
MQ 마르티니크
1,196
GI 지브롤터
1,164
SX 신트마르턴
1,142
BW 보츠와나
1,125
JE 저지
1,094
YT 마요트
1,092
SN 세네갈
1,080
AS 아메리칸사모아
1,071
GL 그린란드
957
FJ 피지
942
TC 터크스 케이커스 제도
930
MG 마다가스카르
899
FO 페로 제도
892
AD 안도라
888
BB 바베이도스
865
AO 앙골라
831
GS 사우스조지아 사우스샌드위치 제도
792
PS 팔레스타인
773
AW 아루바
746
TG 토고
723
GF 프랑스령 기아나
718
GY 가이아나
663
HT 아이티
643
WF 월리스푸투나
638
MW 말라위
592
GD 그레나다
547
TJ 타지키스탄
529
GM 감비아
483
VU 바누아투
457
BF 부키 나 파소
428
ML 말리
427
BJ 베냉
413
SR 수리남
325
SL 시에라리온
324
SB 솔로몬 제도
294
GU
287
SD 수단
286
YE 예멘
285
BT 부탄
282
CU 쿠바
282
TL 동 티모르
276
PG 파푸아 뉴기니
275
HM 허드섬과 맥도날드 제도
269
TM 투르크메니스탄
251
BN 브루나이
244
DJ 지부티
236
NE 니제르
233
BI 부룬디
211
LR 라이베리아
201
SM 산 마리노
199
CK 쿡 제도
197
PF 프랑스 령 폴리네시아의
194
SY 시리아
168
LA 라오스 인민민주공화국
162
LS 레소토
153
AX 올란드 제도
147
KN 세인트키츠네비스
145
MP 북마리아나 제도
139
LY 리비아
137
SZ 스와질란드
128
CW 퀴라소
116
GA 가봉
112
MR 모리타니
111
DM 도미니카
101
MO 마카오
91
UM 미국령 군소 제도
82
NF 노퍽 섬
71
MH 마샬 군도
59
CV 카보 베르데
55
TD 차드
54
SS 남 수단
53
VA 바티칸 시국
53
SJ 스발바르와 얀마옌
49
CG 콩고
44
GN 기니
44
GW 기니비사우
44
KI 키리바시
24
FK 포클랜드 제도
19
BL 생 바르텔레미
18
PN 핏케언
16
GQ 적도기니
14
AQ 남극 대륙
11
카테고리