Common Crawl Bot Disallow 사용 통계

Common Crawl Bot Disallow

Common Crawl Crawler가 사이트를 크롤링하는 것을 차단합니다.

https://commoncrawl.org/

로봇.txt · AI 봇

Common Crawl Bot Disallow 고객

데이터에 액세스하세요 4,882,308 웹사이트 그것이다 Common Crawl Bot Disallow 고객. 우리는 알고있다 3,838,613 라이브 웹사이트 사용 중 Common Crawl Bot Disallow 그리고 추가적으로 1,043,695 사용된 사이트 Common Crawl Bot Disallow 역사적으로 그리고 2,622,467 웹사이트 미국.

Common Crawl Bot Disallow 경쟁자 및 유사 제품

목록을 얻으세요 4,882,308 사용하는 웹사이트 Common Crawl Bot Disallow 여기에는 위치 정보, 호스팅 데이터, 연락처 정보가 포함됩니다. 3,838,613 현재 라이브 웹사이트 그리고 추가적으로 1,859,681 이 목록에 있는 사이트로 리디렉션되는 도메인입니다. 1,043,695 이전에 이 기술을 사용한 사이트그리고 2,622,467 웹사이트 미국 현재 사용 중 Common Crawl Bot Disallow.

사이트 총계

토탈 라이브
3,838,613
1,859,681 추가 웹사이트 리디렉션?.
미국 라이브 사이트
2,622,467
라이브와 역사적
4,882,308
맨 위 1m
2.71%
27,097
맨 위 100k
6.06%
6,065
맨 위 10k
10.26%
1,026

국가

미국
2,622,467
영국
192,812
호주
138,767
캐나다
102,865
독일
60,090
러시아 제국
46,671
스페인
44,325
스위스
35,667
이탈리아
29,714
프랑스
28,669
네덜란드
27,945
뉴질랜드
26,589
브라질
24,341
.코
22,837
스웨덴
21,433
노르웨이
13,809
덴마크
13,697
벨기에
12,658
아일랜드
11,866
일본
10,360
폴란드
10,215
오스트리아
10,013
.나
9,911
핀란드
9,282
MX 멕시코
8,062
IN 인도
5,967
KR 대한민국
5,741
ZA 남아프리카 공화국
5,574
PT 포르투갈
5,326
HU 헝가리
5,323
IO .아이오
5,126
SG 싱가포르
5,006
CZ 체코 공화국
4,565
CN 중국
4,119
SK 슬로바키아
4,014
GR 그리스
3,769
ID 인도네시아 공화국
3,589
SA 사우디 아라비아
2,892
HK 홍콩
2,841
TW 대만
2,834
TH 태국
2,786
RO 루마니아
2,734
AI 앵귈라
2,331
AE 아랍에미리트
2,198
AR 아르헨티나
2,058
TR 칠면조
1,748
CC 코코스 제도
1,579
VN 베트남
1,442
IS 아이슬란드
1,422
CL 칠레
1,371
TV .TV
1,363
MY 말레이시아
1,356
SI 슬로베니아
1,344
PH 필리핀 제도
1,236
IR 이란
1,214
UA 우크라이나
1,154
IM 맨 섬
1,049
LT 리투아니아
1,038
IL 이스라엘
1,023
CR 코스타리카
1,007
CY 키프로스
973
EE 에스토니아
856
LU 룩셈부르크
802
PE 페루
690
PR 푸에르토리코
684
BG 불가리아
681
LV 라트비아
634
HR 크로아티아
612
EC 에콰도르
558
KE 케냐
510
LB 레바논
487
GT 과테말라
480
MT 몰타
462
LI 리히텐슈타인
391
RS 세르비아
375
DO 도미니카 공화국
368
NG 나이지리아
343
PK 파키스탄
334
UY 우루과이
333
MA 모로코 가죽
309
NU 니우에
309
PA 파나마
308
EG 이집트
291
VE 베네수엘라
290
VC 세인트 빈센트 그레나딘
282
GG 건지
277
AL 알바니아
275
BY 벨라루스
270
RW 르완다
222
LK 스리랑카
220
BD 방글라데시
214
KW 쿠웨이트
211
KZ 카자흐스탄
210
TZ 탄자니아
208
GH 가나
198
BM 버뮤다
197
JE 저지
196
KY 케이맨 제도
190
BS 바하마
185
QA 카타르
177
JO 요르단
176
UG 우간다
173
FM 미크로네시아
168
HN 온두라스
162
NP 네팔
161
VI 미국령 버진 아일랜드
143
GE 그루지야
141
RE 재결합
139
TT 트리니다드 토바고
136
KH 캄보디아
135
SH 세인트 헬레나
134
SV 엘살바도르
123
BZ 벨리즈
122
BH 바레인
119
BB 바베이도스
118
MC 모나코
117
AM 아르메니아
109
BA 보스니아 헤르체고비나
105
JM 자메이카
103
MU 모리셔스
99
NI 니카라과
93
ET 에티오피아
92
WS 사모아
89
NA 나미비아
89
OM 오만
88
FO 페로 제도
86
PW 팔라우
79
TO 통가
78
ZM 잠비아
77
AG 앤티가 바부다
74
FJ 피지
74
AX 올란드 제도
73
MD 몰도바
72
PY 파라과이
72
MV 몰디브
69
TC 터크스 케이커스 제도
69
MK 마케도니아
68
TN 튀니지
65
MM 미얀마
65
BO 볼리비아
65
ZW 짐바브웨
63
MZ 모잠비크
60
SC 세이셸
59
SN 세네갈
58
GP 과들루프
53
CD 콩고
53
MN 몽골리아
53
AZ 아제르바이잔
51
GL 그린란드
51
AS 아메리칸 사모아
51
GI 지브롤터
50
CI 코트디부아르
50
HT 아이티
49
BW 보츠와나
48
AF 아프가니스탄
48
DZ 알제리
45
ST 상투메 프린시페
43
SO 소말리아
42
CX 크리스마스 섬
42
UZ 우즈베키스탄
41
AD 안도라
41
AO 앙골라
40
IQ 이라크
37
MG 마다가스카르
37
GU
36
PG 파푸아뉴기니
36
MW 말라위
35
PS 팔레스타인
35
CM 카메룬
33
MQ 마르티니크
32
VG 영국령 버진 아일랜드
32
KG 키르기스스탄
31
GY 가이아나
31
AW 아루바
31
VU 바누아투
28
BN 브루나이
27
CU 쿠바
24
LR 라이베리아
24
GD 그레나다
23
SL 시에라리온
22
CK 쿡 제도
22
LC 세인트 루시아
21
LA 라오 인민 민주 공화국
21
GM 감비아
21
SR 수리남
19
MS 몬세라트
19
PM 생피에르 미클롱
17
CW 퀴라소
14
ML 말리
13
PF 프랑스령 폴리네시아
13
TL 동티모르
12
SD 수단
12
SZ 스와질랜드
12
GS 사우스조지아 사우스샌드위치 제도
11
LY 리비아
11
BI 부룬디
11
SY 시리아
11
GA 가봉
11
SJ 스발바르 얀마옌 제도
11
SB 솔로몬 제도
10
TG 토고
10
BJ 베냉
10
MO 마카오
10
MP 북마리아나 제도
9
DJ 지부티
9
GF 프랑스령 기아나
9
DM 도미니카
9
KN 세인트키츠네비스
9
BF 부르키나파소
9
SM 산마리노
9
MR 모리타니
8
LS 레소토
8
NC 뉴 칼레도니아
8
TJ 타지키스탄
8
WF 월리스 푸투나
7
YT 마요트
7
BT 부탄
7
YE 예멘 아랍 공화국
6
SX 신트마르틴
6
KI 키리바시
5
UM 미국 군소 외딴 섬
5
FK 포클랜드 제도
5

Financial

AMER AMER
2,758,185
ANZ ANZ
165,356
ANZUK ANZUK
358,168
APAC APAC
216,678
ASEAN3 ASEAN+3
35,883
ASEAN5 ASEAN+5
203,087
ASEAN6 ASEAN+6
207,206
FOURASIANTIGERS ASIAN TIGERS
17,707
AUKUS AUKUS
2,954,046
BASIC BASIC
40,001
BRIC BRIC
81,098
BRICS BRICS
86,672
CANZUK CANZUK
461,033
CIVETS CIVETS
13,238
CLMV CLMV
1,663
EMEA EMEA
626,666
FRIT FRIT
58,383
FRITES FRITES
102,708
IMEA IMEA
26,770
LATAM LATAM
41,829
LATCAR LATCAR
45,742
MART MART
67,474
MEA MEA
20,803
MENA MENA
12,136
MEP MEP
12,020
MIKTA MIKTA
157,907
MINT MINT
13,742
PIGS PIGS
83,134
SEA SEA
15,675
TIGERCUB Tiger Cub Economies
10,409
VISTA VISTA
14,411

Group

AFRICANUNION African Union
9,665
ARABLEAGUE Arab League
7,218
APEC Asia-Pacific Economic Cooperation
2,988,855
AER Assembly of European Regions
518,701
ACS Association of Caribbean State Members
12,692
ASEAN Association of Southeast Asian Nations
15,663
BIMSTEC Bay of Bengal Initiative for Multi-Sectoral Technical and Economic Cooperation
9,420
CARICOM Caribbean Community Members
1,200
CARIFTA Caribbean Free Trade Association
947
CAIS Central American Integration System
2,663
CEFTA Central European Free Trade Agreement Members
932
PARISCLUB Club de Paris
3,464,215
CIS Commonwealth of Independent States Members
47,463
COMMONWEALTH Commonwealth of Nations
484,896
CPLP Community of Portuguese Language Countries
29,828
COE Council of Europe
608,103
DAC Development Assistance Committee
3,455,549
EAC East African Community
1,181
EAP Eastern Partnership
314,837
INNERSIX EC Inner Six
159,878
OUTERSEVEN EC Outer Seven
292,757
ECO Economic Cooperation Organization
3,687
EAEU Eurasian Economic Union
47,291
EURONEST Euronest Parliamentary Assembly
314,516
EEA European Economic Area
328,662
EFTA European Free Trade Association
51,289
EU European Union
313,040
EUEEACH European Union, European Economic Area and Switzerland
364,329
FEAS Federation of Euro-Asian Stock Exchanges
17,237
G2 G2 Nations
2,626,586
G20 G20 Nations
3,296,506
G7 G7 Nations
3,046,977
3G Global Governance Group
90,922
G77 Group of 77
78,316
GUAM GUAM Organization for Democracy and Economic Development
1,418
GCC Gulf Cooperation Council
5,685
IBSA IBSA Dialogue Forum
35,882
ISA International Solar Alliance
3,152,877
IAO Interparliamentary Assembly on Orthodoxy
88,064
DACH Majority German-speaking states of Central Europe
105,770
NATO North Atlantic Treaty Organization
3,194,503
OECD Organisation for Economic Co-operation and Development
3,471,882
OECS Organisation of Eastern Caribbean States
2,885
OIC Organisation of Islamic Cooperation
17,306
OAS Organization of American States
2,767,488
OEI Organization of Ibero-American States
91,375
BSEC Organization of the Black Sea Economic Cooperation
57,405
OPEC Organization of the Petroleum Exporting Countries
7,295
TURKIC Organization of Turkic States
2,081
PACIFICALLIANCE Pacific Alliance
10,717
SCO Shanghai Cooperation Organisation
57,381
SAARC South Asian Association for Regional Cooperation
7,020
SADC Southern African Development Community
6,462
MERCOSUR Southern Common Market
26,804
NORAM Sovereign states and dependent territories of North America
2,740,958
USAN Union of South American Nations
405
V4 Visegrad Group
24,117

Region

AFRICA Africa
9,408
BALKANS Balkan States
11,748
BALTICS Baltic States
2,528
BENELUX Benelux Union
41,405
CENTRALAFRICA Central Africa
417
CENTRALAMERICA Central America
2,295
CENTRALASIA Central Asia
292
CENTRALEUROPE Central Europe
131,622
CHAPS CHAPS
34,130
EASTAFRICA East Africa
1,714
EASTASIA East Asia
25,958
EUROPE Europe
608,584
LEVANT Levant Narrow
4,453
MIDDLEEAST Middle East
11,686
NORDICS Nordics
59,864
CUSA North America
2,725,332
NORTHAFRICA Northern Africa
741
NORTHERNEUROPE Northern Europe
74,037
SCANDINAVIA Scandinavia
48,939
SOUTHAMERICA South America
30,866
SOUTHASIA South Asia
7,020
SOUTHERNAFRICA Southern Africa
5,731
SOUTHERNCONE Southern Cone
3,834
SOUTHERNEUROPE Southern Europe
86,501
SUBSAHARA Sub-Saharan Africa
8,629
WESTAFRICA Western Africa
777
WESTASIA Western Asia
11,987
WESTERNEUROPE Western Europe
381,071
기술 그룹 탐색