Common Crawl Bot Disallow 使用情况统计

Common Crawl Bot Disallow

阻止某个站点被 Common Crawl Crawler 抓取。

https://commoncrawl.org/

Robots.txt · 人工智能机器人

Common Crawl Bot Disallow 顾客

获取以下数据 4,707,876 网站 即 Common Crawl Bot Disallow 顾客. 我们知道 3,689,029 直播网站 使用 Common Crawl Bot Disallow 以及额外的 1,018,847 使用的网站 Common Crawl Bot Disallow 历史上 和 2,532,686 网站 美国.

Common Crawl Bot Disallow 竞争对手和类似公司

获取列表 4,707,876 网站使用 Common Crawl Bot Disallow 其中包括位置信息、托管数据、联系方式、 3,689,029 当前直播网站 以及额外的 1,831,128 重定向至此列表中的站点的域名。 1,018,847 以前使用过该技术的网站和 2,532,686 网站 美国 目前正在使用 Common Crawl Bot Disallow.

网站总计

总直播
3,689,029
1,831,128 额外的网站重定向?.
美国 直播网站
2,532,686
现场和历史
4,707,876
顶部 1m
2.61%
26,065
顶部 100k
6.14%
6,141
顶部 10k
11.78%
1,178

国家

美国
2,532,686
英国
184,918
澳大利亚
133,794
加拿大
100,129
德国
56,357
西班牙
42,086
瑞士
34,146
俄罗斯
31,206
意大利
29,787
法国
27,527
荷兰
26,794
巴西
25,908
新西兰
25,696
.co
22,232
瑞典
20,807
挪威
13,590
丹麦
13,199
比利时
12,179
爱尔兰
11,407
日本
10,202
波兰
9,810
。我
9,687
奥地利
9,501
芬兰
8,954
MX 墨西哥
7,517
HU 匈牙利
5,619
KR 韩国
5,571
ZA 南非
5,319
IN 印度
5,317
PT 葡萄牙
4,918
IO .io
4,913
SG 新加坡
4,834
CZ 捷克共和国
4,410
SK 斯洛伐克
3,901
CN 中国
3,792
GR 希腊
3,644
SA 沙特阿拉伯
3,250
ID 印度尼西亚
2,926
TW 台湾
2,819
HK 香港
2,740
RO 罗马尼亚
2,734
TH 泰国
2,553
AI 安圭拉
2,221
AE 阿联酋
2,073
AR 阿根廷
1,819
TR 火鸡
1,446
IS 冰岛
1,386
VN 越南
1,370
TV 。电视
1,325
SI 斯洛文尼亚
1,300
IR 伊朗
1,293
CL 智利
1,256
CC 科科斯群岛
1,248
PH 菲律宾
1,185
MY 马来西亚
1,135
UA 乌克兰
1,041
IM 马恩岛
1,018
LT 立陶宛
991
CR 哥斯达黎加
957
IL 以色列
893
EE 爱沙尼亚
805
LU 卢森堡
750
CY 塞浦路斯
671
PR 波多黎各
652
BG 保加利亚
645
PE 秘鲁
643
LV 拉脱维亚
607
HR 克罗地亚
559
EC 厄瓜多尔
532
LB 黎巴嫩
466
KE 肯尼亚
463
GT 危地马拉
455
MT 马耳他
437
LI 列支敦士登
385
RS 塞尔维亚
362
DO 多明尼加共和国
335
UY 乌拉圭
326
NU 纽埃
321
PA 巴拿马
288
PK 巴基斯坦
278
VC 圣文森特和格林纳丁斯
277
MA 摩洛哥
276
EG 埃及
275
NG 尼日利亚
273
BY 白俄罗斯
265
VE 委内瑞拉
261
GG 根西岛
258
AL 阿尔巴尼亚
248
RW 卢旺达
214
KW 科威特
203
TZ 坦桑尼亚
198
JE 球衣
187
GH 加纳
187
KY 开曼群岛
186
KZ 哈萨克斯坦
186
BM 百慕大
181
LK 斯里兰卡
180
BS 巴哈马
180
QA 卡塔尔
171
JO 约旦
168
FM 密克罗尼西亚
164
UG 乌干达
161
HN 洪都拉斯
155
BD 孟加拉国
154
VI 美属维尔京群岛
142
RE 团圆
137
KH 柬埔寨
133
TT 特立尼达和多巴哥
132
SH 圣赫勒拿
127
GE 乔治亚州
122
BH 巴林
116
NP 尼泊尔
116
BB 巴巴多斯
115
SV 萨尔瓦多
113
BZ 伯利兹
113
MC 摩纳哥
113
AM 亚美尼亚
100
BA 波斯尼亚和黑塞哥维那
99
JM 牙买加
96
MU 毛里求斯
95
ET 埃塞俄比亚
92
NI 尼加拉瓜
90
WS 萨摩亚
86
NA 纳米比亚
86
OM 阿曼
84
FO 法罗群岛
82
ZM 赞比亚
74
AG 安提瓜和巴布达
73
PW 帕劳
72
FJ 斐济
68
PY 巴拉��
66
MK 马其顿
66
MD 摩尔多瓦
65
AX 奥兰群岛
65
TC 特克斯和凯科斯群岛
65
TO 汤加
62
BO 玻利维亚
60
ZW 津巴布韦
60
TN 突尼斯
57
SN 塞内加尔
56
SC 塞舌尔
56
MV 马尔代夫
55
MM 缅甸
55
MZ 莫桑比克
55
GP 瓜德罗普岛
53
AS 美属萨摩亚
52
GI 直布罗陀
51
MN 蒙古
49
HT 海地
48
GL 格陵兰
47
BW 博茨瓦纳
46
ST 圣多美和普林西比
45
AF 阿富汗
44
CD 刚果
44
CI 科特迪瓦
43
AD 安道尔
43
DZ 阿尔及利亚
43
CX 圣诞岛
42
SO 索马里
38
AO 安哥拉
36
GU 关岛
35
MG 马达加斯加
35
PG 巴布亚新几内亚
35
PS 巴勒斯坦
34
AZ 阿塞拜疆
33
CM 喀麦隆
33
MW 马拉维
31
AW 阿鲁巴
31
IQ 伊拉克
31
MQ 马提尼克岛
30
UZ 乌兹别克斯坦
29
VG 英属维尔京群岛
28
GY 圭亚那
28
VU 瓦努阿图
27
LR 利比里亚
25
CU 古巴
23
BN 文莱
23
CK 库克群岛
23
GD 格林纳达
21
LC 圣卢西亚
20
LA 老挝人民民主共和国
20
GM 冈比亚
20
MS 蒙特塞拉特
19
SL 塞拉利昂
18
PM 圣皮埃尔和密克隆
15
SR 苏里南
15
GS 南乔治亚和南桑威奇群岛
14
SB 所罗门群岛
14
ML 马里
13
CW 库拉索
13
SZ 斯威士兰
13
PF 法属波利尼西亚
13
LY 利比亚
11
SD 苏丹
11
KG 吉尔吉斯斯坦
10
TL 东帝汶
10
BF 布基纳法索
10
MO 澳门
10
SM 圣马力诺
10
SJ 斯瓦尔巴群岛和扬马延岛
10
BI 布隆迪
9
DJ 吉布提
9
BJ 贝宁
9
DM 多米尼加
9
KN 圣基茨和尼维斯
9
SY 叙利亚
9
GA 加蓬
9
MP 北马里亚纳群岛
8
MR 毛里塔尼亚
8
TG 多哥
8
TJ 塔吉克斯坦
8
GF 法属圭亚那
8
YT 马约特岛
7
NC 新喀里多尼亚
7
BT 不丹
7
YE 也门
6
LS 莱索托
6
WF 瓦利斯和富图纳
6
SX 圣马丁
5
KI 基里巴斯
5
UM 美国小岛屿
5
FK 福克兰群岛
5

Financial

AMER AMER
2,666,597
ANZ ANZ
159,490
ANZUK ANZUK
344,408
APAC APAC
207,381
ASEAN3 ASEAN+3
33,799
ASEAN5 ASEAN+5
194,814
ASEAN6 ASEAN+6
198,606
FOURASIANTIGERS ASIAN TIGERS
16,937
AUKUS AUKUS
2,851,398
BASIC BASIC
40,336
BRIC BRIC
66,223
BRICS BRICS
71,542
CANZUK CANZUK
444,537
CIVETS CIVETS
11,901
CLMV CLMV
1,578
EMEA EMEA
587,911
FRIT FRIT
57,314
FRITES FRITES
99,400
IMEA IMEA
25,092
LATAM LATAM
42,163
LATCAR LATCAR
45,915
MART MART
50,981
MEA MEA
19,775
MENA MENA
11,595
MEP MEP
11,467
MIKTA MIKTA
151,254
MINT MINT
12,162
PIGS PIGS
80,435
SEA SEA
14,244
TIGERCUB Tiger Cub Economies
9,169
VISTA VISTA
12,880

Group

AFRICANUNION African Union
9,107
ARABLEAGUE Arab League
7,330
APEC Asia-Pacific Economic Cooperation
2,872,112
AER Assembly of European Regions
485,244
ACS Association of Caribbean State Members
11,895
ASEAN Association of Southeast Asian Nations
14,234
BIMSTEC Bay of Bengal Initiative for Multi-Sectoral Technical and Economic Cooperation
8,382
CARICOM Caribbean Community Members
1,155
CARIFTA Caribbean Free Trade Association
912
CAIS Central American Integration System
2,506
CEFTA Central European Free Trade Agreement Members
874
PARISCLUB Club de Paris
3,331,641
CIS Commonwealth of Independent States Members
31,902
COMMONWEALTH Commonwealth of Nations
466,351
CPLP Community of Portuguese Language Countries
30,978
COE Council of Europe
569,801
DAC Development Assistance Committee
3,335,068
EAC East African Community
1,093
EAP Eastern Partnership
302,025
INNERSIX EC Inner Six
153,394
OUTERSEVEN EC Outer Seven
281,079
ECO Economic Cooperation Organization
3,329
EAEU Eurasian Economic Union
31,767
EURONEST Euronest Parliamentary Assembly
301,727
EEA European Economic Area
315,760
EFTA European Free Trade Association
49,507
EU European Union
300,399
EUEEACH European Union, European Economic Area and Switzerland
349,906
FEAS Federation of Euro-Asian Stock Exchanges
16,325
G2 G2 Nations
2,536,478
G20 G20 Nations
3,169,471
G7 G7 Nations
2,941,606
3G Global Governance Group
87,119
G77 Group of 77
76,223
GUAM GUAM Organization for Democracy and Economic Development
1,261
GCC Gulf Cooperation Council
5,897
IBSA IBSA Dialogue Forum
36,544
ISA International Solar Alliance
3,045,975
IAO Interparliamentary Assembly on Orthodoxy
70,790
DACH Majority German-speaking states of Central Europe
100,004
NATO North Atlantic Treaty Organization
3,083,114
OECD Organisation for Economic Co-operation and Development
3,350,105
OECS Organisation of Eastern Caribbean States
2,760
OIC Organisation of Islamic Cooperation
15,958
OAS Organization of American States
2,675,297
OEI Organization of Ibero-American States
89,068
BSEC Organization of the Black Sea Economic Cooperation
41,284
OPEC Organization of the Petroleum Exporting Countries
7,486
TURKIC Organization of Turkic States
1,704
PACIFICALLIANCE Pacific Alliance
9,981
SCO Shanghai Cooperation Organisation
40,826
SAARC South Asian Association for Regional Cooperation
6,151
SADC Southern African Development Community
6,154
MERCOSUR Southern Common Market
28,119
NORAM Sovereign states and dependent territories of North America
2,647,529
USAN Union of South American Nations
364
V4 Visegrad Group
23,740

Region

AFRICA Africa
8,861
BALKANS Balkan States
11,137
BALTICS Baltic States
2,403
BENELUX Benelux Union
39,723
CENTRALAFRICA Central Africa
393
CENTRALAMERICA Central America
2,171
CENTRALASIA Central Asia
235
CENTRALEUROPE Central Europe
125,429
CHAPS CHAPS
33,241
EASTAFRICA East Africa
1,606
EASTASIA East Asia
25,183
EUROPE Europe
570,253
LEVANT Levant Narrow
3,687
MIDDLEEAST Middle East
11,189
NORDICS Nordics
58,140
CUSA North America
2,632,815
NORTHAFRICA Northern Africa
681
NORTHERNEUROPE Northern Europe
71,746
SCANDINAVIA Scandinavia
47,596
SOUTHAMERICA South America
31,899
SOUTHASIA South Asia
6,151
SOUTHERNAFRICA Southern Africa
5,470
SOUTHERNCONE Southern Cone
3,467
SOUTHERNEUROPE Southern Europe
83,633
SUBSAHARA Sub-Saharan Africa
8,146
WESTAFRICA Western Africa
681
WESTASIA Western Asia
11,444
WESTERNEUROPE Western Europe
364,120
浏览技术组