Common Crawl Bot Disallow 使用統計

Common Crawl Bot Disallow

Common Crawl Crawler によるサイトのクロールをブロックします。

https://commoncrawl.org/

ロボット.txt · AIボット

Common Crawl Bot Disallow 顧客

データにアクセスする 4,882,308 ウェブサイト それは Common Crawl Bot Disallow 顧客. 私たちは知っている 3,838,613 ライブウェブサイト 使用して Common Crawl Bot Disallow そして追加の 1,043,695 使用したサイト Common Crawl Bot Disallow 歴史的に そして 2,622,467 ウェブサイト アメリカ合衆国.

Common Crawl Bot Disallow 競合他社および類似企業

リストを取得する 4,882,308 使用中のウェブサイト Common Crawl Bot Disallow 位置情報、ホスティングデータ、連絡先の詳細などが含まれます。 3,838,613 現在公開中のウェブサイト そして追加の 1,859,681 このリスト内のサイトにリダイレクトするドメイン。 1,043,695 以前この技術を使用していたサイトそして 2,622,467 ウェブサイト アメリカ合衆国 現在使用中 Common Crawl Bot Disallow.

サイト合計

トータルライブ
3,838,613
1,859,681 追加のウェブサイトリダイレクト?.
アメリカ合衆国 ライブサイト
2,622,467
ライブと歴史
4,882,308
トップ 1m
2.71%
27,097
トップ 100k
6.06%
6,065
トップ 10k
10.26%
1,026

アメリカ合衆国
2,622,467
イギリス
192,812
オーストラリア
138,767
カナダ
102,865
ドイツ
60,090
ロシア
46,671
スペイン
44,325
スイス
35,667
イタリア
29,714
フランス
28,669
オランダ
27,945
ニュージーランド
26,589
ブラジル
24,341
.co
22,837
スウェーデン
21,433
ノルウェー
13,809
デンマーク
13,697
ベルギー
12,658
アイルランド
11,866
日本
10,360
ポーランド
10,215
オーストリア
10,013
。自分
9,911
フィンランド
9,282
MX メキシコ
8,062
IN インド
5,967
KR 韓国
5,741
ZA 南アフリカ
5,574
PT ポルトガル
5,326
HU ハンガリー
5,323
IO .io
5,126
SG シンガポール
5,006
CZ チェコ共和国
4,565
CN 中国
4,119
SK スロバキア
4,014
GR ギリシャ
3,769
ID インドネシア
3,589
SA サウジアラビア
2,892
HK 香港
2,841
TW 台湾
2,834
TH タイ
2,786
RO ルーマニア
2,734
AI アンギラ
2,331
AE アラブ首長国連邦
2,198
AR アルゼンチン
2,058
TR 七面鳥
1,748
CC ココス諸島
1,579
VN ベトナム
1,442
IS アイスランド
1,422
CL チリ
1,371
TV 。テレビ
1,363
MY マレーシア
1,356
SI スロベニア
1,344
PH フィリピン
1,236
IR イラン
1,214
UA ウクライナ
1,154
IM マン島
1,049
LT リトアニア
1,038
IL イスラエル
1,023
CR コスタリカ
1,007
CY キプロス
973
EE エストニア
856
LU ルクセンブルク
802
PE ペルー
690
PR プエルトリコ
684
BG ブルガリア
681
LV ラトビア
634
HR クロアチア
612
EC エクアドル
558
KE ケニア
510
LB レバノン
487
GT グアテマラ
480
MT マルタ
462
LI リヒテンシュタイン
391
RS セルビア
375
DO ドミニカ共和国
368
NG ナイジェリア
343
PK パキスタン
334
UY ウルグアイ
333
MA モロッコ
309
NU ニウエ
309
PA パナマ
308
EG エジプト
291
VE ベネズエラ
290
VC セントビンセントおよびグレナディーン諸島
282
GG ガーンジー島
277
AL アルバニア
275
BY ベラルーシ
270
RW ルワンダ
222
LK スリランカ
220
BD バングラデシュ
214
KW クウェート
211
KZ カザフスタン
210
TZ タンザニア
208
GH ガーナ
198
BM バミューダ
197
JE ジャージー
196
KY ケイマン諸島
190
BS バハマ
185
QA カタール
177
JO ヨルダン
176
UG ウガンダ
173
FM ミクロネシア
168
HN ホンジュラス
162
NP ネパール
161
VI アメリカ領ヴァージン諸島
143
GE ジョージア
141
RE 再会
139
TT トリニダード・トバゴ
136
KH カンボジア
135
SH セントヘレナ
134
SV エルサルバドル
123
BZ ベリーズ
122
BH バーレーン
119
BB バルバドス
118
MC モナコ
117
AM アルメニア
109
BA ボスニア・ヘルツェゴビナ
105
JM ジャマイカ
103
MU モーリシャス
99
NI ニカラグア
93
ET エチオピア
92
WS サモア
89
NA ナミビア
89
OM オマーン
88
FO フェロー諸島
86
PW パラオ
79
TO トンガ
78
ZM ザンビア
77
AG アンティグア・バーブーダ
74
FJ フィジー
74
AX オーランド諸島
73
MD モルドバ
72
PY パラグアイ
72
MV モルディブ
69
TC タークス・カイコス諸島
69
MK マケドニア
68
TN チュニジア
65
MM ミャンマー
65
BO ボリビア
65
ZW ジンバブエ
63
MZ モザンビーク
60
SC セイシェル
59
SN セネガル
58
GP グアドループ
53
CD コンゴ
53
MN モンゴル
53
AZ アゼルバイジャン
51
GL グリーンランド
51
AS アメリカ領サモア
51
GI ジブラルタル
50
CI コートジボワール
50
HT ハイチ
49
BW ボツワナ
48
AF アフガニスタン
48
DZ アルジェリア
45
ST サントメ・プリンシペ
43
SO ソマリア
42
CX クリスマス島
42
UZ ウズベキスタン
41
AD アンドラ
41
AO アンゴラ
40
IQ イラク
37
MG マダガスカル
37
GU グアム
36
PG パプアニューギニア
36
MW マラウイ
35
PS パレスチナ
35
CM カメルーン
33
MQ マルティニーク
32
VG イギリス領ヴァージン諸島
32
KG キルギスタン
31
GY ガイアナ
31
AW アルバ
31
VU バヌアツ
28
BN ブルネイ
27
CU キューバ
24
LR リベリア
24
GD グレナダ
23
SL シエラレオネ
22
CK クック諸島
22
LC セントルシア
21
LA ラオス人民民主共和国
21
GM ガンビア
21
SR スリナム
19
MS モントセラト
19
PM サンピエール島とミクロン島
17
CW キュラソー
14
ML マリ
13
PF フランス領ポリネシア
13
TL 東ティモール
12
SD スーダン
12
SZ スワジランド
12
GS サウスジョージア島およびサウスサンドウィッチ諸島
11
LY リビア
11
BI ブルンジ
11
SY シリア
11
GA ガボン
11
SJ スヴァールバル諸島とヤンマイエン島
11
SB ソロモン諸島
10
TG 持ち帰り
10
BJ ベナン
10
MO マカオ
10
MP 北マリアナ諸島
9
DJ ジブチ
9
GF フランス領ギアナ
9
DM ドミニカ
9
KN セントクリストファー・ネイビス
9
BF ブルキナファソ
9
SM サンマリノ
9
MR モーリタニア
8
LS レソト
8
NC ニューカレドニア
8
TJ タジキスタン
8
WF ウォリス・フツナ
7
YT マヨット
7
BT ブータン
7
YE イエメン
6
SX シント・マールテン
6
KI キリバス
5
UM アメリカ領小離島
5
FK フォークランド諸島
5

Financial

AMER AMER
2,758,185
ANZ ANZ
165,356
ANZUK ANZUK
358,168
APAC APAC
216,678
ASEAN3 ASEAN+3
35,883
ASEAN5 ASEAN+5
203,087
ASEAN6 ASEAN+6
207,206
FOURASIANTIGERS ASIAN TIGERS
17,707
AUKUS AUKUS
2,954,046
BASIC BASIC
40,001
BRIC BRIC
81,098
BRICS BRICS
86,672
CANZUK CANZUK
461,033
CIVETS CIVETS
13,238
CLMV CLMV
1,663
EMEA EMEA
626,666
FRIT FRIT
58,383
FRITES FRITES
102,708
IMEA IMEA
26,770
LATAM LATAM
41,829
LATCAR LATCAR
45,742
MART MART
67,474
MEA MEA
20,803
MENA MENA
12,136
MEP MEP
12,020
MIKTA MIKTA
157,907
MINT MINT
13,742
PIGS PIGS
83,134
SEA SEA
15,675
TIGERCUB Tiger Cub Economies
10,409
VISTA VISTA
14,411

Group

AFRICANUNION African Union
9,665
ARABLEAGUE Arab League
7,218
APEC Asia-Pacific Economic Cooperation
2,988,855
AER Assembly of European Regions
518,701
ACS Association of Caribbean State Members
12,692
ASEAN Association of Southeast Asian Nations
15,663
BIMSTEC Bay of Bengal Initiative for Multi-Sectoral Technical and Economic Cooperation
9,420
CARICOM Caribbean Community Members
1,200
CARIFTA Caribbean Free Trade Association
947
CAIS Central American Integration System
2,663
CEFTA Central European Free Trade Agreement Members
932
PARISCLUB Club de Paris
3,464,215
CIS Commonwealth of Independent States Members
47,463
COMMONWEALTH Commonwealth of Nations
484,896
CPLP Community of Portuguese Language Countries
29,828
COE Council of Europe
608,103
DAC Development Assistance Committee
3,455,549
EAC East African Community
1,181
EAP Eastern Partnership
314,837
INNERSIX EC Inner Six
159,878
OUTERSEVEN EC Outer Seven
292,757
ECO Economic Cooperation Organization
3,687
EAEU Eurasian Economic Union
47,291
EURONEST Euronest Parliamentary Assembly
314,516
EEA European Economic Area
328,662
EFTA European Free Trade Association
51,289
EU European Union
313,040
EUEEACH European Union, European Economic Area and Switzerland
364,329
FEAS Federation of Euro-Asian Stock Exchanges
17,237
G2 G2 Nations
2,626,586
G20 G20 Nations
3,296,506
G7 G7 Nations
3,046,977
3G Global Governance Group
90,922
G77 Group of 77
78,316
GUAM GUAM Organization for Democracy and Economic Development
1,418
GCC Gulf Cooperation Council
5,685
IBSA IBSA Dialogue Forum
35,882
ISA International Solar Alliance
3,152,877
IAO Interparliamentary Assembly on Orthodoxy
88,064
DACH Majority German-speaking states of Central Europe
105,770
NATO North Atlantic Treaty Organization
3,194,503
OECD Organisation for Economic Co-operation and Development
3,471,882
OECS Organisation of Eastern Caribbean States
2,885
OIC Organisation of Islamic Cooperation
17,306
OAS Organization of American States
2,767,488
OEI Organization of Ibero-American States
91,375
BSEC Organization of the Black Sea Economic Cooperation
57,405
OPEC Organization of the Petroleum Exporting Countries
7,295
TURKIC Organization of Turkic States
2,081
PACIFICALLIANCE Pacific Alliance
10,717
SCO Shanghai Cooperation Organisation
57,381
SAARC South Asian Association for Regional Cooperation
7,020
SADC Southern African Development Community
6,462
MERCOSUR Southern Common Market
26,804
NORAM Sovereign states and dependent territories of North America
2,740,958
USAN Union of South American Nations
405
V4 Visegrad Group
24,117

Region

AFRICA Africa
9,408
BALKANS Balkan States
11,748
BALTICS Baltic States
2,528
BENELUX Benelux Union
41,405
CENTRALAFRICA Central Africa
417
CENTRALAMERICA Central America
2,295
CENTRALASIA Central Asia
292
CENTRALEUROPE Central Europe
131,622
CHAPS CHAPS
34,130
EASTAFRICA East Africa
1,714
EASTASIA East Asia
25,958
EUROPE Europe
608,584
LEVANT Levant Narrow
4,453
MIDDLEEAST Middle East
11,686
NORDICS Nordics
59,864
CUSA North America
2,725,332
NORTHAFRICA Northern Africa
741
NORTHERNEUROPE Northern Europe
74,037
SCANDINAVIA Scandinavia
48,939
SOUTHAMERICA South America
30,866
SOUTHASIA South Asia
7,020
SOUTHERNAFRICA Southern Africa
5,731
SOUTHERNCONE Southern Cone
3,834
SOUTHERNEUROPE Southern Europe
86,501
SUBSAHARA Sub-Saharan Africa
8,629
WESTAFRICA Western Africa
777
WESTASIA Western Asia
11,987
WESTERNEUROPE Western Europe
381,071
テクノロジーグループを参照