Robots.txt Nutzungsverteilung in den Top 1 Million Websites

Verteilung für Websites mit Robots.txt Technologien

Anheften Robots.txt Nutzungsverteilung in den Top 1 Million Websites
Technologie Websites %
Robots Disallow 142.424 14,24
Googlebot Disallow 59.490 5,95
Ahrefs Bot Disallow 57.087 5,71
Yandex Bot Disallow 48.896 4,89
Google AdsBot Disallow 38.547 3,85
Some Robots Disallow 36.920 3,69
Baidu Bot Disallow 36.830 3,68
Microsoft BingBot Disallow 29.750 2,97
Semrush Bot Disallow 29.313 2,93
Majestic Bot Disallow 28.834 2,88
Google Media Partners Disallow 24.850 2,48
Alexa Bot Disallow 24.570 2,46
Yahoo Slurp Disallow 24.509 2,45
GPTBot Disallow 23.315 2,33
Sogou Bot Disallow 19.463 1,95
Soso Bot Disallow 16.849 1,68
Common Crawl Bot Disallow 16.448 1,64
Microsoft MSNBot Disallow 12.634 1,26
Google AdsBot Mobile Disallow 10.698 1,07
Google Image Bot Disallow 10.421 1,04
Anthropic Claude Bot Disallow 9.346 0,93
Google Bard Disallow 8.526 0,85
Exalead Bot Disallow 8.440 0,84
Google AdsBot Mobile Apps Disallow 6.995 0,7
Google News Bot Disallow 6.467 0,65
Facebook Bot Disallow 5.528 0,55
DuckDuckGo Bot Disallow 5.114 0,51
360 Bot Disallow 4.995 0,5
Google Video Bot Disallow 4.937 0,49
ByteDance Bytespider Disallow 4.695 0,47
AppleBot Disallow 4.558 0,46
Google Favicon Disallow 4.312 0,43
Google API Bot Disallow 4.203 0,42
Google DuplexWeb Disallow 4.108 0,41
Cohere AI Disallow 3.726 0,37
Webz Omgili Disallow 3.358 0,34
BuiltWithBot Disallow 2.115 0,21
Perplexity 1.887 0,19
Diffbot Disallow 1.437 0,14
Pipl Disallow 1.426 0,14
Apple AI Bot Disallow 1.051 0,11
YOU Disallow 999 0,1
Youdao Bot Disallow 969 0,1
Google FeedFetcher Disallow 136 0,01
Google Read Aloud Disallow 40 0
Google Web Light Disallow 13 0
Google BIG Bench Disallow 2 0

791.231 Erkennungen

von Robots.txt in den Top 1 Million Websites. Letzte Aktualisierung 23rd Jul 2024.

Google Media Partners Disallow Google Media Partners Disallow ist derzeit die beliebteste Technologie in dieser Kategorie.

Spitze 1m
Top 1.000.000 Websites nach Traffic
791.231
Spitze 100k
Top 100.000 Websites nach Traffic
131.611
Spitze 10k
Top 10.000 Websites nach Traffic
18.044
Ganzes Internet
162.083.857
Vereinigte Staaten
40.831.249
Deutschland
7.069.709
Großbritannien
4.508.268
Russland
4.034.055
Australien
2.213.154
Italien
1.850.820
Kanada
1.715.444
Frankreich
1.204.000
Brasilien
1.129.600
.co
1.049.780
Japan
946.433
Indien
944.238
Niederlande
885.190
Spanien
717.785
Schweiz
682.392
China
679.642
IO .io
677.892
PL Polen
458.369
ME .me
405.744
BE Belgien
372.432
NZ Neuseeland
347.468
SE Schweden
343.553
AT Österreich
297.790
MX Mexiko
286.838
CZ Tschechien
262.555
NO Norwegen
253.379
DK Dänemark
242.916
KR Südkorea
242.137
ZA Südafrika
239.309
TR Truthahn
233.565
CC Kokosinseln
220.546
RO Rumänien
211.533
IE Irland
180.980
ID Indonesien
175.979
PH Philippinen
166.518
FI Finnland
164.910
TV .tv
125.996
PT Portugal
124.285
TW Taiwan
119.757
TH Thailand
118.299
SG Singapur
113.163
CL Chile
108.091
AR Argentinien
102.144
HU Ungarn
97.069
HK Hongkong
95.737
UA Ukraine
92.593
GR Griechenland
90.068
VN Vietnam
89.454
IL Israel
81.796
VG Britische Jungferninseln
68.943
AE Vereinigte Arabische Emirate
64.614
SK Slowakei
63.298
MY Malaysia
62.107
AI Anguilla
59.536
WS Samoa
45.011
LU Luxemburg
44.514
IR Iran
38.637
PK Pakistan
37.492
SA Saudi-Arabien
37.240
BG Bulgarien
34.597
CM Kamerun
34.381
LT Litauen
33.705
PE Peru
30.962
EE Estland
30.519
LV Lettland
30.087
SI Slowenien
25.665
IS Island
24.793
NU Niue
23.171
HR Kroatien
20.943
PW Palau
19.058
PR Puerto Rico
18.498
RS Serbien
18.349
BY Weißrussland
17.833
NG Nigeria
17.145
CR Costa Rica
15.743
EC Ecuador
15.653
UY Uruguay
15.149
KE Kenia
14.813
IM Isle of Man
13.269
KZ Kasachstan
13.159
TO Tonga
12.105
LI Liechtenstein
12.007
BD Bangladesch
11.876
RE Wiedervereinigung
11.766
GG Guernsey
11.487
MT Malta
10.858
VC St. Vincent und die Grenadinen
10.847
DO Dominikanische Republik
10.656
MA Marokko
10.303
EG Ägypten
9.905
SH St. Helena
8.938
GT Guatemala
8.841
GE Georgia
7.787
BZ Belize
7.602
PA Panama
7.399
VE Venezuela
7.152
LB Libanon
6.710
SO Somalia
6.678
LK Sri Lanka
6.561
UG Uganda
6.390
AL Albanien
6.243
GH Ghana
6.200
CY Zypern
6.061
QA Katar
6.024
AM Armenien
5.964
UZ Usbekistan
5.894
FM Mikronesien
5.669
NP Nepal
5.127
KW Kuwait
4.889
MK Mazedonien
4.421
JO Jordanien
4.216
MD Moldawien
4.003
CX Weihnachtsinsel
3.894
TZ Tansania
3.608
PY Paraguay
3.472
TN Tunesien
3.286
MU Mauritius
3.228
HN Honduras
3.210
AZ Aserbaidschan
3.197
BO Bolivien
2.987
NA Namibia
2.738
OM Oman
2.737
AG Antigua und Barbuda
2.660
MC Monaco
2.652
MN Mongolei
2.562
DZ Algerien
2.481
BS Bahamas
2.408
KY Cayman Inseln
2.348
ZW Zimbabwe
2.343
SV El Salvador
2.310
BH Bahrain
2.263
ST São Tomé und Príncipe
2.252
BA Bosnien und Herzegowina
2.171
RW Ruanda
2.168
AF Afghanistan
2.158
GP Guadeloupe
2.011
BM Bermuda
1.973
VI Amerikanische Jungferninseln
1.965
ZM Sambia
1.958
KH Kambodscha
1.905
SC Seychellen
1.842
MS Montserrat
1.825
LC St. Lucia
1.763
TT Trinidad und Tobago
1.749
IQ Irak
1.709
ET Äthiopien
1.676
NI Nicaragua
1.659
NC Neu-Kaledonien
1.591
MZ Mosambik
1.386
MV Malediven
1.345
MM Myanmar
1.330
PM Saint-Pierre und Miquelon
1.325
JM Jamaika
1.299
CI Elfenbeinküste
1.288
KG Kirgisistan
1.279
CD Kongo
1.237
MQ Martinique
1.196
GI Gibraltar
1.164
SX Sint Maarten
1.142
BW Botswana
1.125
JE Jersey
1.094
YT Mayotte
1.092
SN Senegal
1.080
AS Amerikanischen Samoa-Inseln
1.071
GL Grönland
957
FJ Fidschi
942
TC Turks- und Caicosinseln
930
MG Madagaskar
899
FO Färöer Inseln
892
AD Andorra
888
BB Barbados
865
AO Angola
831
GS Süd-Georgien und die südlichen Sandwich-Inseln
792
PS Palästina
773
AW Aruba
746
TG Gehen
723
GF Französisch-Guayana
718
GY Guyana
663
HT Haiti
643
WF Wallis und Futuna
638
MW Malawi
592
GD Grenada
547
TJ Tadschikistan
529
GM Gambia
483
VU Vanuatu
457
BF Burkina Faso
428
ML Mali
427
BJ Benin
413
SR Surinam
325
SL Sierra Leone
324
SB Salomon-Inseln
294
GU Guam
287
SD Sudan
286
YE Jemen
285
BT Bhutan
282
CU Kuba
282
TL Osttimor
276
PG Papua Neu-Guinea
275
HM Heard-Insel und McDonald-Inseln
269
TM Turkmenistan
251
BN Brunei
244
DJ Dschibuti
236
NE Niger
233
BI Burundi
211
LR Liberia
201
SM San Marino
199
CK Cookinseln
197
PF Französisch Polynesien
194
SY Syrien
168
LA Demokratische Volksrepublik Laos
162
LS Lesotho
153
AX Åland-Inseln
147
KN St. Kitts und Nevis
145
MP Nördliche Marianneninseln
139
LY Libyen
137
SZ Swasiland
128
CW Curacao
116
GA Gabun
112
MR Mauretanien
111
DM Dominica
101
MO Macau
91
UM Kleinere vorgelagerte Inseln der Vereinigten Staaten
82
NF Norfolkinsel
71
MH Marshallinseln
59
CV Kap Verde
55
TD Tschad
54
SS Südsudan
53
VA Vatikanstadt
53
SJ Spitzbergen und Jan Mayen
49
CG Kongo
44
GN Guinea
44
GW Guinea-Bissau
44
KI Kiribati
24
FK Falkland Inseln
19
BL St. Barthélemy
18
PN Pitcairn
16
GQ Äquatorialguinea
14
AQ Antarktis
11
Kategorien