Robots.txt Nutzungsverteilung im gesamten Internet

Verteilung für Websites mit Robots.txt Technologien

Oben In Robots.txt Nutzungsverteilung im gesamten Internet
Technologie Websites %
Some Robots Disallow 39.138.226 18,11
Googlebot Disallow 17.828.157 8,25
Baidu Bot Disallow 13.581.393 6,29
Sogou Bot Disallow 12.684.407 5,87
Google Media Partners Disallow 12.427.091 5,75
Microsoft BingBot Disallow 12.311.912 5,7
Yandex Bot Disallow 12.258.509 5,67
Yahoo Slurp Disallow 11.474.186 5,31
Google AdsBot Disallow 9.790.845 4,53
Robots Disallow 9.099.895 4,21
Google AdsBot Mobile Disallow 7.817.180 3,62
Alexa Bot Disallow 5.217.515 2,41
Soso Bot Disallow 5.040.372 2,33
GPTBot Disallow 4.075.441 1,89
Ahrefs Bot Disallow 4.019.066 1,86
AppleBot Disallow 3.990.455 1,85
Common Crawl Bot Disallow 3.838.613 1,78
Anthropic Claude Bot Disallow 3.714.262 1,72
Google Bard Disallow 3.559.411 1,65
Facebook Bot Disallow 3.430.596 1,59
Apple AI Bot Disallow 3.410.037 1,58
Cohere AI Disallow 3.328.080 1,54
Perplexity 3.285.151 1,52
Majestic Bot Disallow 2.277.342 1,05
Semrush Bot Disallow 2.137.525 0,99
Google AdsBot Mobile Apps Disallow 2.080.345 0,96
ByteDance Bytespider Disallow 752.357 0,35
Exalead Bot Disallow 465.497 0,22
Microsoft MSNBot Disallow 448.759 0,21
Webz Omgili Disallow 396.357 0,18
Google Image Bot Disallow 363.858 0,17
DuckDuckGo Bot Disallow 288.467 0,13
Diffbot Disallow 272.325 0,13
360 Bot Disallow 257.988 0,12
LLMS Text 193.522 0,09
YOU Disallow 168.669 0,08
BuiltWithBot Disallow 115.744 0,05
Youdao Bot Disallow 92.725 0,04
Google Video Bot Disallow 92.443 0,04
Google News Bot Disallow 91.702 0,04
Google Favicon Disallow 73.221 0,03
Google API Bot Disallow 47.055 0,02
Google DuplexWeb Disallow 41.774 0,02
Pipl Disallow 36.661 0,02
Anthropic Claude User Bot Disallow 17.173 0,01
Anthropic Claude Search Bot Disallow 13.248 0,01
Google Read Aloud Disallow 5.732 0
Google FeedFetcher Disallow 4.220 0
Google Web Light Disallow 758 0
Google BIG Bench Disallow 41 0

216.056.308 Erkennungen

von Robots.txt im gesamten Internet. Zuletzt aktualisiert 01st Jul 2025.

Google Media Partners Disallow Google Media Partners Disallow ist derzeit die beliebteste Technologie in dieser Kategorie.

Spitze 1m
Top 1.000.000 Websites nach Datenverkehr
965.313
Spitze 100k
Top 100.000 Websites nach Datenverkehr
176.882
Spitze 10k
Top 10.000 Websites nach Verkehr
25.313
Gesamtes Internet
216.056.308
Vereinigte Staaten
43.676.196
Deutschland
8.087.397
Vereinigtes Königreich
5.280.466
Australien
3.036.096
Russland
2.938.282
Kanada
2.252.590
Frankreich
1.409.476
Italien
1.297.912
Niederlande
1.196.768
Brasilien
1.112.962
Spanien
1.109.178
China
1.088.372
Schweiz
1.021.192
.co
1.003.099
Indien
886.786
Japan
869.086
CC Kokosinseln
586.494
PL Polen
523.999
BE Belgien
487.609
SE Schweden
487.241
NZ Neuseeland
457.172
AT Österreich
453.046
ME .Mich
404.149
IO .io
373.248
NO Norwegen
332.094
MX Mexiko
326.160
CZ Tschechische Republik
323.925
DK Dänemark
306.181
IE Irland
292.643
ZA Südafrika
291.311
KR Südkorea
262.964
TR Truthahn
241.335
FI Finnland
228.193
RO Rumänien
227.677
AI Anguilla
210.171
ID Indonesien
203.879
PH Philippinen
194.285
PT Portugal
181.065
TV .Fernseher
140.109
HU Ungarn
137.793
SG Singapur
135.558
CL Chile
111.905
GR Griechenland
111.512
HK Hongkong
106.935
AR Argentinien
101.525
TH Thailand
98.351
SK Slowakei
96.655
UA Ukraine
95.635
TW Taiwan
91.329
VN Vietnam
86.365
MY Malaysia
84.280
IL Israel
82.944
AE Vereinigte Arabische Emirate
80.559
VG Britische Jungferninseln
73.860
LU Luxemburg
68.161
WS Samoa
61.275
SI Slowenien
44.827
PK Pakistan
41.715
LT Litauen
40.722
EE Estland
40.132
BG Bulgarien
38.949
IR Iran
38.462
IS Island
37.983
SA Saudi-Arabien
35.915
LV Lettland
35.631
PE Peru
34.818
CM Kamerun
30.113
IM Isle of Man
30.088
EC Ecuador
28.662
HR Kroatien
25.461
CY Zypern
25.175
GG Guernsey
21.586
CR Costa Rica
21.172
NG Nigeria
21.000
PW Palau
20.534
NU Niue
20.522
VC St. Vincent und die Grenadinen
20.256
PR Puerto Rico
20.169
RS Serbien
20.091
SH St. Helena
20.002
TO Tonga
19.587
KE Kenia
19.043
RE Wiedervereinigung
18.290
LI Liechtenstein
17.870
BD Bangladesch
16.986
UY Uruguay
16.465
BY Weißrussland
15.235
MT Malta
14.627
KZ Kasachstan
13.583
DO Dominikanische Republik
12.653
MA Marokko
12.385
SO Somalia
12.183
EG Ägypten
11.789
AM Armenien
11.500
GT Guatemala
11.157
BZ Belize
10.072
VE Venezuela
9.901
AL Albanien
9.704
LB Libanon
9.523
PM Saint-Pierre und Miquelon
9.280
LK Sri Lanka
9.145
PA Panama
9.094
FM Mikronesien
8.974
QA Katar
8.467
GE Georgia
8.367
UG Uganda
8.320
CX Weihnachtsinsel
7.655
NP Nepal
7.434
GH Ghana
7.152
UZ Usbekistan
6.304
KW Kuwait
5.982
TZ Tansania
5.785
MD Moldawien
5.374
JO Jordanien
5.218
MK Mazedonien
5.052
ET Äthiopien
4.819
AG Antigua und Barbuda
4.301
HN Honduras
4.234
PY Paraguay
4.108
KH Kambodscha
3.977
GP Guadeloupe
3.830
BO Bolivien
3.794
MU Mauritius
3.672
SV El Salvador
3.620
AD Andorra
3.578
BS Bahamas
3.567
TN Tunesien
3.535
BM Bermuda
3.504
AZ Aserbaidschan
3.475
BH Bahrain
3.337
ST São Tomé und Príncipe
3.302
BA Bosnien und Herzegowina
3.279
MC Monaco
3.274
DZ Algerien
3.212
OM Oman
3.211
KY Cayman-Inseln
3.141
NA Namibia
3.126
RW Ruanda
2.967
MN Mongolei
2.881
SC Seychellen
2.814
JE Jersey
2.725
SX Sint Maarten
2.712
ZW Simbabwe
2.610
AF Afghanistan
2.566
FO Färöer Inseln
2.371
TT Trinidad und Tobago
2.361
MS Montserrat
2.356
JM Jamaika
2.174
ZM Sambia
2.164
IQ Irak
1.968
VI Amerikanische Jungferninseln
1.964
KG Kirgisistan
1.936
NI Nicaragua
1.936
LC St. Lucia
1.922
MQ Martinique
1.831
YT Mayotte
1.814
MZ Mosambik
1.743
CI Elfenbeinküste
1.735
BB Barbados
1.688
MV Malediven
1.681
GD Grenada
1.573
MM Myanmar
1.569
AO Angola
1.550
SN Senegal
1.448
NC Neukaledonien
1.428
GL Grönland
1.407
BW Botswana
1.327
PS Palästina
1.288
AS Amerikanisch-Samoa
1.283
GY Guyana
1.268
FJ Fidschi
1.186
MG Madagaskar
1.167
GI Gibraltar
1.160
TC Turks- und Caicosinseln
1.111
DJ Dschibuti
1.096
GS Südgeorgien und die Südlichen Sandwichinseln
1.063
CD Kongo
1.062
AW Aruba
987
AX Åland-Inseln
936
HT Haiti
854
TJ Tadschikistan
694
ML Mali
675
VU Vanuatu
670
GM Gambia
664
MW Malawi
659
WF Wallis und Futuna
646
PG Papua-Neuguinea
628
TG Togo
603
BF Burkina Faso
531
TL Osttimor
480
CU Kuba
466
SL Sierra Leone
460
BN BRUNEI
428
GU Guam
401
BJ Benin
388
SY Syrien
368
SR Suriname
342
LY Libyen
310
TM Turkmenistan
309
BI Burundi
297
SB Salomon-Inseln
293
GF Französisch-Guayana
289
SM San Marino
288
LA Demokratische Volksrepublik Laos
282
SD Sudan
262
MR Mauretanien
260
LR Liberia
254
CK Cookinseln
245
PF Französisch-Polynesien
237
BT Bhutan
237
MO Macau
235
LS Lesotho
221
SZ Swasiland
206
YE Jemen
193
SJ Spitzbergen und Jan Mayen
176
CW Curacao
170
NE Niger
165
GA Gabun
149
KN St. Kitts und Nevis
144
DM Dominica
138
MP Nördliche Marianen
106
NF Norfolkinsel
100
HM Heard Island und McDonald Islands
90
SS Südsudan
90
CV Kap Verde
65
VA Vatikanstadt
65
KI Kiribati
63
UM Kleinere abgelegene Inseln der Vereinigten Staaten
62
GN Guinea
62
FK Falklandinseln
58
TD Tschad
50
MH Marshallinseln
38
GW Guinea-Bissau
36
PN Pitcairn
33
CG Kongo
31
AQ Antarktis
31
BL Saint-Barthélemy
29
NR Nauru
24
BQ Bonaire
20
GQ Äquatorialguinea
18
Robots.txt Kategorien