Роботы.txt Распределение использования в 1 миллионе лучших сайтов

Распространение для сайтов, использующих Роботы.txt технологии

Топ в Роботы.txt Распределение использования в 1 миллионе лучших сайтов
Технологии Веб-сайты %
Robots Disallow 142 424 14,24
Googlebot Disallow 59 490 5,95
Ahrefs Bot Disallow 57 087 5,71
Yandex Bot Disallow 48 896 4,89
Google AdsBot Disallow 38 547 3,85
Some Robots Disallow 36 920 3,69
Baidu Bot Disallow 36 830 3,68
Microsoft BingBot Disallow 29 750 2,97
Semrush Bot Disallow 29 313 2,93
Majestic Bot Disallow 28 834 2,88
Google Media Partners Disallow 24 850 2,48
Alexa Bot Disallow 24 570 2,46
Yahoo Slurp Disallow 24 509 2,45
GPTBot Disallow 23 315 2,33
Sogou Bot Disallow 19 463 1,95
Soso Bot Disallow 16 849 1,68
Common Crawl Bot Disallow 16 448 1,64
Microsoft MSNBot Disallow 12 634 1,26
Google AdsBot Mobile Disallow 10 698 1,07
Google Image Bot Disallow 10 421 1,04
Anthropic Claude Bot Disallow 9 346 0,93
Google Bard Disallow 8 526 0,85
Exalead Bot Disallow 8 440 0,84
Google AdsBot Mobile Apps Disallow 6 995 0,7
Google News Bot Disallow 6 467 0,65
Facebook Bot Disallow 5 528 0,55
DuckDuckGo Bot Disallow 5 114 0,51
360 Bot Disallow 4 995 0,5
Google Video Bot Disallow 4 937 0,49
ByteDance Bytespider Disallow 4 695 0,47
AppleBot Disallow 4 558 0,46
Google Favicon Disallow 4 312 0,43
Google API Bot Disallow 4 203 0,42
Google DuplexWeb Disallow 4 108 0,41
Cohere AI Disallow 3 726 0,37
Webz Omgili Disallow 3 358 0,34
BuiltWithBot Disallow 2 115 0,21
Perplexity 1 887 0,19
Diffbot Disallow 1 437 0,14
Pipl Disallow 1 426 0,14
Apple AI Bot Disallow 1 051 0,11
YOU Disallow 999 0,1
Youdao Bot Disallow 969 0,1
Google FeedFetcher Disallow 136 0,01
Google Read Aloud Disallow 40 0
Google Web Light Disallow 13 0
Google BIG Bench Disallow 2 0

791 231 Обнаружения

из Роботы.txt в 1 миллионе лучших сайтов. Последнее обновление 06th июл 2024.

Google Media Partners Disallow Google Media Partners Disallow на данный момент является самой популярной технологией в этой категории.

Вершина 1m
Топ-1 000 000 сайтов по посещаемости
791 231
Вершина 100k
Топ-100 000 сайтов по посещаемости
131 611
Вершина 10k
Топ-10 000 сайтов по посещаемости
18 044
Весь Интернет
162 083 857
Соединенные Штаты
40 831 249
Германия
7 069 709
Великобритания
4 508 268
Россия
4 034 055
Австралия
2 213 154
Италия
1 850 820
Канада
1 715 444
Франция
1 204 000
Бразилия
1 129 600
.co
1 049 780
Япония
946 433
Индия
944 238
Нидерланды
885 190
Испания
717 785
Швейцария
682 392
Китай
679 642
IO .io
677 892
PL Польша
458 369
ME .me
405 744
BE Бельгия
372 432
NZ Новая Зеландия
347 468
SE Швеция
343 553
AT Австрия
297 790
MX Мексика
286 838
CZ Чешская Республика
262 555
NO Норвегия
253 379
DK Дания
242 916
KR Южная Корея
242 137
ZA Южная Африка
239 309
TR Турция
233 565
CC Кокосовые острова
220 546
RO Румыния
211 533
IE Ирландия
180 980
ID Индонезия
175 979
PH Филиппины
166 518
FI Финляндия
164 910
TV .tv
125 996
PT Португалия
124 285
TW Тайвань
119 757
TH Таиланд
118 299
SG Сингапур
113 163
CL Чили
108 091
AR Аргентина
102 144
HU Венгрия
97 069
HK Гонконг
95 737
UA Украина
92 593
GR Греция
90 068
VN Вьетнам
89 454
IL Израиль
81 796
VG Британские Виргинские острова
68 943
AE ОАЭ
64 614
SK Словакия
63 298
MY Малайзия
62 107
AI Ангилья
59 536
WS Самоа
45 011
LU Люксембург
44 514
IR Иран
38 637
PK Пакистан
37 492
SA Саудовская Аравия
37 240
BG Болгария
34 597
CM Камерун
34 381
LT Литва
33 705
PE Перу
30 962
EE Эст��ния
30 519
LV Латвия
30 087
SI Словения
25 665
IS Исландия
24 793
NU Ниуэ
23 171
HR Хорватия
20 943
PW Палау
19 058
PR Пуэрто-Рико
18 498
RS Сербия
18 349
BY Беларусь
17 833
NG Нигерия
17 145
CR Коста-Рика
15 743
EC Эквадор
15 653
UY Уругвай
15 149
KE Кения
14 813
IM Остров Мэн
13 269
KZ Казахстан
13 159
TO Тонга
12 105
LI Лихтенштейн
12 007
BD Бангладеш
11 876
RE Воссоединение
11 766
GG Гернси
11 487
MT Мальта
10 858
VC Святой Винсент и Гренадины
10 847
DO Доминиканская Республика
10 656
MA Марокко
10 303
EG Египет
9 905
SH Остров Святой Елены
8 938
GT Гватемала
8 841
GE Грузия
7 787
BZ Белиз
7 602
PA Панама
7 399
VE Венесуэла
7 152
LB Ливан
6 710
SO Сомали
6 678
LK Шри-Ланка
6 561
UG Уганда
6 390
AL Албания
6 243
GH Гана
6 200
CY Кипр
6 061
QA Катар
6 024
AM Армения
5 964
UZ Узбекистан
5 894
FM Микронезия
5 669
NP Непал
5 127
KW Кувейт
4 889
MK Македония
4 421
JO Иордания
4 216
MD Молдова
4 003
CX Остров Рождества
3 894
TZ Танзания
3 608
PY Парагвай
3 472
TN Тунис
3 286
MU Маврикий
3 228
HN Гондурас
3 210
AZ Азербайджан
3 197
BO Боливия
2 987
NA Намибия
2 738
OM Оман
2 737
AG Антигуа и Барбуда
2 660
MC Монако
2 652
MN Монголия
2 562
DZ Алжир
2 481
BS Багамы
2 408
KY Каймановы острова
2 348
ZW Зимбабве
2 343
SV Сальвадор
2 310
BH Бахрейн
2 263
ST Сан-Томе и Принсипи
2 252
BA Босния и Герцеговина
2 171
RW Руанда
2 168
AF Афганистан
2 158
GP Гваделупа
2 011
BM Бермуды
1 973
VI Виргинские острова США
1 965
ZM Замбия
1 958
KH Камбоджа
1 905
SC Сейшельские острова
1 842
MS Монтсеррат
1 825
LC Санкт-Люсия
1 763
TT Тринидад и Тобаго
1 749
IQ Ирак
1 709
ET Эфиопия
1 676
NI Никарагуа
1 659
NC Новая Каледония
1 591
MZ Мозамбик
1 386
MV Мальдивы
1 345
MM Мьянма
1 330
PM Сен-Пьер и Микелон
1 325
JM Ямайка
1 299
CI Берег Слоновой Кости
1 288
KG Кыргызстан
1 279
CD Конго
1 237
MQ Мартиника
1 196
GI Гибралтар
1 164
SX Синт-Мартен
1 142
BW Ботсвана
1 125
JE Джерси
1 094
YT Майотта
1 092
SN Сенегал
1 080
AS американское Самоа
1 071
GL Гренландия
957
FJ Фиджи
942
TC Острова Тёркс и Кайкос
930
MG Мадагаскар
899
FO Фарерские острова
892
AD Андорра
888
BB Барбадос
865
AO Ангола
831
GS Южная Георгия и Южные Сандвичевы острова
792
PS Палестина
773
AW Аруба
746
TG Идти
723
GF Французская Гвиана
718
GY Гайана
663
HT Гаити
643
WF Уоллис и Футуна
638
MW Малави
592
GD Гренада
547
TJ Таджикистан
529
GM Гамбия
483
VU Вануату
457
BF Буркина-Фасо
428
ML Мали
427
BJ Бенин
413
SR Суринам
325
SL Сьерра-Леоне
324
SB Соломоновы острова
294
GU Гуам
287
SD Судан
286
YE Йемен
285
BT Бутан
282
CU Куба
282
TL Восточный Тимор
276
PG Папуа - Новая Гвинея
275
HM Остров Херд и острова Макдональда
269
TM Туркменистан
251
BN Бруней
244
DJ Джибути
236
NE Нигер
233
BI Бурунди
211
LR Либерия
201
SM Сан-Марино
199
CK Острова Кука
197
PF Французская Полинезия
194
SY Сирия
168
LA Лаосская Народно-Демократическая Республика
162
LS Лесото
153
AX Аландские острова
147
KN Сент-Китс и Невис
145
MP Северные Марианские острова
139
LY Ливия
137
SZ Свазиленд
128
CW Кюрасао
116
GA Габон
112
MR Мавритания
111
DM Доминика
101
MO Макао
91
UM Малые отдаленные острова США
82
NF Остров Норфолк
71
MH Маршалловы острова
59
CV Кабо-Верде
55
TD Чад
54
SS южный Судан
53
VA Ватикан
53
SJ Шпицберген и Ян-Майен
49
CG Конго
44
GN Гвинея
44
GW Гвинея-Бисау
44
KI Кирибати
24
FK Фолклендские острова
19
BL Сен-Бартелеми
18
PN Питкэрн
16
GQ Экваториальная Гвинея
14
AQ Антарктида
11
Категории