На сайте есть запрещающие правила для бота Alexa ia_archiver.
https://support.alexa.com/hc/en-us/articles/200450194-Alexa-s-Web-and-Site-Audit-Crawlers
Роботы.txt · ИИ-бот
Получите доступ к данным о 10 600 083 веб-сайты которые есть Alexa Bot Disallow Клиенты. Мы знаем о 5 217 515 живые сайты с использованием Alexa Bot Disallow и дополнительный 5 382 568 сайты, которые использовали Alexa Bot Disallow исторически и 2 289 738 веб-сайты в Соединенные Штаты.
Получить список 10 600 083 веб-сайты, использующие Alexa Bot Disallow которая включает в себя информацию о местоположении, данные о хостинге, контактные данные, 5 217 515 в настоящее время работают веб-сайты и дополнительный 552 421 домены, которые перенаправляют на сайты из этого списка. 5 382 568 сайты, которые использовали эту технологию ранееи 2 289 738 веб-сайты в Соединенные Штаты в настоящее время использую Alexa Bot Disallow.
Страны
Financial
Group
Region