На веб-сайте есть правила запрета для Exalead Exabot.
https://www.exalead.com/search/webmasterguide
Роботы.txt
Получите доступ к данным на 924 438 веб-сайты Exalead Bot Disallow Клиенты. Мы знаем о 407 607 живые веб-сайты с использованием Exalead Bot Disallow и дополнительный 516 831 сайты, которые использовали Exalead Bot Disallow исторически и 194 238 веб-сайты в Соединенные Штаты.
Получить список 924 438 веб-сайты, использующие Exalead Bot Disallow который включает информацию о местоположении, данные хостинга, контактные данные, 407 607 действующие в настоящее время веб-сайты и дополнительный 179 563 домены, которые перенаправляют на сайты из этого списка. 516 831 сайты, которые использовали эту технологию ранееи 194 238 веб-сайты в Соединенные Штаты в настоящее время использую Exalead Bot Disallow.
Страны
Financial
Group
Region