На сайте есть правила запрета для бота Semrush.
https://www.semrush.com/bot/
Роботы.txt
Получите доступ к данным о 4 455 690 веб-сайты которые есть Semrush Bot Disallow Клиенты. Мы знаем о 1 711 598 живые сайты с использованием Semrush Bot Disallow и дополнительный 2 744 092 сайты, которые использовали Semrush Bot Disallow исторически и 671 898 веб-сайты в Соединенные Штаты.
Получить список 4 455 690 веб-сайты, использующие Semrush Bot Disallow которая включает в себя информацию о местоположении, данные о хостинге, контактные данные, 1 711 598 в настоящее время работают веб-сайты и дополнительный 928 542 домены, которые перенаправляют на сайты из этого списка. 2 744 092 сайты, которые использовали эту технологию ранееи 671 898 веб-сайты в Соединенные Штаты в настоящее время использую Semrush Bot Disallow.
Страны
Financial
Group
Region