На сайте есть правила запрета для бота Semrush.
https://www.semrush.com/bot/
Роботы.txt
Получите доступ к данным о 4 563 578 веб-сайты которые есть Semrush Bot Disallow Клиенты. Мы знаем о 1 988 371 живые сайты с использованием Semrush Bot Disallow и дополнительный 2 575 207 сайты, которые использовали Semrush Bot Disallow исторически и 816 262 веб-сайты в Соединенные Штаты.
Получить список 4 563 578 веб-сайты, использующие Semrush Bot Disallow которая включает в себя информацию о местоположении, данные о хостинге, контактные данные, 1 988 371 в настоящее время работают веб-сайты и дополнительный 1 028 334 домены, которые перенаправляют на сайты из этого списка. 2 575 207 сайты, которые использовали эту технологию ранееи 816 262 веб-сайты в Соединенные Штаты в настоящее время использую Semrush Bot Disallow.
Страны
Financial
Group
Region