На сайте действуют правила запрета для бота BuiltWith Technology Index.
https://builtwith.com/biup
Роботы.txt
Получите доступ к данным о 333 641 веб-сайты которые есть BuiltWithBot Disallow Клиенты. Мы знаем о 114 753 живые сайты с использованием BuiltWithBot Disallow и дополнительный 218 888 сайты, которые использовали BuiltWithBot Disallow исторически и 54 283 веб-сайты в Соединенные Штаты.
Получить список 333 641 веб-сайты, использующие BuiltWithBot Disallow которая включает в себя информацию о местоположении, данные о хостинге, контактные данные, 114 753 в настоящее время работают веб-сайты и дополнительный 54 049 домены, которые перенаправляют на сайты из этого списка. 218 888 сайты, которые использовали эту технологию ранееи 54 283 веб-сайты в Соединенные Штаты в настоящее время использую BuiltWithBot Disallow.
Страны
Financial
Group
Region