На веб-сайте есть правила запрета для бота BuildingWith Technology Index.
https://builtwith.com/biup
Роботы.txt
Получите доступ к данным на 177 707 веб-сайты BuiltWithBot Disallow Клиенты. Мы знаем о 88 947 живые веб-сайты с использованием BuiltWithBot Disallow и дополнительный 88 760 сайты, которые использовали BuiltWithBot Disallow исторически и 57 291 веб-сайты в Соединенные Штаты.
Получить список 177 707 веб-сайты, использующие BuiltWithBot Disallow который включает информацию о местоположении, данные хостинга, контактные данные, 88 947 действующие в настоящее время веб-сайты и дополнительный 39 907 домены, которые перенаправляют на сайты из этого списка. 88��760 сайты, которые использовали эту технологию ранееи 57 291 веб-сайты в Соединенные Штаты в настоящее время использую BuiltWithBot Disallow.
Страны
Financial
Group
Region