На сайте есть запрещающие правила для бота DuckDuckGo.
https://help.duckduckgo.com/duckduckgo-help-pages/results/duckduckbot/
Роботы.txt
Получите доступ к данным о 312 688 веб-сайты которые есть DuckDuckGo Bot Disallow Клиенты. Мы знаем о 228 358 живые сайты с использованием DuckDuckGo Bot Disallow и дополнительный 84 330 сайты, которые использовали DuckDuckGo Bot Disallow исторически и 49 168 веб-сайты в Соединенные Штаты.
Получить список 312 688 веб-сайты, использующие DuckDuckGo Bot Disallow которая включает в себя информацию о местоположении, данные о хостинге, контактные данные, 228 358 в настоящее время работают веб-сайты и дополнительный 294 144 домены, которые перенаправляют на сайты из этого списка. 84 330 сайты, которые использовали эту технологию ранееи 49 168 веб-сайты в Соединенные Штаты в настоящее время использую DuckDuckGo Bot Disallow.
Страны
Financial
Group
Region