На сайте действуют правила запрета для Microsoft MSNBot.
https://blogs.bing.com/webmaster/2009/08/10/crawl-delay-and-the-bing-crawler-msnbot
Роботы.txt
Получите доступ к данным о 1 537 329 веб-сайты которые есть Microsoft MSNBot Disallow Клиенты. Мы знаем о 428 704 живые сайты с использованием Microsoft MSNBot Disallow и дополнительный 1 108 625 сайты, которые использовали Microsoft MSNBot Disallow исторически и 224 095 веб-сайты в Соединенные Штаты.
Получить список 1 537 329 веб-сайты, использующие Microsoft MSNBot Disallow которая включает в себя информацию о местоположении, данные о хостинге, контактные данные, 428 704 в настоящее время работают веб-сайты и дополнительный 426 020 домены, которые перенаправляют на сайты из этого списка. 1 108 625 сайты, которые использовали эту технологию ранееи 224 095 веб-сайты в Соединенные Штаты в настоящее время использую Microsoft MSNBot Disallow.
Страны
Financial
Group
Region