На сайте действуют правила запрета для Microsoft MSNBot.
https://blogs.bing.com/webmaster/2009/08/10/crawl-delay-and-the-bing-crawler-msnbot
Роботы.txt
Получите доступ к данным о 1 496 654 веб-сайты которые есть Microsoft MSNBot Disallow Клиенты. Мы знаем о 448 759 живые сайты с использованием Microsoft MSNBot Disallow и дополнительный 1 047 895 сайты, которые использовали Microsoft MSNBot Disallow исторически и 232 295 веб-сайты в Соединенные Штаты.
Получить список 1 496 654 веб-сайты, использующие Microsoft MSNBot Disallow которая включает в себя информацию о местоположении, данные о хостинге, контактные данные, 448 759 в настоящее время работают веб-сайты и дополнительный 437 368 домены, которые перенаправляют на сайты из этого списка. 1 047 895 сайты, которые использовали эту технологию ранееи 232 295 веб-сайты в Соединенные Штаты в настоящее время использую Microsoft MSNBot Disallow.
Страны
Financial
Group
Region