На сайте есть правила запрета для Applebot.
https://support.apple.com/en-us/HT204683
Роботы.txt
Получите доступ к данным о 4 880 696 веб-сайты которые есть AppleBot Disallow Клиенты. Мы знаем о 3 990 455 живые сайты с использованием AppleBot Disallow и дополнительный 890 241 сайты, которые использовали AppleBot Disallow исторически и 2 617 947 веб-сайты в Соединенные Штаты.
Получить список 4 880 696 веб-сайты, использующие AppleBot Disallow которая включает в себя информацию о местоположении, данные о хостинге, контактные данные, 3 990 455 в настоящее время работают веб-сайты и дополнительный 1 827 676 домены, которые перенаправляют на сайты из этого списка. 890 241 сайты, которые использовали эту технологию ранееи 2 617 947 веб-сайты в Соединенные Штаты в настоящее время использую AppleBot Disallow.
Страны
Financial
Group
Region