из Роботы.txt в Острова Кука. Последнее обновление 26th апр 2024.
Googlebot Disallow на данный момент является самой популярной технологией в этой категории.