Di Robot di intelligenza artificiale Robots.txt . Ultimo aggiornamento 30 ott 2025.
Common Crawl Bot Disallow รจ attualmente la tecnologia piรน utilizzata in questa categoria.
I robot generali non consentono la regola.