Un robot non consente alcuna direttiva senza altre opzioni.
https://robotstxt.org
Robot.txt
Ottieni l'accesso ai dati su 19.155.474 siti web che sono Robots Disallow Clienti. Noi sappiamo di 8.326.302 siti web live utilizzando Robots Disallow e un ulteriore 10.829.172 siti che hanno utilizzato Robots Disallow storicamente E 3.326.218 siti web in Stati Uniti
Questa è una tecnologia esclusa dai grafici. I robot generali non consentono la regola.
18.145.897 siti live
12.568.342 siti live
11.856.471 siti live
333.596 siti live
278.430 siti live
12.739.715 siti live
12.495.810 siti live
335.791 siti live
4.719.358 siti live
44.424 siti live
12.003.031 siti live
4.299.023 siti live
121.377 siti live
141.795 siti live
25.985 siti live
11.796.610 siti live
8.297.265 siti live
8.906.110 siti live
290.384 siti live
65.589 siti live
67.367 siti live
539.515 siti live
3.434 siti live
5.323 siti live
21.224 siti live
50.817 siti live
559 siti live
1.545.212 siti live
1.518.445 siti live
1.856.245 siti live
Ottieni un elenco di 8.542.848 siti web che utilizzano Robots Disallow che include informazioni sulla posizione, dati di hosting e dettagli di contatto. L'elenco include 8.326.302 siti web live E 216.546 siti web che reindirizzano a quei siti. 3.326.218 di questi siti sono in gli Stati Uniti.
Sappiamo anche di 10.829.172 siti che hanno utilizzato Robots Disallow precedentemente.