Ottieni un elenco di
5.671.924 siti web che utilizzano Common Crawl Bot Disallow
che include informazioni sulla posizione, dati di hosting e dettagli di contatto. L'elenco include 5.190.420 siti web live E 481.504 siti web che reindirizzano a quei siti. 3.371.356 di questi siti sono in gli Stati Uniti.
Sappiamo anche di 1.430.502 siti che hanno utilizzato Common Crawl Bot Disallow precedentemente.