Common Crawl Bot Disallow Статистика использования

Вершина 10k

Вершина 100k

Вершина 1m

Весь Интернет

Заблокируйте сканирование сайта поисковым роботом Common Crawl.

https://commoncrawl.org/

Роботы.txt · ИИ-бот

Common Crawl Bot Disallow Клиенты

Получите доступ к данным о 4 796 720 веб-сайты которые есть Common Crawl Bot Disallow Клиенты. Мы знаем о 3 722 656 живые сайты с использованием Common Crawl Bot Disallow и дополнительный 1 074 064 сайты, которые использовали Common Crawl Bot Disallow исторически и 2 568 345 веб-сайты в Соединенные Штаты.

Загрузить список лидов

Common Crawl Bot Disallow Награды

2nd самый популярный в Соединенные Штаты в ИИ-бот категория.
2nd самый популярный in the Top 10k sites в ИИ-бот категория.
2nd самый популярный in the Top 100k sites в ИИ-бот категория.
2nd самый популярный in the Top 1 Million sites в ИИ-бот категория.
3rd самый популярный on the Entire Internet в ИИ-бот категория.
The самый популярный in Mauritius в ИИ-бот категория.
The самый популярный in Honduras в ИИ-бот категория.
The самый популярный in Iran в ИИ-бот категория.
The самый популярный in Kuwait в ИИ-бот категория.
The самый популярный in Saudi Arabia в ИИ-бот категория.
2nd самый популярный в Соединенные Штаты в Роботы.txt категория.
6th most popular in the Top 10k sites в Роботы.txt категория.
10th most popular in the Top 100k sites в Роботы.txt категория.
13th most popular in the Top 1 Million sites в Роботы.txt категория.
17th most popular on the Entire Internet в Роботы.txt категория.
2nd самый популярный in Saudi Arabia в Роботы.txt категория.
3rd самый популярный in Åland Islands в Роботы.txt категория.
3rd самый популярный in Turks and Caicos Islands в Роботы.txt категория.
3rd самый популярный in Barbados в Роботы.txt категория.
4th самый популярный in New Zealand в Роботы.txt категория.

Common Crawl Bot Disallow Конкуренты и подобные

GPTBot Disallow
3 819 558 живые сайты

Anthropic Claude Bot Disallow
3 591 156 живые сайты

Google Bard Disallow
3 430 304 живые сайты

Facebook Bot Disallow
3 384 465 живые сайты

Apple AI Bot Disallow
3 293 219 живые сайты

Cohere AI Disallow
3 282 715 живые сайты

Perplexity
3 229 070 живые сайты

Alexa Bot Disallow
5 217 515 живые сайты

AmazonBot Disallow
2 039 981 живые сайты

ByteDance Bytespider Disallow
673 782 живые сайты

Webz Omgili Disallow
392 093 живые сайты

Diffbot Disallow
268 227 живые сайты

YOU Disallow
164 979 живые сайты

Anthropic Claude User Bot Disallow
3 763 живые сайты

Загрузить список лидов

Получить список 4 796 720 веб-сайты, использующие Common Crawl Bot Disallow которая включает в себя информацию о местоположении, данные о хостинге, контактные данные, 3 722 656 в настоящее время работают веб-сайты и дополнительный 1 819 486 домены, которые перенаправляют на сайты из этого списка. 1 074 064 сайты, которые использовали эту технологию ранееи 2 568 345 веб-сайты в Соединенные Штаты в настоящее время использую Common Crawl Bot Disallow.