Common Crawl Bot Disallow Статистика использования

Вершина 10k

Вершина 100k

Вершина 1m

Весь Интернет

Заблокируйте сканирование сайта поисковым роботом Common Crawl.

https://commoncrawl.org/

Роботы.txt · ИИ-бот

Common Crawl Bot Disallow Клиенты

Получите доступ к данным о 5 133 646 веб-сайты которые есть Common Crawl Bot Disallow Клиенты. Мы знаем о 4 137 593 живые сайты с использованием Common Crawl Bot Disallow и дополнительный 996 053 сайты, которые использовали Common Crawl Bot Disallow исторически и 2 795 422 веб-сайты в Соединенные Штаты.

Загрузить список лидов

Common Crawl Bot Disallow Награды

2nd самый популярный в Соединенные Штаты в ИИ-бот категория.
2nd самый популярный in the Top 10k sites в ИИ-бот категория.
2nd самый популярный in the Top 100k sites в ИИ-бот категория.
2nd самый популярный in the Top 1 Million sites в ИИ-бот категория.
3rd самый популярный on the Entire Internet в ИИ-бот категория.
The самый популярный in Mauritius в ИИ-бот категория.
The самый популярный in Honduras в ИИ-бот категория.
The самый популярный in Iran в ИИ-бот категория.
The самый популярный in Kuwait в ИИ-бот категория.
The самый популярный in Saudi Arabia в ИИ-бот категория.
2nd самый популярный в Соединенные Штаты в Роботы.txt категория.
6th most popular in the Top 10k sites в Роботы.txt категория.
10th most popular in the Top 100k sites в Роботы.txt категория.
13th most popular in the Top 1 Million sites в Роботы.txt категория.
17th most popular on the Entire Internet в Роботы.txt категория.
2nd самый популярный in Saudi Arabia в Роботы.txt категория.
3rd самый популярный in Åland Islands в Роботы.txt категория.
3rd самый популярный in Turks and Caicos Islands в Роботы.txt категория.
3rd самый популярный in Barbados в Роботы.txt категория.
4th самый популярный in New Zealand в Роботы.txt категория.

Common Crawl Bot Disallow Конкуренты и подобные

Anthropic Claude Bot Disallow
4 055 356 живые сайты

GPTBot Disallow
4 332 037 живые сайты

Google Bard Disallow
3 908 744 живые сайты

Facebook Bot Disallow
3 519 291 живые сайты

Apple AI Bot Disallow
3 695 138 живые сайты

Cohere AI Disallow
3 421 402 живые сайты

Perplexity
3 439 952 живые сайты

AmazonBot Disallow
2 493 453 живые сайты

Alexa Bot Disallow
5 651 873 живые сайты

ByteDance Bytespider Disallow
948 272 живые сайты

Webz Omgili Disallow
403 551 живые сайты

Diffbot Disallow
279 601 живые сайты

YOU Disallow
174 897 живые сайты

Anthropic Claude User Bot Disallow
82 378 живые сайты

Загрузить список лидов

Получить список 5 133 646 веб-сайты, использующие Common Crawl Bot Disallow которая включает в себя информацию о местоположении, данные о хостинге, контактные данные, 4 137 593 в настоящее время работают веб-сайты и дополнительный 1 980 601 домены, которые перенаправляют на сайты из этого списка. 996 053 сайты, которые использовали эту технологию ранееи 2 795 422 веб-сайты в Соединенные Штаты в настоящее время использую Common Crawl Bot Disallow.