Common Crawl Bot Disallow Статистика использования

Вершина 10k

Вершина 100k

Вершина 1m

Весь Интернет

Заблокируйте сканирование сайта поисковым роботом Common Crawl.

https://commoncrawl.org/

Роботы.txt · ИИ-бот

Common Crawl Bot Disallow Клиенты

Получите доступ к данным о 4 766 999 веб-сайты которые есть Common Crawl Bot Disallow Клиенты. Мы знаем о 3 681 953 живые сайты с использованием Common Crawl Bot Disallow и дополнительный 1 085 046 сайты, которые использовали Common Crawl Bot Disallow исторически и 2 540 879 веб-сайты в Соединенные Штаты.

Загрузить список лидов

Common Crawl Bot Disallow Награды

2nd самый популярный в Соединенные Штаты в ИИ-бот категория.
2nd самый популярный in the Top 10k sites в ИИ-бот категория.
2nd самый популярный in the Top 100k sites в ИИ-бот категория.
2nd самый популярный in the Top 1 Million sites в ИИ-бот категория.
3rd самый популярный on the Entire Internet в ИИ-бот категория.
The самый популярный in Greece в ИИ-бот категория.
The самый популярный in Mauritius в ИИ-бот категория.
The самый популярный in Honduras в ИИ-бот категория.
The самый популярный in Iran в ИИ-бот категория.
The самый популярный in Maldives в ИИ-бот категория.
2nd самый популярный в Соединенные Штаты в Роботы.txt категория.
6th most popular in the Top 10k sites в Роботы.txt категория.
9th most popular in the Top 100k sites в Роботы.txt категория.
13th most popular in the Top 1 Million sites в Роботы.txt категория.
17th most popular on the Entire Internet в Роботы.txt категория.
3rd самый популярный in the United States Virgin Islands в Роботы.txt категория.
3rd самый популярный in Saudi Arabia в Роботы.txt категория.
3rd самый популярный in Åland Islands в Роботы.txt категория.
3rd самый популярный in Bermuda в Роботы.txt категория.
3rd самый популярный in Barbados в Роботы.txt категория.

Common Crawl Bot Disallow Конкуренты и подобные

GPTBot Disallow
3 751 266 живые сайты

Anthropic Claude Bot Disallow
3 551 800 живые сайты

Google Bard Disallow
3 391 288 живые сайты

Facebook Bot Disallow
3 347 039 живые сайты

Cohere AI Disallow
3 248 417 живые сайты

Apple AI Bot Disallow
3 256 425 живые сайты

Perplexity
3 192 806 живые сайты

Alexa Bot Disallow
5 029 184 живые сайты

AmazonBot Disallow
1 841 069 живые сайты

ByteDance Bytespider Disallow
665 525 живые сайты

Webz Omgili Disallow
386 711 живые сайты

Diffbot Disallow
262 940 живые сайты

YOU Disallow
160 638 живые сайты

Загрузить список лидов

Получить список 4 766 999 веб-сайты, использующие Common Crawl Bot Disallow которая включает в себя информацию о местоположении, данные о хостинге, контактные данные, 3 681 953 в настоящее время работают веб-сайты и дополнительный 1 797 361 домены, которые перенаправляют на сайты из этого списка. 1 085 046 сайты, которые использовали эту технологию ранееи 2 540 879 веб-сайты в Соединенные Штаты в настоящее время использую Common Crawl Bot Disallow.