منع موقع من الزحف بواسطة Common Crawl Crawler.
https://commoncrawl.org/
ملف robots.txt · روبوت الذكاء الاصطناعي
للأسف، لا تتوفر لدينا بيانات عن هذه التقنية حتى الآن. ربما أُضيفت مؤخرًا أو أنها موجودة هنا لأغراض تاريخية.
393,526 المواقع الحية
280,847 المواقع الحية
409,286 المواقع الحية
77,647 المواقع الحية
187,605 المواقع الحية
113,665 المواقع الحية
30,771 المواقع الحية
325,695 المواقع الحية
72,320 المواقع الحية
73,308 المواقع الحية
3,643 المواقع الحية
5,539 المواقع الحية
25,609 المواقع الحية
55,792 المواقع الحية
564 المواقع الحية
36 المواقع الحية
1,008,012 المواقع الحية
259,620 المواقع الحية
342,493 المواقع الحية
163,249 المواقع الحية
30,301 المواقع الحية
36,203 المواقع الحية
18,370 المواقع الحية
531,459 المواقع الحية