منع موقع من الزحف بواسطة Common Crawl Crawler.
https://commoncrawl.org/
ملف robots.txt · روبوت الذكاء الاصطناعي
احصل على إمكانية الوصول إلى البيانات 4,707,876 المواقع الالكترونية تلك هي Common Crawl Bot Disallow عملاء. نحن نعلم عن 3,689,029 المواقع الحية استخدام Common Crawl Bot Disallow وإضافية 1,018,847 المواقع التي استخدمتها Common Crawl Bot Disallow تاريخيا و 2,532,686 المواقع الالكترونية في الولايات المتحدة.
احصل على قائمة 4,707,876 المواقع التي تستخدم Common Crawl Bot Disallow والتي تتضمن معلومات الموقع وبيانات الاستضافة وتفاصيل الاتصال، 3,689,029 المواقع الحية حاليا وإضافية 1,831,128 المجالات التي تقوم بإعادة التوجيه إلى المواقع الموجودة في هذه القائمة. 1,018,847 المواقع التي استخدمت هذه التقنية سابقًاو 2,532,686 المواقع الالكترونية في الولايات المتحدة أستخدم حاليا Common Crawl Bot Disallow.
بلدان
Financial
Group
Region