منع موقع من الزحف بواسطة Common Crawl Crawler.
https://commoncrawl.org/
ملف robots.txt · روبوت الذكاء الاصطناعي
احصل على إمكانية الوصول إلى البيانات 4,796,720 المواقع الالكترونية تلك هي Common Crawl Bot Disallow عملاء. نحن نعلم عن 3,722,656 المواقع الحية استخدام Common Crawl Bot Disallow وإضافية 1,074,064 المواقع التي استخدمتها Common Crawl Bot Disallow تاريخيا و 2,568,345 المواقع الالكترونية في الولايات المتحدة.
احصل على قائمة 4,796,720 المواقع التي تستخدم Common Crawl Bot Disallow والتي تتضمن معلومات الموقع وبيانات الاستضافة وتفاصيل الاتصال، 3,722,656 المواقع الحية حاليا وإضافية 1,819,486 المجالات التي تقوم بإعادة التوجيه إلى المواقع الموجودة في هذه القائمة. 1,074,064 المواقع التي استخدمت هذه التقنية سابقًاو 2,568,345 المواقع الالكترونية في الولايات المتحدة أستخدم حاليا Common Crawl Bot Disallow.
بلدان
Financial
Group
Region