يمنع بعض الروبوتات، ولكن ليس كلها، من فهرسة موقع الويب.
https://robotstxt.org
ملف robots.txt
احصل على إمكانية الوصول إلى البيانات 63,578,813 المواقع الالكترونية تلك هي Some Robots Disallow عملاء. نحن نعلم عن 10,759,718 المواقع الحية استخدام Some Robots Disallow وإضافية 52,819,095 المواقع التي استخدمتها Some Robots Disallow تاريخيا و 6,582,545 المواقع الالكترونية في الولايات المتحدة
هذه تقنية مستبعدة من الرسوم البيانية. الروبوتات العامة لا تسمح بالقاعدة.
18,145,897 المواقع الحية
12,568,342 المواقع الحية
11,856,471 المواقع الحية
297,992 المواقع الحية
286,720 المواقع الحية
12,739,715 المواقع الحية
12,495,810 المواقع الحية
312,516 المواقع الحية
4,719,358 المواقع الحية
26,459 المواقع الحية
12,003,031 المواقع الحية
4,299,023 المواقع الحية
84,870 المواقع الحية
181,817 المواقع الحية
12,010 المواقع الحية
11,796,610 المواقع الحية
8,297,265 المواقع الحية
8,906,110 المواقع الحية
270,110 المواقع الحية
51,290 المواقع الحية
54,616 المواقع الحية
1,371 المواقع الحية
3,444 المواقع الحية
5,177 المواقع الحية
7,468 المواقع الحية
36,783 المواقع الحية
529 المواقع الحية
1,335,258 المواقع الحية
1,417,242 المواقع الحية
1,856,245 المواقع الحية
احصل على قائمة 10,827,923 المواقع التي تستخدم Some Robots Disallow والتي تتضمن معلومات الموقع وبيانات الاستضافة وتفاصيل الاتصال. وتتضمن القائمة 10,759,718 المواقع الحية و 68,205 المواقع الإلكترونية التي تعيد التوجيه إلى تلك المواقع. 6,582,545 من هذه المواقع في الولايات المتحدة.
ونحن نعلم أيضا 52,819,095 المواقع التي استخدمتها Some Robots Disallow سابقًا.