阻止部分（但不是全部）机器人对网站进行索引。
https://robotstxt.org
Robots.txt
获取以下数据 63,578,813 网站 即 Some Robots Disallow 顾客. 我们知道 10,759,718 直播网站 使用 Some Robots Disallow 以及额外的 52,819,095 使用的网站 Some Robots Disallow 历史上 和 6,582,545 网站 美国
这是图表中排除的一项技术。 一般机器人不允许规则。
18,145,897 实时网站
12,568,342 实时网站
11,856,471 实时网站
333,596 实时网站
278,430 实时网站
12,739,715 实时网站
12,495,810 实时网站
335,791 实时网站
4,719,358 实时网站
44,424 实时网站
12,003,031 实时网站
4,299,023 实时网站
121,377 实时网站
141,795 实时网站
25,985 实时网站
11,796,610 实时网站
8,297,265 实时网站
8,906,110 实时网站
290,384 实时网站
65,589 实时网站
67,367 实时网站
539,515 实时网站
3,434 实时网站
5,323 实时网站
21,224 实时网站
50,817 实时网站
559 实时网站
1,545,212 实时网站
1,518,445 实时网站
1,856,245 实时网站
获取列表 10,827,923 网站使用 Some Robots Disallow 其中包括位置信息、托管数据和联系方式。 该列表包括 10,759,718 直播网站 和 68,205 重定向到这些网站的网站。 6,582,545 这些网站 美国.
我们还知道 52,819,095 使用过的站点 Some Robots Disallow 之前.