일부 로봇의 웹사이트 인덱싱을 차단하지만 모든 로봇의 웹사이트 인덱싱은 차단하지 않습니다.
https://robotstxt.org
로봇.txt
데이터에 액세스하세요 63,578,813 웹사이트 그것이다 Some Robots Disallow 고객. 우리는 알고있다 10,759,718 라이브 웹사이트 사용 중 Some Robots Disallow 그리고 추가적으로 52,819,095 사용된 사이트 Some Robots Disallow 역사적으로 그리고 6,582,545 웹사이트 미국
이는 차트에서 제외된 기술입니다. 일반 로봇은 규칙을 허용하지 않습니다.
18,145,897 라이브 사이트
12,568,342 라이브 사이트
11,856,471 라이브 사이트
342,667 라이브 사이트
284,127 라이브 사이트
12,739,715 라이브 사이트
12,495,810 라이브 사이트
348,246 라이브 사이트
4,719,358 라이브 사이트
45,330 라이브 사이트
12,003,031 라이브 사이트
4,299,023 라이브 사이트
124,254 라이브 사이트
177,709 라이브 사이트
26,676 라이브 사이트
11,796,610 라이브 사이트
8,297,265 라이브 사이트
8,906,110 라이브 사이트
298,390 라이브 사이트
67,352 라이브 사이트
69,159 라이브 사이트
539,531 라이브 사이트
3,527 라이브 사이트
5,380 라이브 사이트
21,888 라이브 사이트
51,823 라이브 사이트
562 라이브 사이트
1,611,720 라이브 사이트
1,575,317 라이브 사이트
1,856,245 라이브 사이트
목록을 얻으세요 10,827,923 사용하는 웹사이트 Some Robots Disallow 여기에는 위치 정보, 호스팅 데이터, 연락처 정보가 포함됩니다. 목록에는 다음이 포함됩니다 10,759,718 라이브 웹사이트 그리고 68,205 해당 사이트로 리디렉션되는 웹사이트. 6,582,545 이 사이트 중 일부는 미국.
우리는 또한 알고 있습니다 52,819,095 사용된 사이트 Some Robots Disallow 이전에.