해당 웹사이트에는 Alexa의 ia_archiver 봇에 대한 금지 규칙이 있습니다.
https://support.alexa.com/hc/en-us/articles/200450194-Alexa-s-Web-and-Site-Audit-Crawlers
로봇.txt · AI 봇
데이터에 액세스하세요 12,137,045 웹사이트 그것이다 Alexa Bot Disallow 고객. 우리는 알고있다 4,719,358 라이브 웹사이트 사용 중 Alexa Bot Disallow 그리고 추가적으로 7,417,687 사용된 사이트 Alexa Bot Disallow 역사적으로 그리고 2,117,720 웹사이트 미국
4,737,588 라이브 사이트
4,648,308 라이브 사이트
4,532,097 라이브 사이트
4,430,048 라이브 사이트
4,421,166 라이브 사이트
3,515,450 라이브 사이트
3,462,009 라이브 사이트
3,451,924 라이브 사이트
라이브 사이트
4,834,727 라이브 사이트
4,299,023 라이브 사이트
1,266,930 라이브 사이트
8,297,265 라이브 사이트
8,906,110 라이브 사이트
11,796,610 라이브 사이트
11,856,471 라이브 사이트
1,856,245 라이브 사이트
12,003,031 라이브 사이트
12,495,810 라이브 사이트
12,568,342 라이브 사이트
12,739,715 라이브 사이트
1,611,720 라이브 사이트
1,575,317 라이브 사이트
18,145,897 라이브 사이트
289,242 라이브 사이트
748,513 라이브 사이트
245,747 라이브 사이트
539,531 라이브 사이트
162,121 라이브 사이트
348,246 라이브 사이트
목록을 얻으세요 4,737,944 사용하는 웹사이트 Alexa Bot Disallow 여기에는 위치 정보, 호스팅 데이터, 연락처 정보가 포함됩니다. 목록에는 다음이 포함됩니다 4,719,358 라이브 웹사이트 그리고 18,586 해당 사이트로 리디렉션되는 웹사이트. 2,117,720 이 사이트 중 일부는 미국.
우리는 또한 알고 있습니다 7,417,687 사용된 사이트 Alexa Bot Disallow 이전에.