~의 AI 봇 로봇.txt 인터넷 전체에서. 마지막 업데이트 23 9 2025.
Common Crawl Bot Disallow 현재 이 범주에서 가장 많이 사용되는 기술입니다.
일반 로봇은 규칙을 허용하지 않습니다.