이 페이지에는 검색 엔진과 로봇에게 페이지를 인덱싱할지, 인덱싱하지 않을지 알려주는 메타 로봇 태그가 포함되어 있습니다.
https://en.wikipedia.org/wiki/Robots_Exclusion_Standard
문서 표준