robots.txt

이번 포스팅에서 다루고자 하는 주제는 “robots.txt”입니다. 이 용어가 낯설게 느껴질 수 있는데요, 검색 엔진 최적화에서 절대 빼놓을 수 없는 요소인 만큼 이해해야 합니다. 1. robots.txt란? 크롤러가 사이트의 섹션에 액세스하지 못하도록 하려면 적절한 규칙으로 robots.txt 파일을 만들면 됩니다. robots.txt 파일은 어떤 …