실패: Robots.txt를 찾을 수 없음 완벽해결 방법

티스토리 글 작성 후 구글서치콘솔(웹마스터)에 URL 색인요청을 하였는데, '실패: Robots.txt를 찾을 수 없음' 이라는 문구가 나오셨나요? 필자도 겪은 문제라 해결방법에 대해 아래에 포스팅 해두었으니 참고 바랍니다.

발생 원인

위와같이 구글봇이 robots.txt를 읽을 수 없다면 크롤링이 불가 하다는 의미이여 이는 글 노출과 사이트맵에도 상당한 문제를 일으킬 수 있어 꽤나 심각한 문제로 발생할 수 있습니다. robots.txt는 웹사이트에서 크롤링을하며 정보를 수집하는 검색엔진 크롤러(혹은 검색로봇)가 접속 하거나 정보수집을 해도 되는 페이지가 무엇인지와 해서는 안 되는 페이지가 무엇인지 알려주는 역할을 하는 .txt (텍스트) 파일입니다. robots.txt 파일은 검색엔진 크롤러가 웹사이트에 접속 후 정보 수집을 하며 보내는 요청(request)으로 인해 사이트 과부하되는 것을 방지하는 차원에서 사용됩니다.

해결방안

robots.txt 작성을 통해 해당 오류를 수정해줄 수 있습니다.

robots.txt은 기본적으로 텍스트 파일( .txt )로 작성이 되어야 합니다. 그러기 위해서는 텍스트 파일을 편집할 수 있는 툴 (메모장, 텍스트 편집기, MS 워드) 등으로 robots.txt 파일을 작성한 뒤, .txt 파일 형식으로 저장하여야 합니다. 아래 첨부파일 robots.txt 를 다운로드 합니다.

1. 아래 파일(robots.txt)를 다운로드 합니다

robots.txt

0.00MB

2. 다운로드한 robots.txt 파일을 아래와 같이 수정 해줍니다.

User-agent: *
Allow:/
Sitemap: https://본인 티스토리 주소/sitemap.xml

위와 같이 수정 해주고 robots.txt 파일을 저장해줍니다.

3. 저장한 ' robots.txt 파일을 티스토리 > 스킨편집 > html편집 > 파일업로드 > 추가' 해줍니다.