워드프레스 robots.txt 수정, 설정 완벽 가이드 (파일질라, 플러그인 활용)

워드프레스 블로그를 운영하는 사용자라면 검색 엔진 최적화(SEO)에 대해 한 번쯤 고민해 본 적이 있을 것입니다. 이때 중요한 역할을 하는 것이 robots.txt 파일입니다. 이 파일을 적절하게 설정하면 검색 엔진이 내 웹사이트를 효과적으로 크롤링하고 인덱싱하도록 유도할 수 있습니다.

이번 포스팅에서는 robots.txt 파일이 무엇인지, 이를 활용하는 방법, 그리고 워드프레스에서 robots.txt를 수정 및 설정하는 방법(파일질라 및 플러그인 활용)에 대해 상세히 설명하겠습니다.

---

1. robots.txt란?

robots.txt 파일은 웹사이트의 루트 디렉토리에 위치하며, 검색 엔진 크롤러(봇)에게 어떤 페이지를 크롤링할 수 있는지 또는 크롤링할 수 없는지를 지시하는 역할을 합니다. 이를 통해 불필요한 크롤링을 제한하고, 검색 엔진이 중요한 페이지를 우선적으로 색인하도록 할 수 있습니다.

예시:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

위 코드는 모든 검색 엔진 크롤러(User-agent: *)가 /wp-admin/ 디렉토리 접근을 차단하지만, admin-ajax.php 파일은 허용하는 설정입니다.

---

2. robots.txt 설정 및 규칙 예시

(1) 기본적인 robots.txt 규칙

규칙 설명

User-agent:	크롤러(봇) 지정
Disallow:	특정 페이지 크롤링 차단
Allow:	특정 페이지 크롤링 허용
Sitemap:	사이트맵 URL 지정
#	주석

(2) 검색 엔진 크롤러(봇) 목록

검색 엔진 크롤러 이름

Google	Googlebot
Bing	Bingbot
네이버	Yeti
다음	Daumoa
야후	Slurp
바이두	Baiduspider
페이스북	FacebookExternalHit
트위터	Twitterbot

(3) robots.txt 설정 예시

✅ 모든 크롤러 허용

User-agent: *
Allow: /

❌ 특정 크롤러 차단

User-agent: Googlebot
Disallow: /

📂 특정 디렉토리 차단

User-agent: *
Disallow: /private/

📄 특정 파일 차단

User-agent: *
Disallow: /secret.html

🖼 특정 확장자 차단

User-agent: *
Disallow: /*.png$
Disallow: /*.jpg$

---

3. 워드프레스에서 robots.txt 수정 및 설정 방법

3.1 robots.txt 파일 존재 여부 확인

워드프레스에서 robots.txt 파일이 있는지 확인하려면 브라우저 주소창에 아래 URL을 입력하면 됩니다.

https://도메인/robots.txt

만약 파일이 존재하지 않는다면 직접 생성하여 업로드해야 합니다.

3.2 robots.txt 파일 만들기 및 업로드 방법

✅ 방법 1: 메모장을 이용한 생성 및 FTP 업로드 (파일질라 활용)

1. 메모장 실행 → 아래 코드 입력 후 robots.txt로 저장

   User-agent: *
   Disallow: /wp-admin/
   Allow: /wp-admin/admin-ajax.php
   Sitemap: https://yourwebsite.com/sitemap.xml
   

2. 파일질라(FileZilla) 설치 및 실행
3. FTP로 서버 접속 (호스트, 사용자명, 비밀번호 입력)
4. 서버 루트 디렉토리(/public_html/)에 업로드

✅ 방법 2: 플러그인 활용 (RankMath, Robots.txt Editor 등)

① RankMath 플러그인 사용

1. 워드프레스 관리자 페이지 접속
2. [Rank Math] → [일반 설정] → [Robots.txt 편집]
3. 원하는 설정 입력 후 저장

② Robots.txt Editor 플러그인 사용

1. [플러그인] → [새로 추가] → Robots.txt Editor 검색 후 설치
2. 활성화 후 [설정] → [읽기]에서 robots.txt 수정

---

4. robots.txt 실시간 테스트 방법

robots.txt 설정이 제대로 작동하는지 확인하려면 TechnicalSEO 사이트에서 테스트할 수 있습니다.

1. https://technicalseo.com/tools/robots-txt/ 접속
2. 사이트 URL 입력
3. 검색 엔진 크롤러 선택 후 TEST 실행

---

5. 맺음말

robots.txt 파일은 검색 엔진 최적화(SEO)와 웹사이트 크롤링 관리에 중요한 역할을 합니다. 특히 워드프레스에서 robots.txt를 적절히 설정하면 크롤링 효율을 높이고, 검색 엔진이 불필요한 페이지를 색인하지 않도록 조정할 수 있습니다.

워드프레스에서 robots.txt를 설정하는 방법에는 **FTP 업로드(파일질라 사용)**와 플러그인 활용 두 가지가 있으며, 자신의 환경과 필요에 맞는 방법을 선택하면 됩니다.

이제 여러분의 워드프레스 사이트도 최적화된 robots.txt 파일을 활용하여 SEO 성능을 한층 더 향상시켜 보세요!