GEO를 시작한 브랜드에서 가장 자주 듣는 말이 있습니다. “콘텐츠는 계속 쓰는데, ChatGPT에 물어보면 우리 브랜드가 안 나와요.” 대부분 이 지점에서 콘텐츠를 더 씁니다. 글이 부족해서라고 생각하니까요. 그런데 최근 저희가 직접 운영하는 신규 플랫폼을 점검하다가, 콘텐츠와 아무 상관 없는 원인을 하나 발견했습니다. 사이트가 AI 크롤러를 막고 있었습니다. 그것도 아무도 그렇게 설정한 적이 없는데요.

아무도 쓴 적 없는 차단 설정

robots.txt를 열어보니 GPTBot · ClaudeBot · Google-Extended · CCBot을 포함해 9종이 차단 돼 있었습니다. 저장소에 올려둔 파일은 “전부 허용”으로 된 네 줄짜리였습니다. 그런데 서버 앞단(Cloudflare)이 자동 생성한 robots.txt가 그것을 통째로 덮어쓰고 있었습니다. 최근 인프라 서비스들이 AI 학습 차단을 기본값으로 켜두면서 생긴 일입니다. 먼저 짚을 것 — 학습 봇과 검색 봇은 다릅니다 여기서 성급하게 “AI 검색에 아예 안 나오겠네”라고 결론 내리기 쉽습니다. 저희도 처음엔 그렇게 봤는데, 목록을 하나씩 뜯어보니 아니었습니다. 막혀 있던 9종은 전부 학습용 크롤러였습니다. 반면 답변에 인용할 때 쓰이는 검색용 봇은 열려 있었습니다. 학습용 (막혀 있었음) — GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider 등 검색 · 인용용 (열려 있었음) — OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, DuckAssistBot 등 그래서 정확히 말하면 “ChatGPT에서 검색을 걸면 우리 페이지가 인용될 수는 있는” 상태였습니다. 대신 잃고 있던 건 다른 쪽입니다. 모델이 우리를 배우지 못합니다. 검색 인용은 그때그때 걸리는 것이고, 학습은 사용자가 검색 없이 “한국 미용의료 일본어 예약 어디가 좋아?”라고 물었을 때 후보로 떠오르는 문제입니다. 브랜드 입장에서는 후자가 더 큽니다. 국내 사이트 6곳을 직접 열어봤습니다 우리만의 문제인지 확인하려고, 국내 의료 · 플랫폼 사이트 6곳의 robots.txt를 하나씩 열어봤습니다. 차단된 곳은 1곳. 그마저도 운영자가 의도한 설정이 아니었습니다. 4곳은 AI 봇을 따로 언급하지 않았습니다. 의식하고 연 것이 아니라, 손대지 않아서 열려 있는 쪽에 가깝습니다. 눈에 띈 곳이 1곳. GPTBot과 PerplexityBot을 Allow로 명시해 둔 병원입니다. 마지막 사례가 중요합니다. AI 검색 노출을 의식하고 이 파일을 손댄 곳이 국내 병원 중에도 나오기 시작했다는 뜻이니까요. 10초 점검법 지금 브라우저만 있으면 확인할 수 있습니다. 1단계. 주소창에 우리 도메인 주소를 넣고, 뒤에 /robots.txt 를 붙여 엽니다. 2단계. 아래 이름이 있는지 찾습니다. GPTBot — OpenAI 학습 OAI-SearchBot — ChatGPT 검색 인용 ClaudeBot — Anthropic 학습 PerplexityBot — Perplexity 검색 인용 Google-Extended — Gemini · AI 개요 CCBot — 공개 데이터셋 3단계. 이름 뒤에 Disallow: / 가 붙어 있으면 차단 상태입니다. 이름이 아예 없다면 대체로 허용 상태입니다. 여기서부터가 진짜입니다 — 토글을 다 꺼도 robots.txt는 안 바뀝니다 저희도 여기서 한 번 헛발질했습니다. 대시보드에서 크롤러 차단을 전부 해제하고 robots.txt를 다시 열었는데, 차단 목록이 그대로 남아 있었습니다. 원인은 설정이 세 군데 로 나뉘어 있다는 것이었습니다. ① 상위의

Block AI Bots

가 켜져 있으면 개별 크롤러 토글이 아예 잠깁니다. 눌러도 상위 설정에 의해 차단 중이라는 안내만 뜹니다. 이것부터 꺼야 합니다. ② 그다음

AI Crawl Control → Security

에서 크롤러를 하나씩 다시 고릅니다. 전부 여는 것이 아니라, 필요한 봇만 열고 대역폭만 쓰는 스크래퍼는 막아둡니다. ③ 마지막이 진짜 원인이었습니다. AI Crawl Control → Signals 의

Managed robots.txt

. 이게 켜져 있으면 우리가 올려둔 robots.txt를 통째로 덮어씁니다. 이걸 끄고 나서야 파일이 우리 것으로 돌아왔습니다. 크롤러를 실제로 막는 것과, robots.txt에 막는다고 적어두는 것이 서로 다른 설정 이라는 게 핵심입니다. 하나만 손대면 반만 바뀝니다. 다른 환경이라면

아임웹 · 카페24 같은 빌더

기본값은 허용입니다. SEO 설정에 “검색엔진 수집 차단” 류의 옵션이 켜져 있지 않은지만 보면 됩니다.

워드프레스

설정 → 읽기에서 “검색엔진이 사이트를 색인하지 않도록 요청” 체크가 풀려 있는지 확인합니다. 보안 플러그인이 봇을 막는 경우도 흔합니다.

자체 서버

루트의 robots.txt를 직접 수정합니다. 이때 방화벽이나 WAF에서 User-Agent 기준으로 차단하고 있지 않은지도 같이 봐야 합니다. robots.txt는 깨끗한데 실제 접근은 403으로 막히는 경우가 있습니다. 그래서 우리는 이렇게 정리했습니다 전부 여는 것이 답은 아니라고 봤습니다. 크롤러마다 우리에게 돌아오는 것이 다르기 때문입니다. 열었습니다 — GPTBot, ClaudeBot, Claude-User, OAI-SearchBot, PerplexityBot, Claude-SearchBot, Google-CloudVertexBot, Meta-ExternalAgent, CCBot 등 24종. 대형 모델과 AI 검색으로 이어지는 경로입니다. 막았습니다 — Bytespider, PetalBot, TikTok Spider, Amazonbot, Timpibot 등 8종. 대형 모델로 가지 않고 대역폭만 쓰는 쪽입니다. 결과적으로 robots.txt는 세 줄이 됐습니다. 전부 허용에 사이트맵 한 줄. 차단은 robots.txt가 아니라 서버 단에서 크롤러별로 처리하고 있습니다. 전부 열어야 할까요 한 가지는 구분하셔야 합니다. 학습에 쓰이는 것 과 검색 답변에 인용되는 것 은 다른 결정입니다. 콘텐츠 자체가 자산인 사업(미디어, 데이터베이스형 서비스)이라면 → 학습은 거부하고 검색 인용만 허용하는 조합이 현실적입니다. 브랜드 노출이 목적인 대부분의 사업이라면 → 학습까지 여는 편이 유리합니다. 막아서 얻는 것보다, 모델이 우리를 모르는 채로 남는 손해가 큽니다. 최근에는 Content-Signal처럼 “학습은 안 됨, 검색은 됨”을 표시하는 방식도 등장했습니다. 다만 봇마다 이 신호를 해석하는 방식이 아직 제각각이라, 결정을 내렸다면 봇 이름을 직접 적어두는 편이 확실합니다. 체크리스트 우리도메인.com/robots.txt를 열어봤다 GPTBot · OAI-SearchBot · PerplexityBot · ClaudeBot에 Disallow가 없다 인프라(CDN · 보안) 쪽에서 AI 크롤러를 막고 있지 않다 대시보드 토글을 끈 뒤 robots.txt를 다시 열어서 확인했다 학습 허용과 검색 인용 허용을 구분해서 결정했다 콘텐츠를 더 쓰기 전에, 파일 하나만 먼저 열어보시길 권합니다. 몇 달치 콘텐츠 작업이 이 한 줄에 걸려 있을 수 있습니다. 와이즈케이는 인플루언서 마케팅과 함께 구글 SEO · GEO를 설계합니다. 우리 사이트가 AI 검색에 어떻게 보이는지 궁금하시면 편하게 문의해 주세요. 함께 보면 좋은 글 블로그 글이 구글에 하나도 안 잡힌다면 ChatGPT에 우리 브랜드가 나오려면 GEO가 뭔가요? SEO만으론 부족한 시대