AI 크롤러
AI 크롤러(AI crawler)는 AI 회사가 운영하는 자동화된 봇으로, 학습 데이터를 모으거나, AI 검색 색인을 만들거나, 사용자가 어시스턴트에게 어떤 페이지에 대해 물을 때 그 페이지를 실시간으로 가져오기 위해 웹 페이지를 수집합니다.
다른 이름: GPTBot, ClaudeBot, PerplexityBot, AI bot
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
사이트 운영자들은 서버 로그에서 GPTBot, ClaudeBot, PerplexityBot 같은 봇을 점점 더 자주 봅니다. 각 봇은 user-agent 문자열로 자신을 밝히며, 어느 봇이 어떤 것인지 알아야 사이트 콘텐츠가 모델 학습에 쓰일지, AI 답변에 나올지, 둘 다 아닐지를 정할 수 있습니다.
세 종류의 봇
AI 회사들은 대개 목적별로 봇을 나눕니다. OpenAI의 GPTBot, Anthropic의 ClaudeBot 같은 학습용 크롤러는 AI 학습 데이터에 들어갈 수 있는 페이지를 모읍니다. OAI-SearchBot, Claude-SearchBot, PerplexityBot 같은 검색용 크롤러는 AI 검색 엔진이 인용할 수 있도록 페이지를 색인합니다. ChatGPT-User, Claude-User 같은 사용자 요청형 수집기는 사람이 어시스턴트에게 읽어 달라고 할 때 페이지 하나를 불러옵니다. OpenAI는 사용자가 시작한 요청에는 robots.txt 규칙이 적용되지 않을 수 있다고 밝힙니다.
접근 제어
주된 제어 수단은 robots.txt입니다. `User-agent: GPTBot` 뒤에 `Disallow: /`를 쓰는 규칙은 그 봇에게 접근하지 말라고 요청하며, 봇마다 따로 설정하므로 학습은 막고 검색은 허용할 수 있습니다. OpenAI는 GPTBot을 차단하면 콘텐츠를 학습에 쓰지 말라는 신호가 된다고 말합니다. Robots Exclusion Protocol은 접근 제어가 아니라 요청이므로, 이를 무시하는 크롤러에는 방화벽이나 봇 관리가 필요합니다. llms.txt 파일은 별개의 개념입니다. 모델에게 유용한 페이지를 알려 줄 뿐 아무것도 막지 않습니다.
왜 중요한 가
검색용 크롤러를 막으면 사이트가 AI 답변에서 빠질 수 있고, 이는 생성형 엔진 최적화에 영향을 줍니다. 학습용 크롤러를 막으면 앞으로의 학습에만 영향을 줍니다. 크롤러의 일반적인 작동 방식은 AI를 위한 웹 크롤링을 참고하십시오.
관련 용어
- AI용 웹 크롤링(Web crawling for AI)
- AI용 웹 크롤링(web crawling for AI)은 링크나 URL 목록을 따라 웹 페이지를 자동으로 가져와, 모델 학습, 검색 인덱스 구축, 애플리케이션이 검색할 최신 콘텐츠 제공을 위한 텍스트를 모으는 것입니다.
- llms.txt
- llms.txt는 웹사이트가 보통 /llms.txt 경로에 Markdown 파일을 게시해, 사이트를 요약하고 가장 유용한 페이지로 가는 링크를 언어 모델이 읽기 쉬운 형태로 제공하자는 제안된 관례입니다.
- AI 학습 데이터
- AI 학습 데이터(AI training data)는 웹 텍스트, 코드, 이미지, 녹취록, 레이블이 붙은 쌍처럼 모델이 학습하는 예시의 모음입니다. 그 규모, 품질, 구성, 라이선스가 모델이 할 수 있는 일과 실패하는 지점을 결정합니다.
- AI 검색 엔진
- AI 검색 엔진(AI search engine)은 질의에 대해 웹 검색을 실행하고, 언어 모델로 결과를 읽은 뒤, 링크 목록만이 아니라 출처 링크가 달린 글로 된 답을 돌려주는 검색 서비스입니다.
- 생성형 엔진 최적화
- 생성형 엔진 최적화(GEO, generative engine optimization)는 AI 검색 엔진과 채팅 어시스턴트가 웹 콘텐츠를 찾고, 인용하고, 생성한 답변에 출처로 밝히도록 콘텐츠를 다듬는 일입니다.