ScrapeGraphAI의 개요
ScrapeGraphAI는 CSS 선택자를 언어 모델로 대체합니다. URL(또는 로컬 HTML, XML, JSON, Markdown 파일)과 평범한 영어 프롬프트를 주면, 그래프라고 부르는 단계 파이프라인이 Playwright로 페이지를 가져와 LLM에게 필드를 JSON으로 돌려 달라고 합니다. 기성 그래프는 단일 페이지, 여러 페이지, 상위 검색 결과, 재사용 가능한 Python 스크래퍼 생성을 다룹니다.
OpenAI, Groq, Azure, Gemini, MiniMax 등의 호스팅 모델이나 Ollama를 통한 로컬 모델과 동작하며, LangChain, LlamaIndex, CrewAI, Agno, 로코드 도구와 연동됩니다. MCP 서버도 있습니다.
라이브러리는 MIT 라이선스이며 기본적으로 텔레메트리를 보내는데, 현재 코드에서는 실행마다 프롬프트, 스키마, 페이지 내용, 모델 응답, URL이 포함됩니다. 같은 회사가 프록시와 봇 차단 대응을 갖춘 호스팅 API를 무료 등급부터 월 $500까지 판매합니다.
ScrapeGraphAI의 가격은 얼마입니까?
| 플랜 | 가격 | 포함 내용 |
|---|---|---|
| Library | Free | MIT, LLM 토큰 비용은 직접 지불 |
| Hosted API | $20, $100 or $500 a month | 일회성 무료 크레딧 500 이후 |
| Enterprise | Custom |
라이브러리는 MIT로 무료이며 LLM 토큰 비용을 냅니다. 호스팅 API: 일회성 무료 크레딧 500, 이후 월 $20, $100, $500, Enterprise는 별도 견적입니다.
ScrapeGraphAI, 쓸 만한 가치가 있습니까?
ScrapeGraphAI는 크롤링이 아니라 추출을 풀며, 팀이 가장 먼저 바꿔야 할 것은 기본 텔레메트리입니다. v2.3.1의 telemetry.py를 읽어 보면, 스키마가 있는 성공한 실행마다 사용자 프롬프트, JSON 스키마, 스크래핑한 페이지 내용, 모델 응답, URL을 Render에 호스팅된 트레이싱 엔드포인트로 보냅니다. README는 이를 익명 사용 지표라고 설명하지만, 작업의 사본에 더 가깝습니다. SCRAPEGRAPHAI_TELEMETRY_ENABLED=false로 멈춥니다.
매력은 추출 자체입니다. 프롬프트 기반 그래프는 선택자 기반 스크래퍼를 깨뜨리는 사이트 개편을 견디고, 호스팅 모델을 로컬 Ollama 모델로 바꾸는 것은 설정 한 줄입니다. 프로젝트의 GitHub 스타는 약 32,200개, 열린 이슈는 여덟 개이며, 대략 2주에서 3주마다 릴리스가 나오고 가장 최근은 2026년 10월 6일의 v2.3.1입니다.
비용은 페이지 수에 따라 늘어납니다. 라이브러리에서는 페이지마다 모델 호출이 하나이고, 호스팅 API에서는 Extract 요청이 5 크레딧이므로, $100 Growth 요금제의 100,000 크레딧으로 추출 약 20,000회, 건당 0.5센트입니다. 언어 모델이 페이지마다 읽기 때문에 없던 필드 를 지어내거나 모양을 바꿀 수 있으므로, 출력에는 스키마 검증이 필요합니다.
오픈소스 라이브러리에는 프록시 네트워크나 봇 차단 대응 계층이 없습니다. 보호된 사이트는 프록시를 가져오지 않으면 실패하며, 호스팅 API는 프록시 순환을 Growth 이상에만 둡니다. 사이트 전체를 RAG 색인용 Markdown으로 바꾸는 일이라면, 페이지마다 모델이 읽을 필요가 없는 Crawl4AI나 Firecrawl이 더 빠르고 저렴합니다.
제 역할을 하는 곳
가격 비교 스타트업의 데이터 엔지니어
레이아웃이 자주 바뀌는 소매점 페이지 300개에서 가격, 재고, 사양 필드 가져오기
Pydantic 스키마를 쓰는 페이지별 SmartScraperGraph가 깨지기 쉬운 선택자를 대체합니다. 페이지마다 모델 호출이 하나이므로 작은 호스팅 모델이나 로컬 Ollama가 청구액을 낮추며, 먼저 텔레메트리를 꺼야 합니다.
50명 규모 B2B 회사의 영업 운영 분석가
회사 웹사이트 수백 개에서 연락처 목록 만들기
페이지당 5 크레딧인 호스팅 API의 Extract 엔드포인트라면 $20 Starter 요금제의 10,000 크레딧으로 월 약 2,000페이지를 다루며, 운영할 인프라가 없습니다.
규제를 받는 팀 의 개발자
데이터가 네트워크를 떠나지 않게 사내 HTML 보고서에서 필드 추출하기
로컬 Ollama 모델과 SCRAPEGRAPHAI_TELEMETRY_ENABLED=false로 라이브러리를 쓰면 모든 것이 온프레미스에 남습니다. 그 플래그가 없으면 페이지 내용이 관리자의 엔드포인트로 갑니다.
도입 전 확인할 점
- 설정
- pip install scrapegraphai 후 헤드리스 브라우저를 위해 playwright install을 실행합니다. 첫 추출은 API 키나 로컬로 받은 Ollama 모델로 Python 열두 줄 정도입니다.
- 연동
- OpenAI, Groq, Azure, Gemini, MiniMax, Ollama 모델. LangChain, LlamaIndex, CrewAI, Agno. 호스팅 API용 Zapier, Pipedream, Bubble. MCP 서버.
- 데이터와 개인정보
- MIT 라이선스. 텔레메트리가 기본으로 켜져 있으며, 소스 코드에 따르면 프롬프트, 스키마, 페이지 내용, LLM 응답, URL을 보냅니다. SCRAPEGRAPHAI_TELEMETRY_ENABLED=false로 끕니다. 공개된 GitHub 보안 권고는 없습니다. 호스팅 API 가격 페이지는 "All requests are SOC 2 Type II compliant"라고 하지만 보존과 학습 조건은 없습니다.
- 대규모 사용 시 비용
- 자체 호스팅 비용은 페이지당 모델 토큰과 자체 프록시입니다. 호스팅: Starter $20에 10,000 크레딧, Growth $100에 100,000, Pro $500에 750,000. Extract는 페이지당 5 크레딧이고 스텔스 모드는 5를 더합니다.
- 제한
- 호스팅 속도 제한은 Free 분당 10회부터 Pro 5,000회까지. 라이브러리에는 대규모 크롤링, 프록시 순환, 봇 차단 대응이 없으며, Firecrawl과 Crawl4AI가 이를 더 잘 다룸.
좋은 점
- 레이아웃 변경을 견디는 프롬프트 기반 추출
- Ollama 모델로 완전히 로컬 실행
- MIT 라이선스와 잦은 릴리스
- 요청당 크레딧 가격이 명확한 호스팅 API
아쉬운 점
- 기본 텔레메트리가 프롬프트, 페이지 내용, 응답을 보냄
- 페이지마다 모델 호출
- 스키마 검증 없이는 필드를 지어낼 수 있음
- 라이브러리에 프록시나 봇 차단 대응 없음
추천 대상
적당한 수의 다양한 웹 페이지에서 타입이 있는 필드를 추출하는 개발자.
ScrapeGraphAI 대안
ScrapeGraphAI: 자주 묻는 질문
- ScrapeGraphAI, 쓸 만한 가치가 있습니까?
- 지저분한 페이지에서 타입이 있는 필드 몇 개를 뽑는 데는 능하지만, 기본값으로 스크래핑한 내용을 제작사에 보내고 페이지마다 모델 호출 비용을 냅니다. 평점은 5점 만점에 3.6점입니다.
- ScrapeGraphAI의 가격은 얼마입니까?
- 라이브러리는 MIT로 무료이며 LLM 토큰 비용을 냅니다. 호스팅 API: 일회성 무료 크레딧 500, 이후 월 $20, $100, $500, Enterprise는 별도 견적입니다.
- ScrapeGraphAI의 단점은 무엇입니까?
- 기본 텔레메트리가 프롬프트, 페이지 내용, 응답을 보냄; 페이지마다 모델 호출; 스키마 검증 없이는 필드를 지어낼 수 있음; 라이브러리에 프록시나 봇 차단 대응 없음.
- ScrapeGraphAI에 적합한 사람은 누구입니까?
- 적당한 수의 다양한 웹 페이지에서 타입이 있는 필드를 추출하는 개발자.
- 팀이나 프로덕션 환경에서 ScrapeGraphAI의 비용은 얼마입니까?
- 자체 호스팅 비용은 페이지당 모델 토큰과 자체 프록시입니다. 호스팅: Starter $20에 10,000 크레딧, Growth $100에 100,000, Pro $500에 750,000. Extract는 페이지당 5 크레딧이고 스텔스 모드는 5를 더합니다.
- ScrapeGraphAI에 회사 데이터를 맡겨도 안전합니까?
- MIT 라이선스. 텔레메트리가 기본으로 켜져 있으며, 소스 코드에 따르면 프롬프트, 스키마, 페이지 내용, LLM 응답, URL을 보냅니다. SCRAPEGRAPHAI_TELEMETRY_ENABLED=false로 끕니다. 공개된 GitHub 보안 권고는 없습니다. 호스팅 API 가격 페이지는 "All requests are SOC 2 Type II compliant"라고 하지만 보존과 학습 조건은 없습니다.
- ScrapeGraphAI의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Crawl4AI 및 Firecrawl입니다.
답변 확인일: 2026년 10월 26일.