agentgateway의 개요
agentgateway는 Rust로 작성된 오픈소스 프록시로, AI 에이전트와 에이전트가 호출하는 모든 것, 즉 모델 제공업체, MCP 도구 서버, Google A2A 프로토콜을 쓰는 다른 에이전트 사이에 자리합니다. Solo.io가 2025년 3월에 시작해 2025년 8월 Linux Foundation에 기증했고, 2026년 6월에는 MCP도 호스팅하는 Linux Foundation 산하 Agentic AI Foundation(AAIF)의 Growth 단계 프로젝트가 되었습니다.
LLM 게이트웨이로서는 OpenAI, Anthropic, Gemini, Bedrock 등의 앞에 OpenAI 호환 API를 두고 지출 통제, 비용 추적, 페일오버, 그리고 가중치·조건·자체 라우팅 서비스 호출로 요청을 나누는 '가상 모델'을 제공합니다. MCP 게이트웨이로서는 여러 도구 서버를 하나의 엔드포인트 뒤로 묶고, stdio·SSE·Streamable HTTP를 연결하며, OpenAPI 명세를 MCP 도구로 바꾸고 OAuth를 처리합니다. 인증은 JWT, API 키, OIDC를 지원하고, 도구 단위 권한을 CEL 정책으로 작성할 수 있으며, 가드레일, 속도 제한, OpenTelemetry도 갖췄습니다.
실행 방식은 두 가지입니다. YAML 파일과 내장 웹 UI로 다루는 단일 바이너리, 또는 Gateway API를 구현하는 자체 컨트롤러를 갖춘 Kubernetes 배포입니다. 원래는 Solo.io가 CNCF에서 호스팅하는 Envoy 기반 게이트웨이 kgateway의 AI 데이터 플레인으로 시작했습니다. kgateway 2.2에서 둘은 별도의 차트와 API로 분리되었고, 컨트롤러는 이제 이 저장소에서 배포됩니다. 저장소 전체가 Apache 2.0입니다. Solo.io는 강화 빌드에 추가 MCP 거버넌스 기능과 연중무휴 24시간 지원을 더한 Solo Enterprise for agentgateway를 판매하며, 가격은 문의해야만 알 수 있습니다.
agentgateway, 쓸 만한 가치가 있습니까?
agentgateway는 LiteLLM과 Bifrost가 부가 기능으로 다루는 문제, 즉 에이전트가 어떤 모델을 부르는지뿐 아니라 도구로 무엇을 하는지를 통제하는 문제에 대해 가장 강력한 오픈소스 해답입니다. 여기서는 MCP와 A2A가 핵심 기능이어서 CEL로 쓰는 도구 단위 권한, 세션을 인식하는 MCP 라우팅, OAuth 토큰 교환을 갖췄고, LLM 게이트웨이도 옆에 따로 있는 것이 아니라 같은 프록시 위에서 돌아갑니다. 중립적인 거버넌스도 힘을 보탭니다. 프로젝트는 만들어진 지 5개월 만에 Solo.io에서 Linux Foundation으로 옮겼고 2026년 6월 AAIF에 합류했으며, 발표에 따르면 Red Hat, Microsoft, Salesforce를 포함한 60개 이상 조직에서 300명이 넘는 활동 기여자가 참여합니다.
자체 수치로는 빠릅니다. 모의 백엔드를 상대로 한 프로젝트 자체의 LiteLLM 비교 벤치마크에서 agentgateway는 초당 36,933건, P99 1.97 ms, LiteLLM은 초당 3,198건, 32.19 ms를 기록했고, 메모리는 agentgateway가 30 MB 미만, LiteLLM이 12 GB에 가까웠습니다. 이후 LiteLLM의 Rust 모드와 비교한 라운드에서는 약 36배의 처리량을 주장합니다. 측정 대상은 프록시 오버헤드뿐이고, 수치는 프로젝트 자체가 낸 것이며, LiteLLM은 다른 수치를 공개합니다. 할인해서 보더라도 Tokio와 Hyper 위의 Rust 프록시가 1밀리초 미만의 지연만 더한다는 것은 그럴듯하며, 이는 단발성 채팅 호출보다 호출이 잦은 에이전트 루프에서 더 중요합니다.
Kubernetes는 또 하나의 강점입니다. 컨트롤러가 Gateway API를 구현하므로 이미 Gateway 리소스로 HTTP를 라우팅하는 팀은 같은 객체와 정책으로 LLM과 MCP 백엔드를 추가할 수 있고, v1.7.0은 컨트롤러, CRD, 단독 실행용 Helm 차트를 제공합니다. 대가는 이력입니다. kgateway 2.2에서 컨트롤러 이름이 바뀌고 API가 새 agentgateway.dev 그룹으로 옮겨졌으며, 이전 통합을 쓰던 사용자를 위한 마이그레이션 가이드가 나왔습니다. 호환성을 깨는 변경은 지금도 매달 나옵니다. 2026년 10월 27일의 v1.7.0은 단독 모드에서 MCP 세션 암호화를 켰고, 프롬프트 가드가 기본으로 도구 출력도 검사하게 했으며, 동적 백엔드가 루프백과 클라우드 메타데이터 주소에 접근하지 못하게 막았습니다.
보안 기록은 짧지만 뚜렷합니다. 공개된 보안 권고는 7건이며 그중 1건이 높음 등급입니다. 2026년 7월에는 상태를 가진 MCP 세션이 라우트를 넘나들며 권한 정책을 덮어쓸 수 있었고, 10월에는 같은 유형의 결함이 MCP 가드레일에서 다시 나타났으며, 잘못된 도구 호출 ID로 MCP 권한을 우회하는 문제도 함께 보고되었습니다. 바로 이 프로젝트가 내세우는 기능이므로 버전을 고정하고 릴리스 노트를 읽어야 합니다. LiteLLM과 비교하면 제공업체 폭이 좁고 통합 생태계도 작아 스타 수가 약 6,100개 대 약 62,000개이고, Bifrost와 비교하면 비용 대시보드라기보다 에이전트 트래픽을 위한 정책 엔진입니다.
제 역할을 하는 곳
400명 규모 엔지니어링 조직에서 사내 MCP 서버 20개를 코딩 에이전트에 공개하는 플랫폼 팀
에이전트에 MCP 엔드포인트 하나만 주고 어느 팀이 어떤 도구를 부를 수 있는지 정하기
서버들을 agentgateway 라우트 하나 뒤로 묶고, OIDC로 사용자를 인증하고, 도구별 CEL 규칙을 작성해 지원 에이전트는 티켓을 읽되 배포 도구는 부르지 못하게 합니다. 오픈소스 버전에서 무료지만, 2026년 보안 권고 2건에서 MCP 세션이 이 규칙을 우회할 수 있었으니 릴리스를 고정하세요.
이미 HTTP 서비스에 Kubernetes Gateway API를 쓰는 SRE 팀
별도 게이트웨이를 들이지 않고 페일오버가 있는 OpenAI, Anthropic, Bedrock 라우트 추가하기
agentgateway의 CRD와 컨트롤러 Helm 차트를 설치한 뒤 기존 HTTPRoute 옆에 LLM 백엔드와 AgentgatewayPolicy 객체를 추가합니다. 컨트롤 플레인과 OpenTelemetry 트레이스가 하나로 정리되지만, 호환성을 깨는 변경이 담긴 월간 업그레이드가 대가입니다.
오픈소스와 벤더 계약을 저울질하는 은행의 플랫폼 책임자
무료 버전으로 충분한지, Solo Enterprise를 살 가치가 있는지 판단하기
오픈소스 버전에 이미 MCP 페더레이션, CEL 권한, 가드레일, 비용 추적이 들어 있습니다. Solo Enterprise는 강화 배포판, 추가 MCP 거버넌스, 연중무휴 24시간 지원을 더하지만 가격은 문의해야 하고 공개되지 않았으므로, 기능보다 지원 계약 이 더 필요한지가 판단 기준입니다.
도입 전 확인할 점
- 설정
- curl -sL https://agentgateway.dev/install | bash로 바이너리를 설치합니다. 설정 없이 agentgateway를 실행하면 ~/.config/agentgateway/config.yaml을 만들고 포트 4000에서 UI와 API를 제공하며, 마법사에서 모델을 추가합니다. Kubernetes에서는 cr.agentgateway.dev의 Helm 차트로 CRD와 컨트롤러를 설치합니다.
- 연동
- OpenAI, Anthropic, Gemini, Bedrock, Perplexity 등의 앞에 두는 OpenAI 호환 채팅 API, stdio·SSE·Streamable HTTP를 통한 MCP와 OpenAPI에서 MCP로의 변환, A2A, OpenAI Moderation·Bedrock Guardrails·Google Model Armor·Azure Content Safety·웹훅을 통한 가드레일, OpenTelemetry 메트릭·로그·트레이스, 자체 호스팅 모델용 Kubernetes Inference Gateway 확장.
- 데이터와 개인정보
- 자체 호스팅이므로 프롬프트는 설정한 제공업체와 가드레일 API로만 갑니다. 문서에는 프로젝트로 보내는 텔레메트리에 대한 언급이 없습니다. v1.7.0부터 프롬프트 가드는 기본으로 도구 출력도 벤더 가드레일 API로 보냅니다. 공개된 보안 권고는 7건이며 그중 1건이 높음입니다.
- 대규모 사용 시 비용
- 프로젝트 벤치마크에서 초당 약 37,000건을 처리할 때도 프록시 메모리는 30 MB 미만이므로 게이트웨이 하드웨어가 비용의 중심이 되는 일은 드뭅니다. 실제 비용은 월간 업그레이드에 드는 운영자의 시간입니다. Solo Enterprise는 배포 단위로 별도 견적을 받습니다.
- 제한
- 열린 이슈와 풀 리퀘스트 313건, 호환성을 깨는 변경이 담긴 월간 릴리스, 이전 kgateway 통합은 마이그레이션 필요, 제공업체와 서드파티 통합이 LiteLLM보다 적음.
좋은 점
- MCP, A2A, LLM 트래픽을 하나의 정책 엔진으로 처리
- 도구 단위 권한과 가드레일을 CEL로 작성
- Kubernetes Gateway API 컨트롤러와 단일 바이너리 모두 지원
- Linux Foundation 거버넌스 아래 Apache 2.0
아쉬운 점
- 2026년 보안 권고에서 MCP 권한 우회가 반복됨
- 호환성을 깨는 변경이 담긴 월간 릴리스
- 성능 수치는 프로젝트 자체의 것
- Enterprise 가격 비공개
추천 대상
모델 API뿐 아니라 MCP 도구 서버와 에이전트 앞에도 인증, 권한, 감사를 둬야 하는 Kubernetes 기반 플랫폼 팀.
agentgateway 대안
agentgateway: 자주 묻는 질문
- agentgateway, 쓸 만한 가치가 있습니까?
- 에이전트, 도구, 모델을 하나의 정책 계층으로 묶어야 할 때, 특히 Kubernetes에서 고를 게이트웨이입니다. 다만 매월 나오는 릴리스와 MCP 권한 수정을 따라갈 수 있어야 합니다. 평점은 5점 만점에 4.2점입니다.
- agentgateway의 가격은 얼마입니까?
- Apache 2.0 기반의 무료 오픈소스. Solo Enterprise for agentgateway(강화 빌드, 추가 MCP 거버넌스, 연중무휴 24시간 지원)는 별도 견적이며 가격은 공개되지 않았습니다.
- agentgateway의 단점은 무엇입니까?
- 2026년 보안 권고에서 MCP 권한 우회가 반복됨; 호환성을 깨는 변경이 담긴 월간 릴리스; 성능 수치는 프로젝트 자체의 것; Enterprise 가격 비공개.
- agentgateway에 적합한 사람은 누구입니까?
- 모델 API뿐 아니라 MCP 도구 서버와 에이전트 앞에도 인증, 권한, 감사를 둬야 하는 Kubernetes 기반 플랫폼 팀.
- 팀이나 프로덕션 환경에서 agentgateway의 비용은 얼마입니까?
- 프로젝트 벤치마크에서 초당 약 37,000건을 처리할 때도 프록시 메모리는 30 MB 미만이므로 게이트웨이 하드웨어가 비용의 중심이 되는 일은 드뭅니다. 실제 비용은 월간 업그레이드에 드는 운영자의 시간입니다. Solo Enterprise는 배포 단위로 별도 견적을 받습니다.
- agentgateway에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 프롬프트는 설정한 제공업체와 가드레일 API로만 갑니다. 문서에는 프로젝트로 보내는 텔레메트리에 대한 언급이 없습니다. v1.7.0부터 프롬프트 가드는 기본으로 도구 출력도 벤더 가드레일 API로 보냅니다. 공개된 보안 권고는 7건이며 그중 1건이 높음입니다.
- agentgateway의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 LiteLLM, Bifrost, Portkey AI Gateway 및 vLLM Semantic Router입니다.
답변 확인일: 2026년 11월 9일.
agentgateway 개발사입니까? 이 평점을 사이트에 표시하십시오
