에이전트 하나인가, 팀인가? AI 에이전트 구조를 고르는 법, 그리고 에이전트를 늘리면 나빠지는 경우
작성자 ReviewRamble editors ·
에이전트를 자처하는 AI 제품 대부분은 모델을 두세 번 호출하는 짧고 평범한 코드로 만들었을 때 더 잘 작동하고 비용도 덜 듭니다. 언어 모델로 무언가를 만드는 방식은 정해진 레시피부터 서로 메시지를 주고받는 모델 팀까지 다양하며, 한 단계 올라갈 때마다 유연성을 얻는 대신 돈과 속도와 예측 가능성을 내줍니다. 여기서는 각 패턴이 무엇을 하는지, 언제 쓸 가치가 있는지, 그리고 에이전트를 더하면 답이 오히려 나빠지는 경우가 많다는 근거를 설명합니다.
저희의 입장은 단순합니다. 일을 해내는 가장 단순한 설계로 시작하십시오. 단계를 글로 적을 수 없을 때 단일 에이전트로 옮기십시오. 여러 에이전트로 옮기는 것은 한 에이전트가 거듭 저지르는 실패를 이름 붙여 말할 수 있고, 일을 나누면 그 실패가 고쳐진다는 것을 보여 줄 수 있을 때뿐입니다.
첫 질문: 다음 단계를 누가 정하는가
여기서 다루는 설계는 모두 한 가지 질문에 저마다 다르게 답합니다. 다음에 무슨 일이 일어날지 정하는 것이 여러분의 코드인가, 모델인가 하는 질문입니다. Anthropic의 엔지니어링 가이드 Building effective agents는 이 경계를 깔끔하게 긋습니다. 워크플로는 모델과 도구가 "미리 정한 코드 경로를 따라 오케스트레이션되는" 시스템입니다. 에이전트는 모델이 "자신의 처리 과정과 도구 사용"을 스스로 이끄는 시스템입니다. 둘의 차이는 용어집의 워크플로와 에이전트 항목에서 더 자세히 설명합니다.
치과의 예약 알림 서비스와 여행사를 떠올려 보십시오. 알림 서비스는 매일 저녁 같은 세 단계를 반복합니다. 내일 예약을 찾고, 정중한 문자를 쓰고, 보냅니다. 이 소프트웨어가 즉흥적으로 움직이기를 바라는 사람은 없습니다. 여행사의 일은 전화가 올 때마다 달라집니다. 항공편이 만석이니 기차를 알아보고, 그러면 호텔 예약이 하루 밀립니다. 워크플로는 알림 서비스이고, 에이전트는 여행사입니다. 그 판단력의 값은 토큰과 시간, 그리고 가끔 잘못 든 길로 치릅니다.
Anthropic의 가이드는 대부분의 업체보다 한 걸음 더 나아갑니다. 가장 단순한 방법은 "에이전트형 시스템을 아예 만들지 않는 것일 수도 있다"고 말하며, 많은 애플리케이션에서는 문서 검색과 몇 가지 예시를 프롬프트에 넣어 잘 준비한 모델 호출 한 번으로 충분하다고 합니다.
대부분의 제품을 감당하는 다섯 가지 워크플로
프롬프트 체이닝: 호출 한 번에 작은 일 하나
체인은 작업을 단계로 나누고, 각 모델 호출이 앞 단계의 출력을 받아 일합니다. 영업 통화 녹음이 요약이 되고, 요약이 약속한 후속 조치 목록이 되고, 목록이 이메일 초안이 됩니다. 단계 사이에서는 평범한 코드가 관문 역할을 할 수 있습니다. 요약에 다음 회의 날짜가 없으면, 날짜를 지어낸 이메일을 보내는 대신 체인을 멈추고 알립니다.
Anthropic의 표현으로는 지연 시간을 내주고 정확도를 얻는 거래입니다. 호출마다 일이 쉬워지니 실수가 줄고, 전체는 더 오래 걸립니다. 프롬프트 하나가 여섯 가지 지시 가운데 하나를 계속 빠뜨린다면, 대개 체인이 해법입니다.
라우팅: 전문가 앞에 접수처를 둔다
라우터는 요청을 읽고 어떤 종류인지 판단해 맞는 경로로 보냅니다. 고객 지원 메일함은 환불, 비밀번호 재설정, 불만을 각자의 일에 맞춘 별도 프롬프트로 나눕니다. 그러면 환불 답변을 개선해도 비밀번호 답변이 모르는 사이에 망가질 수 없습니다. 같은 방법으로 쉬운 질문은 작고 저렴한 모델에, 어려운 질문은 큰 모델에 보낼 수 있으며, 용어집의 LLM 라우팅 항목에서 설명합니다.
모든 것이 분류에 달려 있습니다. 지불 거절을 비밀번호 질문으로 분류한 라우터는 이미 화가 난 고객에게 잘못된 안내를 아주 자신 있게 보냅니다. 그러니 뒤에 있는 것을 믿기 전에 분류기만 따로 측정하십시오.
병렬화: 분할과 투표
어떤 일은 서로 의존하지 않는 조각으로 나뉘고, 그런 조각은 동시에 실행한 뒤 코드로 결과를 이어 붙일 수 있습니다. Anthropic은 두 가지 형태를 꼽습니다.
분할에서는 호출마다 일의 다른 부분을 맡깁니다. 세입자의 임대차 계약서를 세 호출에 동시에 보내, 하나는 월세와 보증금 조건을, 하나는 수리 의무를, 하나는 중도 해지 조항을 읽게 합니다. 각자 한 가지에만 온전히 집중해 읽고, 마지막 단계에서 코드가 보고서를 엮습니다. 흔한 조합은 한 호출이 요청에 악용 소지가 있는지 걸러 내는 동안 다른 호출이 답변 초안을 쓰는 방식입니다.
투표에서는 여러 호출에 같은 일을 맡기고 답을 비교합니다. 코드 변경의 보안 허점을 세 번 따로 검토하고 한 번이라도 지적이 나오면 사람에게 넘긴다는 규칙을 두면, 한 번 검토할 때보다 더 많이 잡아냅니다. 기준은 여러분이 정합니다. 보안 경고라면 세 표 중 한 표, 고객의 게시물을 숨기기 전이라면 세 표 중 두 표입니다.
평가자-최적화자: 작가와 편집자
한 호출이 쓰고, 두 번째 호출이 명시된 기준에 비추어 결과를 확인한 뒤 메모를 붙여 돌려보냅니다. 확인하는 쪽이 만족할 때까지 루프가 반복됩니다. 메뉴판을 일본어로 번역하는 식당이 좋은 예입니다. 평가자는 모든 요리에 알레르기 표시가 남아 있는지, 가격이 바뀌지 않았는지, 요리 이름이 직역되어 엉뚱한 말이 되지 않았는지 확인합니다.
Anthropic은 이 패턴이 맞는다는 신호 두 가지를 듭니다. 사람의 피드백이 초안을 분명히 낫게 만들 것, 그리고 모델이 그런 피드백을 스스로 줄 수 있을 것입니다. 둘 다 해당하지 않으면 편집자는 무엇이든 통과시키거나 끝없이 트집을 잡습니다. 왕복 횟수에 엄격한 상한을 두고, 평가하는 모델이 어떻게 틀리는지는 용어집의 LLM-as-a-judge 항목을 참고하십시오.
오케스트레이터와 워커: 경첩
Anthropic은 이것을 워크플로로 분류하지만, 모델이 계획을 쓰기 시작하는 지점이 바로 여기입니다. 중심 모델이 작업을 읽고 어떤 조각이 필요한지 정한 뒤, 각 조각을 워커 호출에 넘기고 돌아온 것을 합칩니다. 분할과 달리 조각이 미리 정해져 있지 않습니다. 웹사이트 전체에서 제품 이름을 바꾸는 요청이라면 바꿀 파일이 세 개일 수도 서른 개일 수도 있고, 코드를 읽어 봐야만 알 수 있습니다. 멀티 에이전트 시스템의 흔한 형태이기도 하므로 아래에서 다시 다룹니다.
단일 에이전트 루프
단계를 적을 수 없을 때는 모델에 도구와 목표를 주고 루프 안에서 일하게 합니다. Anthropic은 에이전트를 "대개 환경에서 오는 피드백에 따라 루프 안에서 도구를 쓰는 LLM일 뿐"이라고 설명합니다. 대부분이 따르는 패턴은 ReAct: Synergizing Reasoning and Acting in Language Models에서 왔습니다. 프린스턴대와 Google의 Shunyu Yao와 동료들이 2022년에 쓴 논문으로, ICLR 2023에서 발표되었습니다. 모델은 짧은 추론 한 줄과 행동을 번갈아 합니다. 생각하고, 도구를 부르고, 돌아온 것을 읽고, 다시 생각합니다.
분실된 택배를 생각해 보십시오. 에이전트는 배송 조회 페이지를 읽고 택배가 물류 센터에 멈춰 있다는 것을 알게 되고, 그 센터의 공지를 찾아 배송 중단을 발견하고, 주문을 다시 보낼 수 있는지 확인한 뒤, 안 되면 환불 요청서를 작성합니다. 각 단계가 앞 단계에서 찾은 것에 달려 있으니, 이 경로를 미리 대본으로 짤 수 있는 사람은 없습니다. 논문에서 추론과 행동을 번갈아 하는 방식은 ALFWorld와 WebShop이라는 두 가지 상호작용 과제에서 모방 학습과 강화 학습 방법을 절대 성공률로 각각 34포인트와 10포인트 앞섰고, 프롬프트에 넣은 풀이 예시는 한두 개뿐이었습니다.
엔지니어링의 대부분은 이 루프에 들어갑니다. 용어집의 에이전트 루프, ReAct, 그리고 도구를 실행하고 규칙을 지키게 하는 모델 주변 소프트웨어인 에이전트 하네스 항목이 부품을 설명합니다. 가장 중요한 것은 두 가지입니다. 하나는 최대 단계 수 같은 중단 조건으로, 헤매는 에이전트가 밤새 돈을 쓰지 않게 합니다. 다른 하나는 도구 자체입니다. Anthropic의 세 번째 원칙은 도구를 프롬프트만큼 꼼꼼하게 문서화하고 테스트하라는 것입니다. 모호한 도구 설명은 모호한 지시이기 때문입니다.
계획 후 실행: 목록부터 쓴다
ReAct 에이전트는 한 번에 한 단계씩 정하기 때문에 유연하지만 때로는 방향을 잃습니다. 같은 검색을 되풀이하거나, 옆길로 빠지거나, 스무 번째 단계쯤에서 목표를 잊습니다. 계획 후 실행(plan-and-execute)은 생각하는 일과 하는 일을 나눕니다. 플래너가 처음에 전체 목록을 쓰고, 실행자가 항목을 하나씩 처리하며, 각 항목이 끝난 뒤나 무언가 실패했을 때 플래너가 남은 부분을 고칠 수 있습니다.
분별 있는 사람이 이사하는 방식과 같습니다. 목록을 쓰고(트럭 예약, 인터넷 해지, 우편물 전송 신청), 하나씩 지워 나가다가, 이삿짐 업체가 예약이 꽉 차면 목록을 다시 씁니다. 글로 적힌 계획이 있으면 무슨 일이 일어나기 전에 사용자에게 보여 주거나 사람의 승인을 받을 수 있고, 실행자는 더 작고 저렴한 모델로 충분한 경우가 많습니다. 대가는 계획이 낡는다는 점입니다. 플래너가 다시 들여다보지 않으면, 실행자는 세 항목 전에 이미 의미를 잃은 단계를 성실하게 끝마칩니다.
에이전트 팀으로서의 오케스트레이터와 워커
멀티 에이전트 시스템은 여러 에이전트에 각자의 지시, 도구, 컨텍스트를 주고, 어떤 형태의 오케스트레이션이 누가 언제 일할지를 정합니다. 흔한 형태는 중심 에이전트가 서브에이전트를 띄우고, 각자에게 깨끗한 컨텍스트 윈도를 주고, 짧은 보고를 합치는 방식입니다.
Anthropic 자체의 리서치 기능은 이 방식을 지지하는 가장 강력한 공개 사례입니다. 2025년 6월 글에 따르면, Claude Sonnet 4 서브에이전트를 지휘한 Claude Opus 4는 Anthropic 내부 리서치 평가에서 단독 Opus 4 에이전트보다 90.2% 앞섰습니다. 같은 글은 청구서도 보여 줍니다. 에이전트는 채팅보다 약 네 배, 멀티 에이전트 시스템은 약 15배의 토큰을 씁니다. BrowseComp 벤치마크에 대한 Anthropic의 분석에서는 토큰 사용량 하나만으로 성능 편차의 80%가 설명되었습니다. 다시 말해 향상의 상당 부분은 추가 에이전트가 돈을 내고 읽은 추가 분량입니다. Anthropic은 또 에이전트들이 같은 컨텍스트를 공유해야 하거나 서로 의존하는 분야에는 이 시스템이 잘 맞지 않으며, 대부분의 코딩 작업은 리서치보다 진짜로 병렬인 부분이 적다고 말합니다.
리서치가 이 패턴에 맞는 이유는 폭이 넓은 일이기 때문입니다. 조사할 회사가 열 곳이고, 각각이 서로 독립적이며, 각각이 컨텍스트 윈도 하나에 다 담기지 않을 만큼의 페이지를 만들어 냅니다.
핸드오프: 전문가에게 전화를 넘기기
전화를 돌려받는 순간 일이 꼬이는 경험은 누구나 있습니다. 첫 상담원에게 문제를 설명하고, 결제 부서로 연결된 뒤, 고객 번호부터 다시 말합니다. 핸드오프는 에이전트 사이의 같은 동작이며, 잘 만들면 대화를 그대로 들고 갑니다.
OpenAI Agents SDK(4.4)에서 핸드오프는 모델에게 도구로 보입니다. 환불 에이전트로의 핸드오프는 transfer_to_refund_agent라는 도구가 되고, 이를 호출하면 제어권이 넘어갑니다. 핸드오프 문서에 따르면 새 에이전트는 기본적으로 "이전 대화 기록 전체를 보게" 됩니다. input_filter로 넘어가는 내용을 줄일 수 있고, on_handoff 콜백으로 모델이 제시한 이유를 확인해 전환을 막을 수 있습니다. 다른 방법은 에이전트를 도구로 쓰는 것입니다. 첫 에이전트가 제어권을 쥔 채 전문가에게 좁은 질문을 하고 답을 돌려받습니다. 점원이 수화기를 건네는 대신 직접 창고에 전화하는 것과 같습니다.
핸드오프는 접수처가 대화를 각자 자기 도구를 가진 전문가에게 넘기는 경우에 맞습니다. 환불 에이전트는 환불을 처리할 수 있고 주문 조회 에이전트는 할 수 없습니다. 이런 권한 분리는 나눌 만한 진짜 이유입니다. 위험은 기록을 들고 간다는 점의 이면입니다. 고객이 한 말과 모든 도구 결과가, 걸러 내지 않는 한 통화와 함께 이동합니다.
사람의 승인 체크포인트
에이전트는 계속하기 전에 멈추고 사람에게 물을 수 있으며, Anthropic은 이를 에이전트 패턴의 일부로 봅니다. 에이전트는 "체크포인트에서나 장애물을 만났을 때 사람의 피드백을 받기 위해 멈춘다"는 것입니다. 구조는 용어집의 휴먼 인 더 루프 항목에서 설명하며, LangGraph(4.6)는 멈추고, 재시작을 거쳐도 상태를 유지하고, 누군가의 승인을 기다려야 하는 에이전트를 위해 만들어졌습니다.
체크포인트는 되돌릴 수 없는 행동 바로 앞에 두십시오. 돈이 나가기 전, 이메일이 고객에게 닿기 전, 변경 사항을 병합하기 전입니다. 재무팀의 에이전트는 청구서를 모으고 지급 일괄 처리를 스스로 준비할 수 있지만, 그 처리를 승인하는 것은 사람입니다. 모든 단계에서 승인을 요구하면 사람들은 읽지 않고 '예'를 누르게 되는데, 이는 AI 에이전트가 물을 때 누가 '예'를 누르는가에서 살펴보았습니다. 잘 자리 잡은 몇 개의 체크포인트는 읽히지만, 하루 수십 개는 읽히지 않습니다.
에이전트를 늘리면 결과가 나빠질 때
멀티 에이전트라는 내기를 지금까지 가장 신중하게 검증한 것은 Google Research, Google DeepMind, MIT의 연구입니다. Yubin Kim, Xin Liu와 동료들의 Towards a Science of Scaling Agent Systems는 2025년 12월에 처음 공개되었고 2026년 1월 Google Research 블로그에 요약되었습니다. 저자들은 단일 에이전트를 네 가지 멀티 에이전트 설계와 비교했습니다. 마지막에 답을 합치는 독립 에이전트들, 중앙 오케스트레이터, 토론하는 대등한 에이전트들, 그리고 뒤의 두 가지를 섞은 혼합형입니다. 도구, 프롬프트, 토큰 예산을 똑같이 맞추고 OpenAI, Google, Anthropic의 모델을 썼습니다. 논문의 현재 버전은 여섯 개 벤치마크에 걸친 260개 구성을 다룹니다.
결과는 과제의 형태에 따라 갈렸습니다.
- 병렬 작업은 좋아졌습니다. 질문이 뉴스, 공시 자료, 영업 활동 같은 별개의 갈래로 나뉘는 금융 분석 벤치마크 Finance Agent에서 중앙 오케스트레이터는 단일 에이전트보다 80.8% 높은 점수를 냈습니다. 0.631 대 0.349입니다.
- 순차 작업은 매번 졌습니다. 각 단계가 앞 단계에 의존하는 Minecraft 제작 퍼즐 PlanCraft에서는 모든 멀티 에이전트 설계가 단일 에이전트보다 못했습니다. 혼합형은 39.1%, 독립 에이전트들은 최대 70.0% 떨어졌습니다. 단일 에이전트는 0.568, 독립 에이전트들은 0.170이었습니다.
- 확인하는 쪽이 없으면 오류가 퍼집니다. 독립 에이전트들은 단일 에이전트에 비해 오류를 17.2배로 증폭했습니다. 한 에이전트의 실수가 최종 답에 이르기 전에 걸러 낼 장치가 없었기 때문입니다. 중앙 오케스트레이터는 합치기 전에 작업을 확인해 이를 4.4배로 억눌렀습니다.
- 강한 단일 에이전트에는 얻을 것이 적습니다. 한 에이전트가 이미 약 45%를 넘게 성공하는 경우, 에이전트를 더하면 결과가 나빠지는 경향이 있었습니다.
- 도구가 많은 일은 세금을 냅니다. 토큰 예산이 고정된 상태에서 이를 에이전트들이 나눠 쓰면, 각자에게는 많은 도구를 다룰 만큼의 여유가 남지 않았습니다. 논문의 예는 도구 16개를 쓰는 업무 흐름입니다.
논문이 직접 든 예가 가장 선명한 그림입니다. 섬록암 담장을 만들라는 요청에 단일 에이전트는 레시피를 찾고, 돌을 격자로 옮기고, 담장을 만들었습니다. 세 턴입니다. 중앙에서 조정하는 팀은 같은 일을 레시피 조사 담당, 재고 확인 담당, 제작 담당으로 나눴는데 그중 둘은 불필요했고, 예산을 일 자체가 아니라 일에 관한 메시지에 썼습니다. 오믈렛 하나에 요리사 넷입니다.
교훈은 에이전트 팀이 실패한다는 것이 아닙니다. 일이 독립된 조각으로 나뉘고 무언가가 그 조각을 확인할 때는 도움이 되고, 일이 서로 의존하는 단계의 사슬일 때는 해가 됩니다. 논문의 모델은 과제의 측정 가능한 특징을 써서, 보지 못한 구성의 87%에서 최적의 설계를 골랐습니다. 어떤 프레임워크의 데모보다 나은 길잡이입니다.
결정하는 순서
- 좋은 문서 검색과 예시를 곁들인 모델 호출 한 번부터 시도하십시오. 다른 무엇을 만들기 전에, AI 앱과 에이전트 테스트 가이드에서처럼 실제 사례 30개에서 50개로 측정하십시오.
- 단계를 빠뜨리면 체인으로 엮으십시오. 입력의 종류가 다르면 라우팅하십시오. 부분들이 독립적이면 병렬로 돌리고, 한 명의 검토자가 놓치는 것이 있으면 여럿이 투표하게 하십시오. 품질에 확인 가능한 기준이 있으면 왕복 횟수 상한을 둔 평가자를 더하십시오.
- 단계를 적을 수 없다면 단계 수 상한, 꼼꼼히 설명한 도구, 누군가 읽는 로그를 갖춘 단일 에이전트 루프를 쓰십시오.
- 그 에이전트가 헤맨다면 먼저 계획을 쓰게 하고, 진행하면서 계획을 고치게 하십시오.
- 에이전트는 이름 붙여 말할 수 있는 실패가 있을 때만 더하십시오. 자료가 컨텍스트 윈도 하나를 넘치거나, 일이 독립된 조사로 나뉘거나, 단계마다 필요한 권한이 다른 경우입니다. 책임자로는 결과를 확인하는 오케스트레이터를 두고, 독립 에이전트를 무더기로 두지 마십시오.
- 되돌릴 수 없는 행동 앞에서는 멈추고 사람에게 물으십시오.
프레임워크가 전제하는 것
프레임워크는 자신이 기반으로 삼은 패턴 쪽으로 여러분을 이끕니다. LangGraph(4.6)는 그래프를 명시적으로 그리게 하므로 워크플로와 승인 단계가 있는 장시간 실행 에이전트에 맞지만, 그만큼 코드가 늘어납니다. OpenAI Agents SDK(4.4)는 작고 핸드오프와 가드레일을 중심으로 만들어졌으며, 끄지 않으면 트레이스를 OpenAI로 보냅니다. CrewAI(4.1)는 역할을 맡은 에이전트 팀을 빠르게 돌아가게 하지만, 저희 리뷰에서는 실서비스 팀이 결국 자유로운 Crew 대신 정해진 Flows를 쓰게 된다는 점을 확인했습니다. Pydantic AI(4.5)는 단일 에이전트에 타입이 지정된 출력을 가져오고, Claude Agent SDK(4.2)는 Claude Code의 루프와 도구를 완성된 형태로 건넵니다. Microsoft의 영향력 있는 멀티 에이전트 프레임워크 AutoGen(2.6)은 보관 처리되었습니다. 공통점은 용어집의 에이전트 프레임워크 항목에서 다룹니다.
Anthropic의 가이드는 "많은 패턴은 코드 몇 줄로 구현할 수 있다"며 모델 API를 직접 쓰는 것부터 시작하라고 권하고, 프레임워크가 디버깅할 때 봐야 할 프롬프트를 가리고 불필요한 복잡성을 부추길 수 있다고 경고합니다. 체인이나 라우터는 어떤 언어로든 몇 줄입니다. 프레임워크는 지속되는 상태나 트레이싱처럼 그것이 잘하는 일로 제 몫을 해야지, 오후 한나절에 쓸 수 있는 패턴 때문에 쓸 것은 아닙니다.
주의할 점: 근거는 그것을 말하는 자신감보다 얇습니다. Google 연구는 토큰 예산을 고정했으므로 그냥 더 많이 쓰는 팀은 다른 결과를 볼 수 있고, 그 벤치마크는 여러분의 제품이 아닙니다. Anthropic의 90.2%는 자체 내부 평가에서 나온 수치이며, 패턴 가이드는 2024년 12월 글로, 그 뒤로 도구들이 바뀌었다는 안내가 붙어 있습니다. 모두 판결이 아니라 여러분 자신의 과제를 측정할 이유로 받아들이십시오.
결론: 에이전트 시스템은 작은 가게가 사람을 뽑듯이 만드십시오. 빵집을 열면서 운영 책임자, 물류 책임자, 고객 경험 책임자부터 임명하는 사람은 없습니다. 솜씨 좋은 제빵사 한 명을 뽑고 레시피를 적어 둡니다. 두 번째 사람은 첫 사람이 나란히 해낼 수 있는 일에 분명히 치일 때 들어오고, 누군가는 철판이 나가기 전에 확인합니다. 추가 에이전트는 여러분이 이미 본 문제에 대한 답이어야 합니다.
출처
- Erik Schluntz, Barry Zhang(Anthropic): Building effective agents, 2024년 12월.
- Anthropic: How we built our multi-agent research system, 2025년 6월.
- Yubin Kim, Xin Liu 외(Google Research, Google DeepMind, MIT): Towards a Science of Scaling Agent Systems, arXiv 2512.08296.
- Google Research 블로그: Towards a science of scaling agent systems: when and why agent systems work, 2026년 1월.
- OpenAI Agents SDK: Handoffs 문서.
- Shunyu Yao 외: ReAct: Synergizing Reasoning and Acting in Language Models, ICLR 2023.