본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

OpenAI 호환 API(OpenAI-compatible API)

OpenAI 호환 API(OpenAI-compatible API)는 다른 제공업체나 도구의 엔드포인트로, OpenAI API와 같은 요청 및 응답 형식을 받아들입니다. 그래서 OpenAI용으로 쓴 코드를 base URL, 키, 모델 이름만 바꿔 전환할 수 있습니다.

다른 이름: OpenAI compatible endpoint

작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식

OpenAI의 Chat Completions 형식은 언어 모델과 대화하는 일반적인 방식이 되었습니다. 개발자가 코드를 다시 쓰지 않아도 되도록 많은 서비스가 이를 따라 했습니다. vLLM, Ollama, llama.cpp 같은 오픈소스 서버가 이를 제공하며, 많은 추론 제공업체와 OpenRouter, LiteLLM 같은 LLM 게이트웨이도 마찬가지입니다.

실제 사용 방식

OpenAI 클라이언트 라이브러리를 계속 쓰면서 다른 곳을 가리키게 합니다. 로컬 Ollama 서버라면 문서에서 base URL을 `http://localhost:11434/v1/`로 설정합니다. vLLM이라면 서버가 직접 고른 포트에서 실행됩니다. 그런 다음 해당 서비스의 모델 이름을 넘깁니다. 요청 본문(메시지, temperature, 최대 토큰)과 응답 형태가 그대로이므로, 모델을 비교하거나 제공업체를 옮기기 쉽습니다.

호환은 동일과 다릅니다

호환성은 보통 핵심 텍스트 엔드포인트만 다루고 나머지 전부를 다루지는 않습니다. Ollama 문서는 OpenAI API의 일부를 지원한다고 밝힙니다. 흔한 공백으로는 구조화된 출력 옵션, 함수 호출 세부 사항, 이미지나 오디오 입력, 새 엔드포인트, 오류 코드, 캐시된 토큰 같은 사용량 필드가 있습니다. 파라미터를 받아들이되 무시할 수도 있습니다. OpenAI처럼 동작하리라 가정하지 말고, 의존하는 기능을 백엔드마다 테스트하십시오.

보안

셀프 호스팅한 호환 서버는 실제 네트워크 서비스입니다. vLLM 문서는 API 키 옵션이 모든 엔드포인트를 보호하지는 않는다고 경고하므로, 이런 서버는 제대로 된 인증 뒤에 두고 인터넷에 직접 노출하지 마십시오.

관련 용어

LLM 게이트웨이
LLM 게이트웨이(LLM gateway)는 애플리케이션과 모델 제공업체 사이에 놓이는 프록시 서버로, 하나의 API를 노출하고 키, 라우팅, 폴백, 레이트 리밋, 로그 기록, 지출 추적을 한곳에서 처리합니다.
모델 서빙(Model serving)
모델 서빙(model serving)은 학습된 모델을 애플리케이션이 네트워크로 호출하는 서비스로 실행하는 것입니다. 가중치를 GPU에 올리고, 요청을 대기열에 넣어 배치로 묶고, 메모리를 관리하고, 결과를 반환하는 소프트웨어를 씁니다.
추론 제공업체
추론 제공업체(inference provider)는 자체 하드웨어에서 AI 모델을 실행하고, 보통 토큰 단위로 과금하는 API로 이용권을 파는 회사입니다. GPU를 직접 관리하지 않고 프롬프트를 보내 출력을 받습니다.
API 키
API 키(API key)는 애플리케이션이 요청마다 함께 보내는 비밀 문자열로, 서비스가 어느 계정이 호출하는지 알고, 한도를 적용하고, 요금을 청구하는 데 씁니다. 키를 가진 사람은 대개 누구나 그 키를 쓸 수 있습니다.
도구 호출
도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 스키마로 함수를 설명하면 모델이 그중 하나를 호출하겠다는 구조화된 요청으로 답하고, 코드가 이를 실행해 결과를 돌려주는 모델 API 기능입니다.

출처