앱이나 재판매업자를 통해 특정 AI 모델에 돈을 낼 때, 당신의 답이 정말 그 모델에서 왔는지, 아니면 비용을 아끼 려고 조용히 바꿔치기한 더 싼 모델에서 왔는지 확인할 방법이 없습니다. 오픈소스 프로토타입으로 공개된 Anthropic의 FlashProve는 그 틈을 암호로 메우려는 초기 시도이며, 실용에 가까워 보이는 첫 버전입니다.
이 도구는 zkSNARK를 씁니다. 이는 서버가 계산이 올바르게 이루어졌음을 당신에게 납득시키면서 그 밖에는 아무것도 드러내지 않는 종류의 암호 증명으로, 여기서는 모델 가중치를 노출하지 않습니다. 제공자는 먼저 커밋먼트, 즉 하나의 정확한 가중치 집합을 고정하는 짧은 지문을 공개합니다. 그다음 응답마다, 그 커밋된 가중치를 당신의 프롬프트에 적용하면 바로 그 토큰들이 나온다는 증명을 생성합니다. 커밋먼트, 프롬프트, 응답을 가진 사람은 누구나 가중치 없이, 모델을 다시 돌리지 않고, 보통의 하드웨어에서 빠르게 검증할 수 있습니다. 이는 소비자 신뢰를 위해, 프런티어 모델이 정말 자사 코드를 검토했음을 기업이 증명하기 위해, 그리고 승인된 모델만 제공되는지 규제 당국이 확인하기 위해 중요합니다.
핵심은 속도입니다. 저희가 리뷰하는 4000억 파라미터 mixture-of-experts 모델 Llama 4 Maverick에서, H100 GPU 한 대가 초당 약 110 토큰의 속도로 증명을 생성하며, 증명 크기는 1,024 토큰 요청당 약 19 MB, 가중치는 4비트로 양자화됩니다. 이전의 유일한 오픈소스 시도는 초당 약 0.02 토큰이었으니, 이는 수천 배의 도약입니다. Anthropic은 증명기, 빠른 C++ 검증기, 그리고 Lean으로 정확성을 증명한 별도의 검증기를 모두 Apache 2.0으로 제공하며, 완성된 연구가 아니라 중간 진척이라고 밝힙니다.
비용이 명백한 단서입니다. 증명을 생성하는 데는 vLLM에서 모델을 그냥 제공할 때의 GPU 시간보다 약 70에서 95배가 들어, 모든 요청에 FlashProve를 돌리면 추론 비용이 몇 배로 늘어납니다. 그것만으로도 지금으로서는 일상적인 운영에서 벗어납니다.
다른 한계도 분명히 말할 가치가 있습니다. 증명은 탐욕적 디코딩과 1,024 토큰 문맥에 한정되어, 대부분의 제품이 기대는 긴 문맥과 표본 추출된 출력은 제외됩니다. 그리고 빠른 C++ 검증기는 Lean으로 검사된 검증기의 형식적 보장을 지니지 않아, 편리한 경로가 아직 증명된 경로는 아닙니다. Anthropic은 이것을 토대 삼으라고 공개했으며, 그렇게 읽는 것이 옳습니다. 검증 가능한 추론에 대한 믿을 만한 개념 증명이지, 오늘 당신이 모델 제공자에게 요구할 수 있는 것은 아닙니다.