머신러닝 라이브러리를 업그레이드했더니 모델 출력이 조용히 바뀌어 있던 경험이 있다면, Hugging Face의 새 아이디어는 바로 그 실패를 겨냥합니다. Model Integration Contracts라 불리며, 실제 모델을 제대로 테스트하는 일이 코드가 바뀔 때마다 돌리기에는 너무 느리고 비싸서 빠져나가는 회귀를 잡으려는 것입니다.
해결하려는 문제는 구체적입니다. 2026년 7월 30일, Transformers의 한 변경이 T5 모델에 대해 PyTorch의 더 빠른 어텐션 경로를 켰고, 그 부작용으로 UMT5의 디코더가 미래 토큰을 볼 수 있게 되어 학습 중에 예측해야 할 답을 엿볼 수 있었습니다. 아무것도 멈추지 않았기에, 이 버그는 9월 28일에 고쳐지기 전까지 거의 두 달 동안 메인 브랜치에 남아 있었습니다. 순전파는 통과했을 것이고, 고장은 모델의 실제 동작에서만 드러났습니다.
해법은 테스트를 건너뛰는 대신 모델을 줄이는 것입니다. 계약은 픽스처를 만듭니다. 실제 체크포인트의 아주 작은 복제본으로, 모든 종류의 층은 남기되 수를 줄이고 폭을 좁히며, 실제 토크나이저는 그대로 두고, 그런 다음 사람이 검토한 기준 출력을 기록합니다. GPU 무리가 아니라 값싼 CPU 러너에서 돌아갑니다. 실험적인 UMT5 픽스처는 가중치가 66 MB였고 원본 체크포인트는 1,227 MB였습니다. 저희가 리뷰하는 Llama 4 Scout의 픽스처는 mixture-of-experts 라우팅을 유지하면서 1086억 파라미터에서 4470만으로 줄어듭니다. Hugging Face가 다섯 달 치 커밋을 재생하자 작은 픽스처는 그 모두에서 UMT5 버그를 잡아냈고, CI에서 수정을 되돌리자 검사는 CPU에서 13.4초 만에 실패했습니다.
글 속의 한 세부 사항이 이런 테스트를 만드는 사람에게 진짜 교훈입니다. 이 계약이 버그를 잡은 것은 실제 모델이 기본으로 쓰는 어텐션 코드와 같은 SDPA를 통과했기 때문입니다. 옛 경로만 시험하는 버전은 놓쳤습니다. 줄인 모델은 완전한 모델과 같은 코드를 지날 때만 쓸모가 있으며, 그 점은 틀리기 쉽습니다.
솔직한 한계도 분명히 밝혀져 있습니다. 이 검사는 아직 풀 리퀘스트를 막지 않고, 모델 계열과 사용 경로 전반의 커버리지는 여전히 부분적이며, 팀은 픽스처가 얼마나 자주 거짓 경보를 내는지 측정하지 않았다고 하며, 합성 결함 비교 하나도 미해결로 남아 있습니다. Transformers는 거의 모든 오픈 모델 도구를 떠받치므로, 그것을 위한 값싼 조기 경보 테스트는 가치가 있을 것입니다. 날마다 신뢰를 얻을지는 그 측정되지 않은 거짓 경보율에 달려 있으며, 커버리지가 커지는 동안 지켜봐야 할 숫자가 바로 그것입니다.