TileKernels의 개요
TileKernels는 고성능 GPU 코드를 위한 Python 기반 언어인 TileLang으로 작성된 DeepSeek의 GPU 커널 라이브러리입니다. DeepSeek의 최 근 모델이 의존하는 연산을 다룹니다. mixture-of-experts 라우팅을 위한 top-k 전문가 선택과 점수 계산, SwiGLU와 양자화를 융합한 토큰별, 블록별, 채널별 FP8 및 FP4 변환, 순전파와 역전파를 갖춘 Engram(DeepSeek의 메모리 모듈)용 게이팅 커널, Sinkhorn 정규화를 포함한 manifold hyper-connection(mHC) 커널, 그리고 RoPE와 난수 커널입니다. README에 따르면 대부분의 커널은 하드웨어의 연산 또는 메모리 대역폭 한계에 가깝게 동작하며, 모두 DeepSeek 내부의 학습과 추론에 쓰입니다.
PyPI에서 tile-kernels로 설치하며 Python 3.12, PyTorch 2.13, TileLang 0.1.15 이상이 필요합니다. Nvidia에서는 SM90과 SM100 GPU(H100과 B200 세대)만 지원하며 CUDA 13.1 이상이 필요합니다. 2026년 9월의 버전 2.0.0은 CANN 9.2.0을 쓰는 Ascend 950 NPU용 Huawei Ascend 백엔드를 추가했으며, 같은 Python API 뒤에서 실행 시 자동으로 선택됩니다. 코드는 MIT 라이선스입니다.
TileKernels, 쓸 만한 가치가 있습니까?
TileKernels는 의존성보다 증거로서 의미가 큽니다. Engram과 manifold hyper-connections는 DeepSeek 고유의 아키텍처 아이디어이며, Redeep은 이 저장소를 두 가지의 첫 공개 커널 수준 구현이라고 설명합니다. DeepSeek-V4 논문은 빠른 개발과 깊은 최적화를 하나의 코드베이스에서 함께 할 수 있어 융합 커널에 TileLang을 채택했다고 말합니다. Redeep의 2026년 6월 분석은 다섯 개 모듈에서 44개의 연산자를 셌습니다(MoE 라우팅 14개, 양자화 15개, mHC 10개, Engram 5개, 전치 1개). 그 뒤로 RoPE와 난수 커널이 추가됐습니다.
하드웨어 문턱이 높습니다. Nvidia에서는 SM90과 SM100 칩만 해당되므로 RTX 4090(SM89)은 제외되며, 열린 이슈 하나는 소비자용 Blackwell(SM120)에서 Engram의 Sinkhorn 커널이 100 KB 공유 메모리를 넘는다고 보고합니다. 버전 2.0.0의 Ascend 백엔드는 TileLang의 약속이 아니라 실제 지원이어서, 같은 Python 호출을 Nvidia와 Huawei 하드웨어에서 실행하는 몇 안 되는 공개 커널 모음이 됐습니다. README에는 벤치마크 표가 없으며, 한계에 가까운 성능이라는 주장은 사용자가 직접 --run-benchmark로 돌리는 동봉된 pytest 벤치마크에 기대고 있습니다.
유지보수 방식이 가장 큰 절충점입니다. 메인 브랜치의 커밋은 일곱 개로, 2026년 4월 23일의 첫 공개 뒤에 9월 30일의 버전 2.0.0과 10월 14일의 2.1.0이라는 두 번의 릴리스 일괄 반영이 있습니다. 외부 기여는 대기 중입니다. AMD ROCm과 Moore Threads MUSA 이식을 포함해 16개의 풀 리퀘스트가 열려 있고, 병합된 풀 리퀘스트는 출시 당일의 주석 수정과 두 번의 릴리스 반영뿐입니다. 스타는 약 2,100개로 TileLang의 약 9,000개에 비하면 일부에 불과합니다.
H100이나 B200 클러스터에서 FP8로 DeepSeek 방식의 mixture-of-experts 모델을 학습하는 팀에게는 직접 작성할 몇 주를 아껴 주는, 테스트되고 프로덕션에서 쓰인 커널입니다. 일반적인 밀집 모델, 오래된 GPU, 이미 자체 커널을 갖춘 vLLM 같은 서빙 스택 등 그 밖의 경우에는 TileKernels가 주로 읽어 볼 참고 코드입니다.
제 역할을 하는 곳
H100 노드에서 전문가 200개짜리 MoE 모델을 사전 학습하는 연구소의 인프라 엔지니어
느린 PyTorch top-k 게이팅과 FP8 변환을 융합 커널로 바꾸기
pip install tile-kernels를 실행하고 게이팅과 블록별 FP8 변환 호출을 라이브러리 버전으로 바꾼 뒤, 동봉된 테스트로 tile_kernels/torch의 PyTorch 참조 구현과 하나씩 대조합니다. MIT로 무료이며, 절약되는 것은 라이선스 비용이 아니라 몇 주의 엔지니어링 시간입니다.
DeepSeek-V4 아키텍처를 재현하는 연구 엔지니어
Engram 게이팅과 manifold hyper-connections가 실제로 어떻게 구현됐는지 읽기
engram과 mhc 모듈을 PyTorch 참조 코드와 함께 살펴본 뒤, 작은 학습에서 Engram 게이트용 torch.autograd.Function 래퍼를 사용합니다. 커널에는 SM90 또는 SM100 GPU가 필요하므로 H100을 빌리는 것이 가장 저렴한 실행 방법입니다.
Nvidia와 Huawei 가속기를 함께 운영하는 중국 클라우드 업체의 플랫폼 팀
H100과 Ascend 950 플릿에서 커널 코드 경로를 하나로 유지하기
버전 2.0.0부터 라이브러리는 같은 Python 호출 뒤에서 실행 시 CUDA 또는 Ascend 백엔드를 고르므로 모델 코드베이스 하나가 양쪽에서 동작합니다. Ascend에는 CANN 9.2.0 이상이 필요합니다.
도입 전 확인할 점
- 설정
- pip install tile-kernels 또는 클론에서 pip install -e ".[dev]"를 실행합니다. Python 3.12+, PyTorch 2.13+, TileLang 0.1.15+와 함께 CUDA 13.1+의 SM90/SM100 GPU 또는 CANN 9.2.0+의 Ascend 950 NPU가 필요합니다. TK_TEST_LEVEL=0 python -m pytest -n 4로 핵심 테스트를 실행합니다.
- 연동
- PyTorch 텐서를 입출력으로 쓰며, 모든 커널에 PyTorch 참조 구현이 있고 Engram 게이트용 autograd 래퍼가 있습니다. TileLang 위에 만들어졌고, DeepSeek의 DeepGEMM과 FlashMLA를 대체하지 않고 함께 공개됩니다.
- 데이터와 개인정보
- README에 네트워크 호출이나 텔레메트리 언급이 없는 로컬 라이브러리입니다. MIT 라이선스는 상업적 사용을 허용합니다. 공개된 보안 권고는 없습니다.
- 대규모 사용 시 비용
- 소프트웨어는 무료입니다. 실제 비용은 하드웨어 문턱으로, Hopper와 Blackwell 데이터센터 GPU나 Ascend 950 NPU에서만 실행됩니다.
- 제한
- 소비자용 GPU는 지원하지 않으며 SM120 공유 메모리 한계에 대한 열린 이슈가 있습니다. AMD와 MUSA 지원은 병합되지 않았습니다. 업데이트는 드문 릴리스 반영으로 들어오고 문서는 짧은 README뿐입니다.
좋은 점
- DeepSeek가 내부에서 쓰는 프로덕션 커널
- Engram과 mHC의 첫 공개 커널
- Nvidia SM90/SM100과 Ascend 950에서 같은 Python API
- MIT 라이선스, pip 설치 가능, pytest 벤치마크 포함
아쉬운 점
- 소비자용 GPU와 Hopper 이전 GPU 미지원
- 코드가 릴리스 일괄 반영으로 들어오며 커뮤니티 이식은 병합되지 않음
- 공개된 벤치마크 표 없음
- DeepSeek와 비슷한 아키텍처에만 유용
추천 대상
H100, B200, Ascend 950 하드웨어에서 FP8로 DeepSeek 방식의 MoE 모델을 학습하거나 서빙하는 ML 인프라 엔지니어.
TileKernels 대안
TileKernels: 자주 묻는 질문
- TileKernels, 쓸 만한 가치가 있습니까?
- TileKernels는 DeepSeek 모델 뒤의 커널을 지금까지 가장 분명하게 보여 주며 같은 아키텍처를 만드는 사람에게는 프로덕션 코드이지만, 커뮤니티 라이브러리가 아니라 DeepSeek의 코드 공개물입니다. 평점은 5점 만점에 3.8점입니다.
- TileKernels의 가격은 얼마입니까?
- MIT 라이선스의 무료 오픈소스입니다.
- TileKernels의 단점은 무엇입니까?
- 소비자용 GPU와 Hopper 이전 GPU 미지원; 코드가 릴리스 일괄 반영으로 들어오며 커뮤니티 이식은 병합되지 않음; 공개된 벤치마크 표 없음; DeepSeek와 비슷한 아키텍처에만 유용.
- TileKernels에 적합한 사람은 누구입니까?
- H100, B200, Ascend 950 하드웨어에서 FP8로 DeepSeek 방식의 MoE 모델을 학습하거나 서빙하는 ML 인프라 엔지니어.
- 팀이나 프로덕션 환경에서 TileKernels의 비용은 얼마입니까?
- 소프트웨어는 무료입니다. 실제 비용은 하드웨어 문턱으로, Hopper와 Blackwell 데이터센터 GPU나 Ascend 950 NPU에서만 실행됩니다.
- TileKernels에 회사 데이터를 맡겨도 안전합니까?
- README에 네트워크 호출이나 텔레메트리 언급이 없는 로컬 라이브러리입니다. MIT 라이선스는 상업적 사용을 허용합니다. 공개된 보안 권고는 없습니다.
- TileKernels의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 SGLang, vLLM 및 TensorRT-LLM입니다.
답변 확인일: 2026년 11월 13일.