AirLLM
Biblioteca de Python que ejecuta modelos abiertos muy grandes en una GPU pequeña cargando una capa cada vez desde disco, a segundos o minutos por token.
Reseña de ReviewRamble editors · Actualizado
Ver en GitHub Código abierto
Biblioteca de Python que ejecuta modelos abiertos muy grandes en una GPU pequeña cargando una capa cada vez desde disco, a segundos o minutos por token.
Reseña de ReviewRamble editors · Actualizado