Test de Hunyuan-0.5B-Instruct : le plus petit modèle de Tencent, et comment le faire tourner en local

La plupart des modèles de langage ont besoin d'une carte graphique pour être utilisables. Hunyuan-0.5B-Instruct, le plus petit modèle de la famille Hunyuan de Tencent avec 500 millions de paramètres, est conçu pour tourner plutôt sur un CPU ou un appareil en périphérie.

Vue d'ensemble

Il est affiné pour suivre des instructions et hérite des méthodes d'entraînement de ses grands frères, qui vont jusqu'à 13B. Il prend en charge un contexte très long, l'attention à requêtes groupées (GQA, une façon de réduire l'usage de mémoire) et plusieurs formats de quantification. Pour sa taille, il est étonnamment capable sur les tâches légères.

Points forts

• Il tourne sur CPU et sur des appareils en périphérie, avec environ 1GB de VRAM, ce qui convient aux machines peu puissantes.
• Un raisonnement solide sur des tâches de logique et de philosophie.
• Il suit des instructions en plusieurs étapes et produit des réponses structurées.
• Il gère des tâches de développement de base comme corriger la syntaxe et optimiser des requêtes SQL.

Points faibles

• Faible en dehors de l'anglais ; il a eu du mal avec la traduction en indonésien.
• Des garde-fous lâches : il répond sans refuser à des consignes éthiquement discutables.
• Les sorties longues comme des articles de recherche perdent en cohérence par rapport aux modèles plus grands.

Installation avec vLLM et Open WebUI

Prérequis

• Ubuntu
• Facultatif : un GPU NVIDIA (la configuration décrite ici utilisait une RTX A6000 de 48GB)
• Environ 1,2GB de stockage pour le modèle
• Python 3.9 ou plus récent
• vLLM
• Open WebUI

1. Installer vLLM

pip install vllm

2. Télécharger et servir le modèle

python3 -m vllm.entrypoints.openai.api_server \
  --model Tencent-Hunyuan/Hunyuan-0.5B-Instruct \
  --port 8000

Cette commande télécharge le modèle et le sert sur localhost:8000.

3. Installer et lancer Open WebUI (l'interface dans le navigateur)

git clone https://github.com/open-webui/open-webui
cd open-webui
docker compose up -d

4. Ouvrir l'interface

Rendez-vous sur http://localhost:3000 dans votre navigateur pour discuter avec le modèle via Open WebUI.

Résultats de tests rapportés

• L'usage de VRAM dépassait à peine 1GB : il tourne donc sur un CPU ou un GPU de classe mobile.
• Raisonnement : il a résolu des questions de logique comme le problème de la batte et de la balle.
• Programmation : il a corrigé de la syntaxe JavaScript, optimisé des requêtes SQL et débogué des extraits de code.
• Philosophie : il a raisonné pas à pas sur des scénarios hypothétiques.
• Limites : il n'a ni détecté ni refusé des consignes contraires à l'éthique, et il a inventé certains faits dans des langues peu dotées.

Notre avis : pour du raisonnement de base, une aide à la programmation en local ou un déploiement en périphérie, Hunyuan-0.5B-Instruct est une bonne option open source, à une taille qui tient presque partout. Pour l'écriture longue ou le travail hors anglais, un modèle plus grand vaut la mémoire supplémentaire.

Le modèle est disponible sur Hugging Face.