Déployer votre propre LLM avec vLLM

Sélectionnez un modèle dans le Model Garden ou collez un identifiant HuggingFace, par exemple Qwen/Qwen3-8B. Chaque modèle a une empreinte VRAM ; l'étape de déploiement estime la VRAM minimale et vous empêche de choisir un GPU trop petit. Nous demandons de manière centralisée l'accès aux modèles à accès restreint (comme certaines variantes de Llama), vous n'avez donc pas à gérer de licences individuelles.

• Choisissez la VRAM et une région GPU européenne
• Nous obtenons la capacité auprès de places de marché GPU européennes
• Nous générons automatiquement un script d'installation vLLM et lançons le déploiement

Le GPU récupère le script d'installation via un jeton signé et démarre vLLM avec sa propre clé API (stockée chiffrée), votre point de terminaison est donc sécurisé. Nous exécutons des sondes de disponibilité sur /health ; dès que vLLM est prêt, l'instance nous rappelle et le statut passe à « warm » (chaud). Vous obtenez une URL compatible OpenAI et Anthropic ainsi qu'une clé API.

Accédez à l'instance via le Router par son slug de modèle, ou directement sur le point de terminaison de l'instance :

curl https://hostyourai.com/api/instances/<instance-id>/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Hello"}]}'

L'instance étant compatible OpenAI, le SDK OpenAI fonctionne ici aussi : définissez l'URL de base sur le Router et choisissez le slug de votre modèle.

Une instance dédiée est facturée à la minute tant qu'elle existe ; supprimez-la quand vous n'en avez plus besoin et la facturation s'arrête immédiatement. Votre tableau de bord affiche le statut, l'usage et les journaux. Pour ajouter du contexte issu de vos propres documents, liez une base de connaissances à l'instance, voir le guide RAG.

La VRAM nécessaire dépend du nombre de paramètres, de la quantification et de la longueur de contexte. Le tableau ci-dessous donne des repères pratiques ; l'étape de déploiement vérifie automatiquement le minimum, vous ne pouvez donc jamais choisir un GPU trop petit. Le catalogue actuel des modèles se trouve dans le Model Garden.