Aller au contenu

GPU et infrastructure 04 EU compute

Hébergement vLLM en Europe

Une inférence LLM haute performance avec vLLM dans des datacenters européens.

  • GLM
  • DeepSeek
  • Qwen
  • Kimi
  • Mistral
  • Llama
  • gpt-oss
  • Gemma
  • Loes
  • Nemotron
  • Claude Code
  • Codex
  • OpenCode
  • Cursor
  • Cline
  • Loes
  • OpenAI SDK
  • Anthropic SDK

Ce que cela fait GPU et infrastructure

Pourquoi un hébergement vLLM dans l'UE

Demandez à deux équipes de servir le même modèle ouvert sur le même GPU et vous pouvez obtenir des débits très différents. La différence vient généralement du moteur de service. HostYourAI exécute chaque modèle, partagé ou dédié, sur vLLM : le moteur open source devenu le standard de fait pour l'inférence LLM en production.

Vous profitez de l'efficacité de vLLM sans avoir à l'exploiter vous-même, sur des GPU de datacenters européens, derrière un point d'accès compatible OpenAI. Les prompts restent dans l'UE, un DPA est disponible et rien de ce que vous envoyez n'est jamais utilisé pour l'entraînement.

En savoir plus

01

Un service efficace est aussi un choix de protection des données

Plus un seul GPU basé dans l'UE peut traiter de requêtes, moins il y a de pression pour déverser le trafic vers le cloud le moins cher de la semaine. Un moteur efficace sur du matériel européen garde tout le chemin, réseau, GPU et journaux, sous une juridiction favorable au RGPD.

02

Le streaming paraît rapide quand le serveur est proche

vLLM diffuse les tokens en SSE, et le streaming rend la distance visible : chaque fragment traverse le réseau. Servir les utilisateurs européens depuis plusieurs régions européennes garde ce chemin court.

03

Bien exploiter vLLM est un vrai métier

Mises à jour de version, compatibilité CUDA, réglage de la mémoire, sondes de santé : auto-héberger vLLM, c'est tout assumer. Ici, ce travail est fait pour vous, avec un SLA de disponibilité de 99,9 %, et si vous voulez d'abord comprendre la voie en autonomie, lisez Déployer son propre LLM avec vLLM.

02 GPU et infrastructure

Le moteur de service compte plus que les caractéristiques brutes du GPU

La fiche technique d'un GPU ne dit presque rien des tokens par seconde sous trafic réel. Deux mécanismes de vLLM font l'essentiel du travail. Le batching continu signifie que le moteur n'attend pas la fin d'un lot pour admettre de nouvelles requêtes ; dès qu'une séquence se termine, la suivante prend sa place, et le GPU reste rarement inactif entre deux requêtes. PagedAttention gère le cache d'attention comme un système d'exploitation gère la mémoire, en petites pages plutôt qu'en un grand bloc contigu, ce qui réduit fortement la VRAM gaspillée et permet de loger plus de séquences simultanées sur la même carte. Pas de multiplicateurs de vitesse inventés ici ; l'effet pratique est simplement une meilleure utilisation par heure de GPU, que vous payiez au token sur l'EU Inference Router ou à la minute sur des instances GPU dédiées. Les modèles populaires restent chargés grâce au warm pool du Router, et chaque instance dédiée exécute vLLM derrière sa propre clé API chiffrée.

Terme vLLMCe que cela signifie pour vous
Batching continuLes nouvelles requêtes rejoignent le flux en cours, moins de temps GPU inactif
PagedAttentionMoins de VRAM gaspillée, plus d'utilisateurs simultanés par GPU
Streaming SSELes tokens apparaissent au fil de leur génération, le chat reste réactif
Serveur compatible OpenAIVos SDK et outils existants fonctionnent sans modification
Warm poolLes modèles populaires du Router répondent sans démarrage à froid
Clé API par instanceVotre point d'accès dédié est chiffré et n'appartient qu'à vous
03 GPU et infrastructure

Comment démarrer

Choisissez un modèle dans le catalogue de modèles et appelez-le avec le SDK OpenAI standard. Le streaming fonctionne d'emblée.

python
from openai import OpenAI

client = OpenAI(
    base_url="https://hostyourai.com/api/v1",
    api_key="hyai-...",
)

stream = client.chat.completions.create(
    model="gemma-3-12b",
    messages=[{"role": "user", "content": "Explain PagedAttention in one paragraph."}],
    stream=True,
)
for chunk in stream:
    print(chunk.choices[0].delta.content or "", end="")

04 GPU et infrastructure

Questions sur l'hébergement vLLM

01

Dois-je configurer vLLM moi-même ?

Non. Sur le Router partagé, tout est géré, et les instances dédiées démarrent avec vLLM configuré pour le modèle choisi, y compris un contrôle du plancher de VRAM pour que le GPU ne soit jamais trop petit.

02

Le point d'accès est-il vraiment compatible OpenAI ?

Oui, /v1/chat/completions avec streaming SSE, et il existe aussi une couche de type Anthropic /v1/messages avec authentification x-api-key, pour un usage texte uniquement et un streaming en mémoire tampon.

03

Qu'est-ce qu'un démarrage à froid, et vais-je en subir un ?

Charger les poids d'un modèle sur un GPU prend du temps. Les modèles populaires du Router sont gardés chargés dans un warm pool, et le catalogue indique l'état de chaque modèle : warm, en cours de chauffe, déployable ou sur demande.

04

vLLM peut-il servir mon modèle affiné ?

Oui, sur une instance dédiée. vLLM charge les variantes à poids ouverts : un fine-tuning de Llama, Qwen ou Mistral se sert donc de la même façon que le modèle de base.

05

Comment mon instance dédiée est-elle protégée ?

Chaque instance a sa propre clé API chiffrée, le trafic passe en TLS et les données au repos sont chiffrées en AES-256. Les instances sont facturées à la minute jusqu'à leur suppression.

06

Combien cela coûte-t-il ?

Paiement à l'usage depuis un solde de crédits prépayé unique : au token sur le Router, à la minute pour la capacité dédiée. Les détails figurent sur la page des tarifs.

Tout ce qu'il faut pour l'IA

De l'hébergement de modèles à une API destinée à vos clients, tout est conçu pour les développeurs et les entreprises qui veulent que leur IA tourne sur une infrastructure qu'ils contrôlent réellement, au sein de l'UE.

Hébergé dans l'UE

100%

Vos données et vos modèles restent sur des GPU européens. Conçu pour respecter le RGPD.

Modèles vérifiés, prêts à servir

700+

Llama, Qwen, DeepSeek, Mistral, FLUX et bien d'autres. Choisissez-en un et il est prêt en quelques minutes, sans DevOps de votre côté.

Compatible OpenAI et Anthropic

2 SDK

Pointez votre client existant vers le Router et gardez vos outils. Sans réécriture, sans dépendance.

De zéro à un endpoint prêt en quelques minutes

Aucune infrastructure à gérer. Choisissez un modèle, obtenez une URL compatible OpenAI et livrez.

01

Choisissez un modèle

Choisissez dans le Model Garden ou collez n'importe quel ID HuggingFace. Définissez la VRAM et choisissez un GPU européen.

02

Obtenez votre endpoint

Nous déployons vLLM, exécutons les sondes de disponibilité et vous remettons une URL prête, compatible OpenAI et Anthropic, ainsi qu'une clé d'API.

03

Routez et livrez

Pointez votre client vers le Router. Il route automatiquement vers une instance démarrée et journalise chaque requête.

Compatible avec les outils que vous utilisez déjà

Le Router parle les API OpenAI et Anthropic, il s'intègre donc directement aux clients et SDK que votre équipe utilise déjà. Il suffit de changer l'URL de base.

  • Docker
  • Anthropic
  • Hugging Face
  • LangChain
  • Python
  • Node.js
  • curl
  • Ollama
  • JetBrains
  • Jupyter
  • Vercel
  • Zapier
  • Postman
  • n8n

Conçu pour les équipes qui ne peuvent pas envoyer leurs données ailleurs

Si un cloud américain est exclu, HostYourAI vous offre la même expérience développeur sur une infrastructure européenne.

01

Secteur public et administrations

Des données de citoyens qui doivent légalement rester dans l'UE, avec une auditabilité complète.

02

Entreprises réglementées

Équipes de la finance, de la santé et du juridique soumises au RGPD, à DORA et à l'AI Act.

03

SaaS et scale-ups européens

Livrez des fonctionnalités d'IA en lesquelles vos clients ont confiance, sans sous-traitant américain.

04

Agences et intégrateurs

Proposez une IA privée à vos clients, sur une infrastructure dont vous pouvez répondre.

Questions

Questions fréquentes

Puis-je l'utiliser dans l'UE ?

Oui. HostYourAI exécute des modèles ouverts avec vLLM sur des GPU dans des centres de données européens. Vos prompts et vos réponses restent dans l'UE.

Est-ce conforme au RGPD ?

Oui. Tout le traitement a lieu dans l'UE, un accord de traitement des données (DPA) est disponible et la liste des sous-traitants est publique. Les poids ouverts garantissent aussi que vos données ne servent jamais à l'entraînement.

L'API est-elle compatible avec OpenAI ?

Oui. Pointez votre client OpenAI ou Anthropic existant vers notre Router (https://hostyourai.com/api/v1) et changez seulement l'URL de base et la clé API. Votre code reste tel quel.

Combien cela coûte-t-il ?

Paiement à l'usage depuis un seul solde de crédit prépayé : le Router partagé au token ou un GPU dédié facturé à la minute. Gratuit pour commencer, sans minimum et sans abonnement mensuel.

Model garden

Fonctionne avec plus de 700 modèles ouverts

Des modèles texte et image sur des GPU européens dédiés. Chaque modèle est testé sur notre propre matériel.

Parcourir tous les modèles

La plateforme

Une plateforme, quatre couches

Commencez par une couche et ajoutez les autres quand le travail le demande. Elles partagent une clé, un solde et une vue Activity.

Code

Votre agent de code sur des modèles ouverts en Europe, configuré en une seule commande.

Ouvrir

Control

Clés, budgets et garde-fous par équipe, et données personnelles arrêtées avant qu'un modèle ne les voie.

Ouvrir

Serve

Partagés au token, ou rien que pour vous, depuis des centres de données européens.

Ouvrir

EU compute

Des GPU privés en Europe, du H100 au B300, dimensionnés selon le temps de réponse, la vitesse de génération et le nombre d'utilisateurs simultanés.

Ouvrir

Pages associées

Découvrez-en plus sur l'IA hébergée dans l'UE avec HostYourAI.

Hébergement StarCoder2 15B en Europe

Hébergez StarCoder2 15B sur 1x RTX PRO 6000 (96 GB) dédié dans des datacenters européens. Conforme au RGPD, à partir de €2,21/heure, API compatible OpenAI.

Lire la suite

Hébergement DeepSeek R1 70B en Europe

Hébergez DeepSeek R1 70B sur 1x RTX PRO 6000 (96 GB) dédié dans des datacenters européens. Conforme au RGPD, à partir de €2,21/heure, API compatible OpenAI.

Lire la suite

Hébergement CodeLlama 70B en Europe

Hébergez CodeLlama 70B sur 1x RTX PRO 6000 (96 GB) dédié dans des datacenters européens. Conforme au RGPD, à partir de €2,21/heure, API compatible OpenAI.

Lire la suite

L'infrastructure d'IA de l'Europe.
Construisez avec nous.

Commencez aujourd'hui avec une seule clé. Ajoutez des GPU dédiés quand votre charge le demande.

  • Jantine
  • Hans
  • Sander
  • Jos
  • Daan
  • Kyra
  • Margriet
  • Stan
L'équipe derrière HostYourAI