Routeur UE 03 Serve

Hébergement d'inférence LLM

Une inférence LLM optimisée pour les applications en production.

Commencer Model Garden

Capture d'écran de la page Modèles : les modèles sur vos propres GPU à côté des modèles au token, avec niveau, contexte, prix et premier token

Ce que cela fait Routeur UE

Pourquoi l'inférence LLM dans l'UE

Servir un modèle de langage à de vrais utilisateurs n'a rien à voir avec le faire tourner sur un portable. L'inférence en production, ce sont des requêtes concurrentes, des tokens en streaming, une capacité prévisible et une vision claire de ce que coûte chaque requête. HostYourAI exécute des modèles ouverts tels que Llama, Qwen, Mistral et DeepSeek avec vLLM sur des GPU européens, exposés via une API compatible OpenAI : le code de votre application ne change presque pas.

Le lieu où se déroule cette inférence compte. Chaque prompt envoyé par vos utilisateurs est une donnée, souvent une donnée personnelle. Garder l'inférence dans des datacenters européens, avec un accord de traitement des données (DPA) et une liste publique des sous-traitants, transforme un casse-tête de conformité en une case que vous pouvez réellement cocher.

01

Les prompts sont des données personnelles

Tickets de support, notes médicales, clauses contractuelles : tout ce que vos utilisateurs saisissent finit dans un prompt. Au titre du RGPD, vous êtes responsable du lieu où ce texte est traité. Une inférence qui ne quitte jamais plusieurs régions européennes garde votre cartographie des flux de données courte et votre DPA pertinent. HostYourAI n'entraîne pas de modèles sur les données des clients, et le trafic est chiffré par TLS en transit et AES-256 au repos.

02

La latence se joue près de vos utilisateurs

Des allers-retours vers un autre continent ajoutent un délai à chaque token d'une réponse en streaming. Pour les interfaces de chat, où la vitesse perçue correspond au temps avant le premier token, servir des utilisateurs européens depuis des GPU européens donne simplement une impression de rapidité. Les modèles populaires du Router partagé sont maintenus chauds grâce à un warm pool, de sorte que les requêtes n'attendent pas le chargement d'un modèle froid.

03

Maîtrise des coûts sans enfermement propriétaire

Les factures d'inférence sont réputées opaques. HostYourAI utilise un solde de crédit prépayé unique, rechargeable par iDEAL, carte ou SEPA, et chaque requête est mesurée afin que vous puissiez voir la consommation par clé. L'API étant compatible OpenAI, entrer ou sortir se résume à changer d'URL de base, sans réécriture. Les détails figurent sur la page des tarifs.

02 Routeur UE

Ce qui rend l'inférence prête pour la production

Trois éléments distinguent une démo d'un service. Premièrement, le streaming : l'API prend en charge les server-sent events sur /v1/chat/completions, de sorte que les tokens arrivent dans votre interface au fil de leur génération. Deuxièmement, la capacité : l'EU Inference Router partagé mutualise la demande sur une flotte chaude, tandis que les instances GPU dédiées vous donnent votre propre serveur vLLM, avec une clé d'API chiffrée et un plancher de VRAM qui empêche de déployer un modèle sur un GPU trop petit. Troisièmement, l'observabilité : des relevés d'utilisation par requête et un SLA de disponibilité de 99,9 %, pour savoir à la fois ce qui s'est passé et à quoi vous attendre.

Exigence de production	Comment elle est satisfaite
Streaming de tokens	SSE sur /v1/chat/completions, compatible OpenAI
Premier token rapide	Le warm pool garde chargés les modèles populaires du Router
Capacité garantie	Instances vLLM dédiées facturées à la minute
Visibilité sur l'utilisation	Mesure par requête depuis un solde de crédit unique
Disponibilité	SLA de disponibilité de 99,9 %
Matériel adapté à la taille du modèle	Plancher de VRAM appliqué au déploiement

03 Routeur UE

Comment démarrer

Créez une clé d'API, choisissez un modèle dans le catalogue de modèles et pointez votre client OpenAI existant vers la nouvelle URL de base. Cet exemple JavaScript diffuse en streaming une réponse de Llama 3.3 70B :

javascript

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://hostyourai.com/api/v1",
  apiKey: "hyai-...",
});

const stream = await client.chat.completions.create({
  model: "llama-3.3-70b",
  messages: [{ role: "user", content: "Summarize this ticket for the support team." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

04 Routeur UE

Questions sur l'inférence LLM

01

Quels modèles puis-je exécuter ?

Le catalogue répertorie plus de 700 modèles ouverts, dont Llama, Qwen, Mistral, DeepSeek et Gemma. Le Model Garden indique l'état de chacun : chaud, en préchauffage, exécutable ou sur demande.

02

Dois-je modifier le code de mon application ?

En général, seulement l'URL de base et la clé d'API. L'API est compatible OpenAI, et il existe aussi une couche /v1/messages compatible Anthropic pour le code écrit avec ce SDK. Consultez le guide pour migrer votre client OpenAI vers l'EU Router.

03

Router partagé ou instance dédiée ?

Le Router facture au token et convient aux charges variables. Une instance dédiée est facturée à la minute, vous donne une capacité isolée et cesse d'être facturée dès que vous la supprimez. Les deux puisent dans le même solde de crédit prépayé.

04

Quelle est la vitesse d'un modèle froid ?

Les modèles populaires du Router sont maintenus chauds, il n'y a donc aucun temps de chargement. Les modèles moins courants peuvent apparaître comme en préchauffage dans le Model Garden pendant que vLLM charge les poids.

05

Le streaming est-il pris en charge ?

Oui, /v1/chat/completions prend en charge le streaming SSE exactement comme l'API OpenAI. Définissez stream sur true et consommez les chunks.

06

Où vont mes données ?

L'inférence s'exécute dans des datacenters européens répartis sur plusieurs régions européennes. HostYourAI fournit un DPA, publie sa liste de sous-traitants et n'entraîne jamais de modèles sur les données des clients.

Tout ce qu'il faut pour l'IA

De l'hébergement de modèles à une API destinée à vos clients, tout est conçu pour les développeurs et les entreprises qui veulent que leur IA tourne sur une infrastructure qu'ils contrôlent réellement, au sein de l'UE.

Hébergé dans l'UE

100%

Vos données et vos modèles restent sur des GPU européens. Conçu pour respecter le RGPD.

Modèles vérifiés, prêts à servir

700+

Llama, Qwen, DeepSeek, Mistral, FLUX et bien d'autres. Choisissez-en un et il est prêt en quelques minutes, sans DevOps de votre côté.

Compatible OpenAI et Anthropic

2 SDK

Pointez votre client existant vers le Router et gardez vos outils. Sans réécriture, sans dépendance.

De zéro à un endpoint prêt en quelques minutes

Aucune infrastructure à gérer. Choisissez un modèle, obtenez une URL compatible OpenAI et livrez.

01

Choisissez un modèle

Choisissez dans le Model Garden ou collez n'importe quel ID HuggingFace. Définissez la VRAM et choisissez un GPU européen.

02

Obtenez votre endpoint

Nous déployons vLLM, exécutons les sondes de disponibilité et vous remettons une URL prête, compatible OpenAI et Anthropic, ainsi qu'une clé d'API.

03

Routez et livrez

Pointez votre client vers le Router. Il route automatiquement vers une instance démarrée et journalise chaque requête.

Conçu pour les équipes qui ne peuvent pas envoyer leurs données ailleurs

Si un cloud américain est exclu, HostYourAI vous offre la même expérience développeur sur une infrastructure européenne.

01

Secteur public et administrations

Des données de citoyens qui doivent légalement rester dans l'UE, avec une auditabilité complète.

02

Entreprises réglementées

Équipes de la finance, de la santé et du juridique soumises au RGPD, à DORA et à l'AI Act.

03

SaaS et scale-ups européens

Livrez des fonctionnalités d'IA en lesquelles vos clients ont confiance, sans sous-traitant américain.

04

Agences et intégrateurs

Proposez une IA privée à vos clients, sur une infrastructure dont vous pouvez répondre.

Privé par défaut

HostYourAI garde vos modèles, vos prompts et vos données sur des GPU européens. Conçu pour les équipes qui tiennent à la conformité, à la fiabilité et à un contrôle réel.

Hébergé dans l'UE
Compatible RGPD
Compatible OpenAI
Propulsé par vLLM
Sans dépendance

Souveraineté complète des données

UE

Les GPU et les données restent en Europe, tout comme vos prompts.

Des modèles vérifiables

Ouvert

Exécutez des modèles open-weight et voyez exactement ce qui tourne.

Aucun abonnement

0 €

Crédit prépayé au token ou à la minute : vous ne payez que ce que vous utilisez.

Vos clés, vos modèles

À vous

Vos clés, vos modèles et vos données. Changez quand vous le souhaitez.

Questions

Questions fréquentes

Puis-je l'utiliser dans l'UE ?

Oui. HostYourAI exécute des modèles ouverts avec vLLM sur des GPU dans des centres de données européens. Vos prompts et vos réponses restent dans l'UE.

Est-ce conforme au RGPD ?

Oui. Tout le traitement a lieu dans l'UE, un accord de traitement des données (DPA) est disponible et la liste des sous-traitants est publique. Les poids ouverts garantissent aussi que vos données ne servent jamais à l'entraînement.

L'API est-elle compatible avec OpenAI ?

Oui. Pointez votre client OpenAI ou Anthropic existant vers notre Router (https://hostyourai.com/api/v1) et changez seulement l'URL de base et la clé API. Votre code reste tel quel.

Combien cela coûte-t-il ?

Paiement à l'usage depuis un seul solde de crédit prépayé : le Router partagé au token ou un GPU dédié facturé à la minute. Gratuit pour commencer, sans minimum et sans abonnement mensuel.

Model garden

Fonctionne avec plus de 700 modèles ouverts

Des modèles texte et image sur des GPU européens dédiés. Chaque modèle est testé sur notre propre matériel.

Parcourir tous les modèles

La plateforme

Une plateforme, quatre couches

Commencez par une couche et ajoutez les autres quand le travail le demande. Elles partagent une clé, un solde et une vue Activity.

Code

Votre agent de code sur des modèles ouverts en Europe, configuré en une seule commande.

Ouvrir

Control

Clés, budgets et garde-fous par équipe, et données personnelles arrêtées avant qu'un modèle ne les voie.

Ouvrir

Serve

Partagés au token, ou rien que pour vous, depuis des centres de données européens.

Ouvrir

EU compute

Des GPU privés en Europe, du H100 au B300, dimensionnés selon le temps de réponse, la vitesse de génération et le nombre d'utilisateurs simultanés.

Ouvrir

Pages associées

Découvrez-en plus sur l'IA hébergée dans l'UE avec HostYourAI.

Model Garden

Parcourez un catalogue sélectionné de modèles ouverts de chat, d'image et d'embedding avec l'état chaud/UE en direct. Déployez en un clic sur des GPU européens.

Plateforme d'hébergement de chatbots

Hébergez des chatbots IA sur une infrastructure européenne. Service client, assistants internes et plus, en conformité avec le RGPD.

Plateforme d'agents IA

Plateforme pour agents IA avec appel d'outils et function calling. Créez des agents autonomes sur une infrastructure européenne.

Hébergement d'inférence LLM

Pourquoi l'inférence LLM dans l'UE

Les prompts sont des données personnelles

La latence se joue près de vos utilisateurs

Maîtrise des coûts sans enfermement propriétaire

Ce qui rend l'inférence prête pour la production

Comment démarrer

Questions sur l'inférence LLM

Quels modèles puis-je exécuter ?

Dois-je modifier le code de mon application ?

Router partagé ou instance dédiée ?

Quelle est la vitesse d'un modèle froid ?

Le streaming est-il pris en charge ?

Où vont mes données ?

Tout ce qu'il faut pour l'IA

De zéro à un endpoint prêt en quelques minutes

Choisissez un modèle

Obtenez votre endpoint

Routez et livrez

Conçu pour les équipes qui ne peuvent pas envoyer leurs données ailleurs

Privé par défaut

Questions fréquentes

Puis-je l'utiliser dans l'UE ?

Est-ce conforme au RGPD ?

L'API est-elle compatible avec OpenAI ?

Combien cela coûte-t-il ?

Fonctionne avec plus de 700 modèles ouverts

Une plateforme, quatre couches

Code

Control

Serve

EU compute

Pages associées

L'infrastructure d'IA de l'Europe.Construisez avec nous.

L'infrastructure d'IA de l'Europe.
Construisez avec nous.