Une inférence LLM optimisée pour les applications en production.
Servir un modèle de langage à de vrais utilisateurs n'a rien à voir avec le faire tourner sur un portable. L'inférence en production, ce sont des requêtes concurrentes, des tokens en streaming, une capacité prévisible et une vision claire de ce que coûte chaque requête. HostYourAI exécute des modèles ouverts tels que Llama, Qwen, Mistral et DeepSeek avec vLLM sur des GPU européens, exposés via une API compatible OpenAI : le code de votre application ne change presque pas.
Le lieu où se déroule cette inférence compte. Chaque prompt envoyé par vos utilisateurs est une donnée, souvent une donnée personnelle. Garder l'inférence dans des datacenters européens, avec un accord de traitement des données (DPA) et une liste publique des sous-traitants, transforme un casse-tête de conformité en une case que vous pouvez réellement cocher.
Tickets de support, notes médicales, clauses contractuelles : tout ce que vos utilisateurs saisissent finit dans un prompt. Au titre du RGPD, vous êtes responsable du lieu où ce texte est traité. Une inférence qui ne quitte jamais plusieurs régions européennes garde votre cartographie des flux de données courte et votre DPA pertinent. HostYourAI n'entraîne pas de modèles sur les données des clients, et le trafic est chiffré par TLS en transit et AES-256 au repos.
Des allers-retours vers un autre continent ajoutent un délai à chaque token d'une réponse en streaming. Pour les interfaces de chat, où la vitesse perçue correspond au temps avant le premier token, servir des utilisateurs européens depuis des GPU européens donne simplement une impression de rapidité. Les modèles populaires du Router partagé sont maintenus chauds grâce à un warm pool, de sorte que les requêtes n'attendent pas le chargement d'un modèle froid.
Les factures d'inférence sont réputées opaques. HostYourAI utilise un solde de crédit prépayé unique, rechargeable par iDEAL, carte ou SEPA, et chaque requête est mesurée afin que vous puissiez voir la consommation par clé. L'API étant compatible OpenAI, entrer ou sortir se résume à changer d'URL de base, sans réécriture. Les détails figurent sur la page des tarifs.
Trois éléments distinguent une démo d'un service. Premièrement, le streaming : l'API prend en charge les server-sent events sur /v1/chat/completions, de sorte que les tokens arrivent dans votre interface au fil de leur génération. Deuxièmement, la capacité : l'EU Inference Router partagé mutualise la demande sur une flotte chaude, tandis que les instances GPU dédiées vous donnent votre propre serveur vLLM, avec une clé d'API chiffrée et un plancher de VRAM qui empêche de déployer un modèle sur un GPU trop petit. Troisièmement, l'observabilité : des relevés d'utilisation par requête et un SLA de disponibilité de 99,9 %, pour savoir à la fois ce qui s'est passé et à quoi vous attendre.
| Exigence de production | Comment elle est satisfaite |
|---|---|
| Streaming de tokens | SSE sur /v1/chat/completions, compatible OpenAI |
| Premier token rapide | Le warm pool garde chargés les modèles populaires du Router |
| Capacité garantie | Instances vLLM dédiées facturées à l'heure |
| Visibilité sur l'utilisation | Mesure par requête depuis un solde de crédit unique |
| Disponibilité | SLA de disponibilité de 99,9 % |
| Matériel adapté à la taille du modèle | Plancher de VRAM appliqué au déploiement |
from openai import OpenAI client = OpenAI( base_url="https://hostyourai.com/api/v1", api_key="hyai-...") client.chat.completions.create( model="llama-3.3-70b", messages=[{"role":"user","content":"Hallo!"}])
Créez une clé d'API, choisissez un modèle dans le catalogue de modèles et pointez votre client OpenAI existant vers la nouvelle URL de base. Cet exemple JavaScript diffuse en streaming une réponse de Llama 3.3 70B :
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://hostyourai.com/api/v1",
apiKey: "hyai-...",
});
const stream = await client.chat.completions.create({
model: "llama-3.3-70b",
messages: [{ role: "user", content: "Summarize this ticket for the support team." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}Le catalogue répertorie plus de 100 modèles ouverts, dont Llama, Qwen, Mistral, DeepSeek et Gemma. Le Model Garden indique l'état de chacun : chaud, en préchauffage, exécutable ou sur demande.
En général, seulement l'URL de base et la clé d'API. L'API est compatible OpenAI, et il existe aussi une couche /v1/messages compatible Anthropic pour le code écrit avec ce SDK. Consultez le guide pour migrer votre client OpenAI vers l'EU Router.
Le Router facture au token et convient aux charges variables. Une instance dédiée est facturée à l'heure, vous donne une capacité isolée et se met en veille lorsqu'elle n'est pas utilisée. Les deux puisent dans le même solde de crédit prépayé.
Les modèles populaires du Router sont maintenus chauds, il n'y a donc aucun temps de chargement. Les modèles moins courants peuvent apparaître comme en préchauffage dans le Model Garden pendant que vLLM charge les poids.
Oui, /v1/chat/completions prend en charge le streaming SSE exactement comme l'API OpenAI. Définissez stream sur true et consommez les chunks.
L'inférence s'exécute dans des datacenters européens répartis sur plusieurs régions européennes. HostYourAI fournit un DPA, publie sa liste de sous-traitants et n'entraîne jamais de modèles sur les données des clients.
De l'hébergement de modèles à une API destinée à vos clients, tout est conçu pour les développeurs et les entreprises qui veulent que leur IA tourne sur une infrastructure qu'ils contrôlent réellement, au sein de l'UE.
Vos données et vos modèles restent sur des GPU européens. Conçu pour respecter le RGPD.
Llama, Qwen, DeepSeek, Mistral, FLUX et bien d'autres. Choisissez-en un et il est prêt en quelques minutes, sans DevOps de votre côté.
Pointez votre client existant vers le Router et gardez vos outils. Sans réécriture, sans dépendance.
Aucune infrastructure à gérer. Choisissez un modèle, obtenez une URL compatible OpenAI et livrez.
Choisissez dans le Model Garden ou collez n'importe quel ID HuggingFace. Définissez la VRAM et choisissez un GPU européen.
Nous déployons vLLM, exécutons les sondes de disponibilité et vous remettons une URL prête, compatible OpenAI et Anthropic, ainsi qu'une clé d'API.
Pointez votre client vers le Router. Il route automatiquement vers une instance démarrée, met les GPU au repos quand personne n'est connecté et journalise chaque requête.
Si un cloud américain est exclu, HostYourAI vous offre la même expérience développeur sur une infrastructure européenne.
Des données de citoyens qui doivent légalement rester dans l'UE, avec une auditabilité complète.
Équipes de la finance, de la santé et du juridique soumises au RGPD, à DORA et à l'AI Act.
Livrez des fonctionnalités d'IA en lesquelles vos clients ont confiance, sans sous-traitant américain.
Proposez une IA privée à vos clients, sur une infrastructure dont vous pouvez répondre.
HostYourAI garde vos modèles, vos prompts et vos données sur des GPU européens. Conçu pour les équipes qui tiennent à la conformité, à la fiabilité et à un contrôle réel.
GPUs and data residency inside Europe. Your prompts never leave the EU.
Run open-weight models with no black boxes or hidden telemetry.
GPUs idle when nobody is online, so you only pay for what you run.
Your infra, your keys, your models. Leave whenever you want.
Yes. HostYourAI runs open models on GPUs in European datacenters via vLLM. Your prompts and outputs never leave the EU and there is no US cloud provider in the chain.
Yes. All processing happens inside the EU, a Data Processing Agreement (DPA) is available and the subprocessor list is public. Open weights also mean no training on your data.
Yes. Point your existing OpenAI or Anthropic client at our Router (https://hostyourai.com/api/v1), change only the base URL and API key. No rewrite, no lock-in.
Pay-as-you-go on one prepaid credit balance: the shared router per token or a dedicated GPU per hour. Free to start, no minimum, no fixed monthly fee.
Text and image models on dedicated EU GPUs. Every model tested on our own hardware.
Explore more about EU-hosted AI on HostYourAI.
Une API compatible OpenAI en drop-in sur des GPU européens. Ne changez que la base URL et exécutez des modèles ouverts, conforme au RGPD, sans réécrire votre code.
Read more →Hébergez des pipelines RAG avec votre propre base de connaissances. Bases vectorielles, embeddings et LLM sur une seule plateforme.
Read more →Déployez n'importe quel modèle ouvert sur un GPU européen dédié avec vLLM. Votre propre endpoint, clés upstream chiffrées, en veille quand personne n'est connecté.
Read more →Un seul endpoint compatible OpenAI et Anthropic qui achemine vos requêtes vers des modèles ouverts sur des GPU européens. Drop-in, hébergé dans l'UE, sans verrouillage.
Read more →Hébergez des chatbots IA sur une infrastructure européenne. Service client, assistants internes et plus, en conformité avec le RGPD.
Read more →Pointez votre client Anthropic vers notre Router via un shim /v1/messages et exécutez des modèles ouverts sur des GPU européens. Drop-in, hébergé dans l'UE, sans réécriture.
Read more →Aucune carte bancaire requise. Paiement à l'usage, résiliable à tout moment.
Commencer l'hébergement gratuitement dès aujourd'hui