EU Inference Router

Wat is de EU Inference Router?

De Router is een gedeelde, OpenAI-compatibele gateway voor inference. Je richt je bestaande client op één base-URL en de Router stuurt elk verzoek naar een open model dat op Europese GPUs draait. Je verandert alleen de base-URL en de API-key; je code blijft hetzelfde.

Omdat de Router zowel de OpenAI- als de Anthropic-API spreekt, werkt hij direct met de SDK's en tools die je team al gebruikt. Geen herschrijven, geen vendor lock-in.

Hoe werkt het?

Een verzoek komt binnen op de Router, wordt geauthenticeerd met je API-key en doorgestuurd naar een model dat al warm draait. Antwoorden worden gestreamd teruggegeven, net als bij OpenAI. Populaire modellen worden via een warm-pool warm gehouden zodat een eerste verzoek niet op een koude start hoeft te wachten.

Per verzoek leg je gebruik, latency en kosten vast in je activity-log, zodat je precies ziet wat er gebeurt.

Waarom via de Router?

• Drop-in OpenAI- en Anthropic-compatibel: alleen de base-URL wijzigt
• Open modellen op Europese GPUs die jij beheert
• Je prompts en data verlaten de EU niet
• Pay-as-you-go per token, één prepaid creditsaldo
• Per-verzoek inzicht in gebruik, latency en kosten

Router of dedicated instance?

De Router is de snelste route naar productie: gedeelde capaciteit, betalen per token en niets te beheren. Wil je isolatie of voorspelbare performance, dan zet je er een dedicated GPU-instance naast. Beide werken via dezelfde base-URL en hetzelfde creditsaldo.

Zo begin je

Maak een API-key aan, zet de base-URL in je bestaande client en kies een model uit de Model Garden. Streaming werkt zoals je gewend bent:

from openai import OpenAI

client = OpenAI(
    base_url="https://hostyourai.com/api/v1",
    api_key="hyai-...",
)

resp = client.chat.completions.create(
    model="llama-3.3-70b",
    messages=[{"role": "user", "content": "Hallo"}],
    stream=True,
)
for chunk in resp:
    print(chunk.choices[0].delta.content or "", end="")

Volledig stappenplan nodig? Volg de gids OpenAI migreren naar de EU Router.

Vragen over de EU Router