OpenAI migreren naar de EU Router

Waarom migreren naar de EU Router

De EU Router is een OpenAI- en Anthropic-compatibele inference-gateway die open modellen op Europese GPU's draait. Je prompts en antwoorden verlaten de EU niet, er zit geen Amerikaanse cloudprovider in de keten en je betaalt per token uit één prepaid creditsaldo. Omdat de API drop-in compatibel is, verandert er niets aan je applicatiecode behalve de base-URL en de API-key.

Wat je nodig hebt

• Een HostYourAI-account met wat credit
• Een API-key in het formaat hyai-..., aan te maken onder Router in je dashboard
• Je bestaande OpenAI- of Anthropic-SDK, er is geen nieuwe library nodig

Stap 1, Maak een API-key aan

Ga in je dashboard naar Router en maak een nieuwe key aan. Kopieer de hyai--key meteen; je ziet hem maar één keer. Deze key vervangt straks je OpenAI-key.

Stap 2, Wijs je client naar de Router

Zet de base-URL op https://hostyourai.com/api/v1 en gebruik je HostYourAI-key. In Python met de OpenAI-SDK verandert er verder niets aan je code:

from openai import OpenAI

client = OpenAI(
    base_url="https://hostyourai.com/api/v1",
    api_key="hyai-...",   # je HostYourAI-key
)

resp = client.chat.completions.create(
    model="llama-3.3-70b",
    messages=[{"role": "user", "content": "Vat dit contract samen."}],
)
print(resp.choices[0].message.content)

In Node.js met dezelfde SDK:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://hostyourai.com/api/v1",
  apiKey: process.env.HOSTYOURAI_API_KEY,
});

const resp = await client.chat.completions.create({
  model: "llama-3.3-70b",
  messages: [{ role: "user", content: "Vat dit contract samen." }],
});
console.log(resp.choices[0].message.content);

Of rechtstreeks met curl om snel te testen:

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{"model":"llama-3.3-70b","messages":[{"role":"user","content":"Hallo"}]}'

Stap 3, Kies een open model

Waar je bij OpenAI gpt-4o zou gebruiken, kies je hier een open model uit de Model Garden, bijvoorbeeld een Llama-, Qwen-, Mistral- of DeepSeek-variant. Gebruik de model-slug precies zoals die in de Model Garden staat als waarde voor model. Streaming werkt identiek: zet stream=True en je krijgt server-sent events terug.

Gebruik je de Anthropic-SDK?

Dat kan ook. De Router biedt een /v1/messages-shim. Zet de base-URL op https://hostyourai.com en geef je hyai--key mee als x-api-key:

from anthropic import Anthropic

client = Anthropic(
    base_url="https://hostyourai.com",
    api_key="hyai-...",
)

msg = client.messages.create(
    model="llama-3.3-70b",
    max_tokens=512,
    messages=[{"role": "user", "content": "Hallo"}],
)
print(msg.content[0].text)

Stap 4, Controleer en ga live

Test je eerste verzoek in de Playground of vanuit je code en volg per verzoek het gebruik, de tokens en de latency in je activity-log. Let bij het migreren op twee dingen: modelnamen verschillen (gebruik open-model-slugs, geen gpt-*), en je rekent per token af in plaats van via een OpenAI-abonnement.

Voorspelbare performance nodig?

De gedeelde Router is ideaal om te starten. Wil je isolatie of gegarandeerde capaciteit, dan promoveer je een model naar een dedicated instance op je eigen EU-GPU. Je code blijft identiek, alleen de model-slug of het endpoint wijzigt.

Referentie: wat verandert er precies

Deze tabel zet de instellingen naast elkaar. Meer achtergrond over de gateway lees je op de pagina over de EU Inference Router.

Problemen oplossen

Ik krijg 401 Unauthorized terug

Controleer of je key met hyai- begint en volledig is gekopieerd. Een OpenAI-key (sk-...) werkt niet op de Router. Maak zo nodig onder Router een nieuwe key aan.

Mijn verzoeken geven 404 of komen niet aan

Bijna altijd staat de base-URL verkeerd. Die moet exact https://hostyourai.com/api/v1 zijn. Let op dat je SDK niet zelf nog een extra /v1 achter de URL plakt.

Het model reageert traag of lijkt niet beschikbaar

Niet elk model staat permanent warm. In de Model Garden zie je per model of het warm is of nog aan het opwarmen. Kies een warm model of wacht even; daarna reageert het gewoon snel.

Streaming via de Anthropic-SDK gedraagt zich anders

De /v1/messages-shim gebruikt gebufferde streaming en ondersteunt alleen tekst. Heb je token-voor-token streaming nodig, gebruik dan de OpenAI-route op /api/v1/chat/completions.

Vragen over deze gids