EU Inference Router

Maak een API-key aan, zet de base-URL in je bestaande client en kies een model uit de Model Garden. Streaming werkt zoals je gewend bent:

from openai import OpenAI

client = OpenAI(
    base_url="https://hostyourai.com/api/v1",
    api_key="hyai-...",
)

resp = client.chat.completions.create(
    model="llama-3.3-70b",
    messages=[{"role": "user", "content": "Hallo"}],
    stream=True,
)
for chunk in resp:
    print(chunk.choices[0].delta.content or "", end="")

Volledig stappenplan nodig? Volg de gids OpenAI migreren naar de EU Router.

Wie niet elke week de catalogus wil bijhouden, zet hyai/auto in het model-veld van het verzoek en is klaar met kiezen. Autopilot leest de taak in plaats van de modelnaam die je zou moeten kennen: hoe lang de prompt is, in welke taal hij staat, of er tools meegaan, hoeveel context er nodig is en wat voor soort werk er gevraagd wordt. Daar zoekt hij het passende model bij.

De voorkeur gaat naar een model dat al warm draait, want dat scheelt de wachttijd van een koude start. Welk model uiteindelijk antwoordde staat gewoon in het model-veld van het antwoord, precies zoals bij een expliciete keuze. Wil je zelf sturen, dan vul je een modelnaam in en verandert er niets.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "hyai/auto",
    "messages": [{"role": "user", "content": "Vat dit rapport samen"}]
  }'

Je betaalt het tokentarief van het model dat het antwoord gaf, zonder opslag voor de keuze. Kiest Autopilot een groot model, dan betaal je dat grote model; kiest hij een lichter model, dan betaal je dat lichtere. Nooit meer dan wanneer je datzelfde model zelf had ingevuld.

Of het gemiddeld goedkoper uitpakt dan zelf kiezen, meten we per verzoek: naast elk verzoek leggen we vast welk model Autopilot gekozen zou hebben. Dat cijfer publiceren we pas als er genoeg verzoeken onder liggen om er iets aan te hebben.

Wie kiest, leest je prompt. Een kiezer verwerkt je gegevens dus net zo goed als het model dat antwoordt, en precies daar kan een auto-optie ongemerkt de EU uit lopen. Bij ons gebeurt de keuze binnen dezelfde Europese keten als het antwoord zelf: je prompt verlaat de EU niet, ook niet voor de keuze.

Het keuzelog bewaart alleen kenmerken van het verzoek, zoals taal, lengte en of er tools meegingen, nooit de tekst zelf. Werk je met een sovereignty-sleutel, dan kiest Autopilot uitsluitend uit modellen die aan die eis voldoen; wat daar niet aan voldoet komt niet eens op de kandidatenlijst.

De gedeelde Router rekent per token af en zakt tussen je verzoeken door terug naar nul: stuur je niets, dan betaal je niets. Een dedicated GPU werkt andersom. Die rekent per minuut en staat altijd aan, ook 's nachts en in het weekend, maar dan is de machine ook helemaal van jou: geen wachtrij achter andermans verzoeken, voorspelbare latentie en al het GPU-geheugen voor jouw model.

Waar het omslagpunt ligt hangt af van je maandvolume. In de rekenmodule hieronder schuif je dat volume langs de schaal en zie je per modelklasse welke van de twee op dat moment goedkoper is.