EU Inference Router

Legen Sie einen API-Key an, tragen Sie die Basis-URL in Ihren bestehenden Client ein und wählen Sie ein Modell aus dem Model Garden. Streaming funktioniert wie gewohnt:

from openai import OpenAI

client = OpenAI(
    base_url="https://hostyourai.com/api/v1",
    api_key="hyai-...",
)

resp = client.chat.completions.create(
    model="llama-3.3-70b",
    messages=[{"role": "user", "content": "Hallo"}],
    stream=True,
)
for chunk in resp:
    print(chunk.choices[0].delta.content or "", end="")

Sie möchten den vollständigen Ablauf? Folgen Sie der Anleitung Migrate your OpenAI client to the EU Router.

Wer den Katalog nicht wöchentlich verfolgen möchte, trägt hyai/auto in das Modell-Feld der Anfrage ein und ist mit der Auswahl fertig. Autopilot liest die Aufgabe statt des Modellnamens, den Sie sonst kennen müssten: wie lang der Prompt ist, in welcher Sprache er steht, ob Tools mitgehen, wie viel Kontext gebraucht wird und um welche Art von Arbeit es geht. Dazu sucht er das passende Modell.

Bevorzugt wird ein Modell, das bereits warm läuft, denn das erspart die Wartezeit eines Kaltstarts. Welches Modell tatsächlich geantwortet hat, steht im Modell-Feld der Antwort, genau wie bei einer ausdrücklichen Wahl. Wer selbst steuern will, trägt weiterhin einen Modellnamen ein, und es ändert sich nichts.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "hyai/auto",
    "messages": [{"role": "user", "content": "Fasse diesen Bericht zusammen"}]
  }'

Sie zahlen den Tokenpreis des Modells, das geantwortet hat, ohne Aufschlag für die Auswahl. Wählt Autopilot ein großes Modell, zahlen Sie dieses große Modell; wählt er ein leichteres, zahlen Sie das leichtere. Nie mehr, als wenn Sie dasselbe Modell selbst eingetragen hätten.

Ob es im Durchschnitt günstiger ausfällt als die eigene Wahl, messen wir pro Anfrage: Neben jeder Anfrage halten wir fest, welches Modell Autopilot gewählt hätte. Diese Zahl veröffentlichen wir erst, wenn genug Anfragen darunter liegen, damit sie etwas aussagt.

Wer auswählt, liest Ihren Prompt. Eine Auswahlinstanz verarbeitet Ihre Daten also genauso wie das Modell, das antwortet, und genau dort kann eine Auto-Option unbemerkt die EU verlassen. Bei uns findet die Auswahl in derselben europäischen Kette statt wie die Antwort selbst: Ihr Prompt verlässt die EU nicht, auch nicht für die Auswahl.

Das Auswahlprotokoll speichert nur Merkmale der Anfrage, etwa Sprache, Länge und ob Tools mitgingen, niemals den Text selbst. Mit einem Sovereignty-Key wählt Autopilot ausschließlich aus Modellen, die diese Anforderung erfüllen; was sie nicht erfüllt, steht gar nicht erst auf der Kandidatenliste.

Der gemeinsame Router rechnet pro Token ab und fällt zwischen Ihren Anfragen auf null zurück: Wer nichts sendet, zahlt nichts. Eine dedizierte GPU funktioniert umgekehrt. Sie wird pro Minute abgerechnet und läuft rund um die Uhr, auch nachts und am Wochenende, dafür gehört die Maschine ganz Ihnen: keine Warteschlange hinter fremden Anfragen, planbare Latenz und der gesamte GPU-Speicher für Ihr Modell.

Wo der Umschlagpunkt liegt, hängt von Ihrem Monatsvolumen ab. Im Rechner weiter unten schieben Sie dieses Volumen entlang der Skala und sehen pro Modellklasse, welche der beiden Varianten gerade günstiger ist.