EU-Router 03 Serve
Produktionsreife Inference für offene Sprachmodelle: schnell, skalierbar und vollständig in europäischen Rechenzentren.
GLM
DeepSeek
Qwen
Kimi
Mistral
Llama
gpt-oss
Gemma
Loes
Nemotron
Claude Code
Codex
OpenCode
Cursor
Cline
Loes
OpenAI SDK
Anthropic SDKWas es tut EU-Router
Ein Sprachmodell auszuwählen ist der einfache Teil. Der schwierige Teil beginnt danach: Das Modell muss rund um die Uhr antworten, mit stabiler Latenz, unter schwankender Last und zu Kosten, die Ihr Geschäftsmodell trägt. Genau das ist Inference Hosting, und genau darauf ist HostYourAI spezialisiert.
Wir betreiben offene Modelle wie Llama, Qwen, Mistral und DeepSeek produktionsreif auf GPUs in europäischen Rechenzentren. Sie integrieren eine API; Kapazität, Serving-Stack und Verfügbarkeit sind unser Problem.
Inference ist die Ausführung eines fertig trainierten Modells: Prompt hinein, Antwort heraus. Was trivial klingt, ist bei Modellen mit Dutzenden Milliarden Parametern ein anspruchsvolles Systemproblem, denn GPU-Speicher ist knapp, Anfragen kommen stoßweise, und jede Sekunde Latenz kostet Nutzererlebnis.
Professionelles Inference Hosting löst dieses Problem als Dienstleistung: optimierte Serving-Software, passende Hardware pro Modellgröße, Lastmanagement und Monitoring. Sie konsumieren das Ergebnis als schlichten API-Aufruf.
02 EU-Router
01
Der Router bündelt warm gehaltene Modelle in einem gemeinsamen Pool. Sie zahlen pro verbrauchtem Token, ohne Grundgebühr, und die Kapazität skaliert im Hintergrund automatisch, bei Stille bis auf null. Für Prototypen, interne Tools und moderate Produktionslasten ist das der wirtschaftlichste Weg.
02
Für latenzkritische oder vertrauliche Workloads deployen Sie ein Modell auf einer eigenen GPU. Keine Nachbarn, planbare Performance, ein privater Endpunkt und die Freiheit, auch eigene feinjustierte Modelle zu servieren. Abgerechnet wird pro Stunde, gestoppte Instanzen kosten nichts.
Beide Modelle sprechen dieselbe Schnittstelle. Viele Kunden starten im Router und ziehen einzelne Workloads später auf dedizierte Hardware um, ohne eine Zeile Integrationscode zu ändern.
Unter der Haube serviert vLLM die Modelle, der Open-Source-Inference-Server mit PagedAttention und Continuous Batching. Das bedeutet hohen Durchsatz pro GPU, tokenweises Streaming und effiziente Auslastung auch bei vielen parallelen Anfragen. Vor jedem Deployment prüfen wir automatisch, ob der GPU-Speicher zur Modellgröße passt, damit Instanzen stabil laufen statt knapp am Limit.
Diese Details klingen technisch, entscheiden aber über Ihre Stückkosten: Ein gut ausgelasteter Inference-Server halbiert schnell den Preis pro tausend Anfragen im Vergleich zu einem naiven Setup auf roher GPU-Miete.
Für den Betrieb gilt ein SLA von 99,9 % Verfügbarkeit. Anfragen werden per TLS übertragen, gespeicherte Daten mit AES-256 verschlüsselt, und mit Ihren Ein- und Ausgaben wird nicht trainiert. Die gesamte Verarbeitung findet in europäischen Rechenzentren statt, ohne US-Cloudanbieter in der Kette; ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO und eine öffentliche Subprozessoren-Liste gehören zum Standard.
Die API ist OpenAI-kompatibel und unterstützt zusätzlich das Anthropic-Messages-Format:
curl https://hostyourai.com/api/v1/chat/completions \
-H "Authorization: Bearer hyai-ihr-api-key" \
-H "Content-Type: application/json" \
-d '{
"model": "mistral-nemo-12b",
"messages": [{"role": "user", "content": "Klassifiziere dieses Support-Ticket."}],
"stream": true
}'Damit funktionieren gängige SDKs, Frameworks und Tools ohne Anpassung; nur Basis-URL und Key sind neu. Nutzung und Kosten verfolgen Sie pro Key und Modell im Dashboard.
Das erste Token kommt typischerweise nach Bruchteilen einer Sekunde, abhängig von Modellgröße und Kontextlänge. Dedizierte Instanzen liefern die stabilste Latenz, weil keine anderen Mandanten auf der GPU laufen.
Der Router fängt Spitzen durch den gemeinsamen Pool ab. Für dauerhaft hohe Last kombinieren Sie eine dedizierte Instanz als Basiskapazität mit dem Router als Überlauf.
Ja, tokenweises Streaming per Server-Sent Events gehört zum Standard, im Router wie auf dedizierten Instanzen.
Ja. Eigene Feintunings im Safetensors-Format laufen auf dedizierten Instanzen und verhalten sich an der API wie jedes Katalogmodell.
Aus einem Prepaid-Guthaben: pro Token im Router, pro Stunde für dedizierte Instanzen. Keine Grundgebühr, keine Mindestlaufzeit, volle Transparenz im Dashboard.
Vom Model-Hosting bis zur kundenseitigen API: gebaut für Entwickler und Unternehmen, die ihre KI auf Infrastruktur betreiben wollen, die sie wirklich kontrollieren, innerhalb der EU.
In der EU gehostet
100%
Ihre Daten und Modelle bleiben auf europäischen GPUs. DSGVO-freundlich von Grund auf.
Verifizierte Modelle, sofort einsatzbereit
700+
Llama, Qwen, DeepSeek, Mistral, FLUX und viele mehr. Modell wählen und in Minuten warm, ohne DevOps auf Ihrer Seite.
OpenAI- und Anthropic-kompatibel
2 SDK
Richten Sie Ihren bestehenden Client auf den Router und behalten Sie Ihre Tools. Kein Umschreiben, kein Lock-in.
Keine Infrastruktur zu verwalten. Modell wählen, OpenAI-kompatible URL erhalten, ausliefern.
01
Wählen Sie aus dem Model Garden oder fügen Sie eine beliebige HuggingFace-ID ein. VRAM festlegen und eine EU-GPU wählen.
02
Wir deployen vLLM, führen Readiness-Checks aus und übergeben Ihnen eine warme OpenAI- und Anthropic-kompatible URL plus API-Key.
03
Richten Sie Ihren Client auf den Router. Er routet automatisch zu einer warmen Instanz und protokolliert jeden Request.
HostYourAI hält Ihre Modelle, Prompts und Daten auf europäischen GPUs. Gebaut für Teams, denen Compliance, Zuverlässigkeit und echte Kontrolle wichtig sind.
Volle Datensouveränität
EU
GPUs und Daten bleiben in Europa, und Ihre Prompts auch.
Modelle, die Sie prüfen können
Offen
Betreiben Sie Open-Weight-Modelle und sehen Sie genau, was läuft.
Keine Grundgebühr
0 €
Prepaid-Guthaben pro Token oder pro Minute, Sie zahlen nur, was Sie nutzen.
Ihre Keys, Ihre Modelle
Ihr
Ihre Keys, Ihre Modelle und Ihre Daten. Wechseln Sie, wann Sie möchten.
Der Router spricht die OpenAI- und die Anthropic-API und passt damit direkt in die Clients und SDKs, die Ihr Team bereits einsetzt. Nur die Base-URL ändern.
Docker
Anthropic
Hugging Face
LangChain
Python
Node.js
curl
Ollama
JetBrains
Jupyter
Vercel
Zapier
Postman
n8nText- und Bildmodelle auf dedizierten EU-GPUs. Jedes Modell auf unserer eigenen Hardware getestet.
Beginnen Sie mit einer Ebene und nehmen Sie die anderen dazu, wenn die Arbeit es verlangt. Sie teilen einen Key, ein Guthaben und eine Activity-Ansicht.
Mehr über EU-gehostete KI auf HostYourAI.
EU Inference Router
Ein OpenAI- und Anthropic-kompatibler Endpunkt für offene Modelle auf europäischen GPUs. Drop-in, in der EU gehostet, kein Vendor-Lock-in.
Mehr lesenStarten Sie heute mit einem Key. Ergänzen Sie dedizierte GPUs, wenn Ihre Last es verlangt.
