Product
Solutions
Resources
LLM Inference Hosting
Produktionsreife Inference für offene Sprachmodelle: schnell, skalierbar und vollständig in europäischen Rechenzentren.
Ein Sprachmodell auszuwählen ist der einfache Teil. Der schwierige Teil beginnt danach: Das Modell muss rund um die Uhr antworten, mit stabiler Latenz, unter schwankender Last und zu Kosten, die Ihr Geschäftsmodell trägt. Genau das ist Inference Hosting, und genau darauf ist HostYourAI spezialisiert.
Wir betreiben offene Modelle wie Llama, Qwen, Mistral und DeepSeek produktionsreif auf GPUs in europäischen Rechenzentren. Sie integrieren eine API; Kapazität, Serving-Stack und Verfügbarkeit sind unser Problem.
Was ist LLM Inference Hosting?
Inference ist die Ausführung eines fertig trainierten Modells: Prompt hinein, Antwort heraus. Was trivial klingt, ist bei Modellen mit Dutzenden Milliarden Parametern ein anspruchsvolles Systemproblem, denn GPU-Speicher ist knapp, Anfragen kommen stoßweise, und jede Sekunde Latenz kostet Nutzererlebnis.
Professionelles Inference Hosting löst dieses Problem als Dienstleistung: optimierte Serving-Software, passende Hardware pro Modellgröße, Lastmanagement und Monitoring. Sie konsumieren das Ergebnis als schlichten API-Aufruf.
EU Inference Router
‹ Insight 1 of 28 ›Zwei Betriebsmodelle, eine API
Der Router: pro Token, sofort verfügbar
Der Router bündelt warm gehaltene Modelle in einem gemeinsamen Pool. Sie zahlen pro verbrauchtem Token, ohne Grundgebühr, und die Kapazität skaliert im Hintergrund automatisch, bei Stille bis auf null. Für Prototypen, interne Tools und moderate Produktionslasten ist das der wirtschaftlichste Weg.
Dedizierte Instanzen: exklusive GPUs pro Stunde
Für latenzkritische oder vertrauliche Workloads deployen Sie ein Modell auf einer eigenen GPU. Keine Nachbarn, planbare Performance, ein privater Endpunkt und die Freiheit, auch eigene feinjustierte Modelle zu servieren. Abgerechnet wird pro Stunde, gestoppte Instanzen kosten nichts.
Beide Modelle sprechen dieselbe Schnittstelle. Viele Kunden starten im Router und ziehen einzelne Workloads später auf dedizierte Hardware um, ohne eine Zeile Integrationscode zu ändern.
Performance durch vLLM
Unter der Haube serviert vLLM die Modelle, der Open-Source-Inference-Server mit PagedAttention und Continuous Batching. Das bedeutet hohen Durchsatz pro GPU, tokenweises Streaming und effiziente Auslastung auch bei vielen parallelen Anfragen. Vor jedem Deployment prüfen wir automatisch, ob der GPU-Speicher zur Modellgröße passt, damit Instanzen stabil laufen statt knapp am Limit.
Diese Details klingen technisch, entscheiden aber über Ihre Stückkosten: Ein gut ausgelasteter Inference-Server halbiert schnell den Preis pro tausend Anfragen im Vergleich zu einem naiven Setup auf roher GPU-Miete.
from openai import OpenAI client = OpenAI( base_url="https://hostyourai.com/api/v1", api_key="hyai-...") client.chat.completions.create( model="llama-3.3-70b", messages=[{"role":"user","content":"Hallo!"}])
Verfügbarkeit, Sicherheit und Compliance
Für den Betrieb gilt ein SLA von 99,9 % Verfügbarkeit. Anfragen werden per TLS übertragen, gespeicherte Daten mit AES-256 verschlüsselt, und mit Ihren Ein- und Ausgaben wird nicht trainiert. Die gesamte Verarbeitung findet in europäischen Rechenzentren statt, ohne US-Cloudanbieter in der Kette; ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO und eine öffentliche Subprozessoren-Liste gehören zum Standard.
Integration in Ihre Anwendung
Die API ist OpenAI-kompatibel und unterstützt zusätzlich das Anthropic-Messages-Format:
curl https://hostyourai.com/api/v1/chat/completions \
-H "Authorization: Bearer hyai-ihr-api-key" \
-H "Content-Type: application/json" \
-d '{
"model": "mistral-nemo-12b",
"messages": [{"role": "user", "content": "Klassifiziere dieses Support-Ticket."}],
"stream": true
}'Damit funktionieren gängige SDKs, Frameworks und Tools ohne Anpassung; nur Basis-URL und Key sind neu. Nutzung und Kosten verfolgen Sie pro Key und Modell im Dashboard.
Alles, was Sie für KI brauchen
Vom Model-Hosting bis zur kundenseitigen API: gebaut für Entwickler und Unternehmen, die ihre KI auf Infrastruktur betreiben wollen, die sie wirklich kontrollieren, innerhalb der EU.
Ihre Daten und Modelle bleiben auf europäischen GPUs. DSGVO-freundlich von Grund auf.
Llama, Qwen, DeepSeek, Mistral, FLUX und viele mehr. Modell wählen und in Minuten warm, ohne DevOps auf Ihrer Seite.
Richten Sie Ihren bestehenden Client auf den Router und behalten Sie Ihre Tools. Kein Umschreiben, kein Lock-in.
Von null zum warmen Endpoint in Minuten
Keine Infrastruktur zu verwalten. Modell wählen, OpenAI-kompatible URL erhalten, ausliefern.
Modell wählen
Wählen Sie aus dem Model Garden oder fügen Sie eine beliebige HuggingFace-ID ein. VRAM festlegen und eine EU-GPU wählen.
Endpoint erhalten
Wir deployen vLLM, führen Readiness-Checks aus und übergeben Ihnen eine warme OpenAI- und Anthropic-kompatible URL plus API-Key.
Routen und ausliefern
Richten Sie Ihren Client auf den Router. Er routet automatisch zu einer warmen Instanz, legt GPUs bei Inaktivität schlafen und protokolliert jeden Request.
Privat by Default
HostYourAI hält Ihre Modelle, Prompts und Daten auf europäischen GPUs. Gebaut für Teams, denen Compliance, Zuverlässigkeit und echte Kontrolle wichtig sind.
GPUs and data residency inside Europe. Your prompts never leave the EU.
Run open-weight models with no black boxes or hidden telemetry.
GPUs idle when nobody is online, so you only pay for what you run.
Your infra, your keys, your models. Leave whenever you want.
Funktioniert mit den Tools, die Sie bereits nutzen
Der Router spricht die OpenAI- und die Anthropic-API und passt damit direkt in die Clients und SDKs, die Ihr Team bereits einsetzt. Nur die Base-URL ändern.
HostYourAI kostenlos testen
Häufige Fragen
Läuft das komplett in der EU?
Ja. HostYourAI betreibt offene Modelle über vLLM auf GPUs in europäischen Rechenzentren. Ihre Prompts und Antworten verlassen die EU nicht und es steckt kein US-Cloudanbieter in der Kette.
Ist das DSGVO-konform?
Ja. Die gesamte Verarbeitung findet in der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Subprozessoren-Liste ist öffentlich. Offene Gewichte bedeuten außerdem: kein Training mit Ihren Daten.
Ist die API OpenAI-kompatibel?
Ja. Richten Sie Ihren bestehenden OpenAI- oder Anthropic-Client auf unseren Router (https://hostyourai.com/api/v1), nur Basis-URL und API-Key ändern sich. Kein Rewrite, kein Lock-in.
Was kostet das?
Pay-as-you-go mit einem Prepaid-Guthaben: der geteilte Router pro Token oder eine dedizierte GPU pro Stunde. Kostenlos zu starten, kein Minimum, keine monatliche Grundgebühr.
Funktioniert mit über 390 offenen Modellen
Text- und Bildmodelle auf dedizierten EU-GPUs. Jedes Modell auf unserer eigenen Hardware getestet.
Hosten. Routen. Ausliefern.
Keine Kreditkarte nötig. Pay as you go, jederzeit kündbar.
Heute kostenlos starten