Product
Solutions
Resources
vLLM Hosting in Deutschland
Die Performance von vLLM ohne den Betriebsaufwand: Wir deployen, überwachen und aktualisieren, Sie nutzen nur die API.
vLLM hat sich als Standard etabliert, wenn offene Sprachmodelle produktiv serviert werden sollen. Der Inference-Server aus dem Berkeley-Umfeld holt durch Techniken wie PagedAttention und Continuous Batching deutlich mehr Durchsatz aus derselben GPU als naive Deployments.
Der Preis dafür ist Betriebsarbeit: passende CUDA-Versionen, VRAM-Kalkulation, Parameter-Tuning, Updates, Monitoring. HostYourAI nimmt Ihnen genau diesen Teil ab. Sie wählen ein Modell, wir betreiben den vLLM-Stack in europäischen Rechenzentren, und Sie sprechen mit einer fertigen API.
Was ist vLLM und warum setzen wir darauf?
vLLM ist ein Open-Source-Inference-Server für große Sprachmodelle. Sein Kernkonzept, PagedAttention, verwaltet den Attention-Speicher in Seiten statt in einem Block und reduziert so Verschnitt im GPU-Speicher erheblich. Continuous Batching sorgt zusätzlich dafür, dass eingehende Anfragen laufend in bestehende Batches einsortiert werden, statt aufeinander zu warten.
Das Ergebnis: mehr parallele Nutzer, niedrigere Latenz und bessere Kosteneffizienz pro Token. Für den Produktivbetrieb offener Modelle gibt es derzeit kaum eine bessere Grundlage, weshalb jede dedizierte Instanz bei HostYourAI automatisch auf vLLM läuft.
from openai import OpenAI client = OpenAI( base_url="https://hostyourai.com/api/v1", api_key="hyai-...") client.chat.completions.create( model="llama-3.3-70b", messages=[{"role":"user","content":"Hallo!"}])
Managed vLLM statt Eigenbetrieb
Wer vLLM selbst betreibt, kennt die Stolpersteine: Treiber- und CUDA-Kompatibilität, Quantisierungsformate, Tensor-Parallelismus über mehrere Karten, Health-Checks und das Nachziehen von Releases. Alles machbar, aber es bindet Engineering-Zeit, die in Ihrem Produkt besser aufgehoben ist.
Bei uns ist das Deployment ein Klick. Wir pinnen getestete vLLM-Versionen, prüfen vor dem Start, ob der GPU-Speicher für Ihr Modell reicht, überwachen die Instanz im Betrieb und halten den Stack aktuell. Geht etwas schief, ist das unser Pager, nicht Ihrer.
OpenAI-kompatible API inklusive
Jede vLLM-Instanz stellt den vertrauten Chat-Completions-Endpunkt bereit. Ihr bestehender Code funktioniert unverändert:
from openai import OpenAI
client = OpenAI(
base_url="https://hostyourai.com/api/v1",
api_key="hyai-ihr-api-key"
)
antwort = client.chat.completions.create(
model="qwen-2.5-32b",
messages=[{"role": "user", "content": "Erkläre Continuous Batching in zwei Sätzen."}]
)Streaming, Systemprompts und die üblichen Sampling-Parameter werden unterstützt. Zusätzlich versteht unser Router das Anthropic-Messages-Format, falls Ihre Anwendung mit dem Claude-SDK gebaut ist.
Eigene und feinjustierte Modelle
Neben dem Katalog aus hunderten offenen Modellen können Sie eigene Feintunings im Safetensors-Format deployen. Damit wird vLLM Hosting zur Zielplattform für Ihre Trainingsläufe: intern feinjustieren, bei uns DSGVO-konform servieren, ohne selbst Serving-Infrastruktur aufzubauen.
Das ist besonders für Teams interessant, die ein Basismodell auf Fachsprache, Markenton oder domänenspezifische Aufgaben angepasst haben. Ihr Feintuning verhält sich an der API exakt wie ein Katalogmodell, läuft aber exklusiv auf Ihrer Instanz und bleibt vollständig unter Ihrer Kontrolle.
Wann sich Managed vLLM lohnt
Die Faustregel ist einfach: Sobald ein Modell dauerhaft erreichbar sein muss und mehr als eine Person davon abhängt, lohnt der Managed-Betrieb. Ein selbst gebauter Serving-Stack ist schnell aufgesetzt, aber teuer im Unterhalt, jede vLLM-Version, jeder Treiberwechsel und jeder nächtliche Ausfall kostet Zeit. Bei uns ist das im Stundenpreis der Instanz enthalten, inklusive Überwachung und getesteter Upgrades.
Betrieb, SLA und Abrechnung
Dedizierte vLLM-Instanzen werden pro Stunde abgerechnet und lassen sich jederzeit stoppen; gestoppte Instanzen verursachen keine GPU-Kosten. Für kleinere Lasten gibt es den Router mit Abrechnung pro Token und automatischem Scale-to-zero. Beides läuft unter einem SLA von 99,9 % und vollständig in der EU, mit Auftragsverarbeitungsvertrag und ohne Training auf Ihren Daten.
Alles, was Sie für KI brauchen
Vom Model-Hosting bis zur kundenseitigen API: gebaut für Entwickler und Unternehmen, die ihre KI auf Infrastruktur betreiben wollen, die sie wirklich kontrollieren, innerhalb der EU.
Ihre Daten und Modelle bleiben auf europäischen GPUs. DSGVO-freundlich von Grund auf.
Llama, Qwen, DeepSeek, Mistral, FLUX und viele mehr. Modell wählen und in Minuten warm, ohne DevOps auf Ihrer Seite.
Richten Sie Ihren bestehenden Client auf den Router und behalten Sie Ihre Tools. Kein Umschreiben, kein Lock-in.
Von null zum warmen Endpoint in Minuten
Keine Infrastruktur zu verwalten. Modell wählen, OpenAI-kompatible URL erhalten, ausliefern.
Modell wählen
Wählen Sie aus dem Model Garden oder fügen Sie eine beliebige HuggingFace-ID ein. VRAM festlegen und eine EU-GPU wählen.
Endpoint erhalten
Wir deployen vLLM, führen Readiness-Checks aus und übergeben Ihnen eine warme OpenAI- und Anthropic-kompatible URL plus API-Key.
Routen und ausliefern
Richten Sie Ihren Client auf den Router. Er routet automatisch zu einer warmen Instanz, legt GPUs bei Inaktivität schlafen und protokolliert jeden Request.
Privat by Default
HostYourAI hält Ihre Modelle, Prompts und Daten auf europäischen GPUs. Gebaut für Teams, denen Compliance, Zuverlässigkeit und echte Kontrolle wichtig sind.
GPUs and data residency inside Europe. Your prompts never leave the EU.
Run open-weight models with no black boxes or hidden telemetry.
GPUs idle when nobody is online, so you only pay for what you run.
Your infra, your keys, your models. Leave whenever you want.
Funktioniert mit den Tools, die Sie bereits nutzen
Der Router spricht die OpenAI- und die Anthropic-API und passt damit direkt in die Clients und SDKs, die Ihr Team bereits einsetzt. Nur die Base-URL ändern.
HostYourAI kostenlos testen
Häufige Fragen
Läuft das komplett in der EU?
Ja. HostYourAI betreibt offene Modelle über vLLM auf GPUs in europäischen Rechenzentren. Ihre Prompts und Antworten verlassen die EU nicht und es steckt kein US-Cloudanbieter in der Kette.
Ist das DSGVO-konform?
Ja. Die gesamte Verarbeitung findet in der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Subprozessoren-Liste ist öffentlich. Offene Gewichte bedeuten außerdem: kein Training mit Ihren Daten.
Ist die API OpenAI-kompatibel?
Ja. Richten Sie Ihren bestehenden OpenAI- oder Anthropic-Client auf unseren Router (https://hostyourai.com/api/v1), nur Basis-URL und API-Key ändern sich. Kein Rewrite, kein Lock-in.
Was kostet das?
Pay-as-you-go mit einem Prepaid-Guthaben: der geteilte Router pro Token oder eine dedizierte GPU pro Stunde. Kostenlos zu starten, kein Minimum, keine monatliche Grundgebühr.
Funktioniert mit über 390 offenen Modellen
Text- und Bildmodelle auf dedizierten EU-GPUs. Jedes Modell auf unserer eigenen Hardware getestet.
Ebenfalls interessant
Mehr über EU-gehostete KI auf HostYourAI.
OpenAI-Alternative für deutsche Unternehmen: offene Modelle auf EU-GPUs, gleiche API, DSGVO-konform mit AVV. Migration in Minuten, ohne US-Cloud.
Mehr lesen →DeepSeek R1 auf GPUs in europäischen Rechenzentren: offene Gewichte statt Datenfluss nach China, OpenAI-kompatible API, AVV, Abrechnung nach Verbrauch.
Mehr lesen →Ihr eigenes Sprachmodell auf einer dedizierten GPU in der EU: Single-Tenant, kein Training mit Ihren Daten, AVV inklusive. Buchbar im Self-Service.
Mehr lesen →Qwen 2.5 und Qwen 3 auf europäischen GPUs: offene Gewichte, stark auf Deutsch, OpenAI-kompatible API. DSGVO-konform, ohne Datenfluss nach China.
Mehr lesen →KI-Hosting, das Ihr Datenschutzbeauftragter unterschreibt: Verarbeitung nur in der EU, AVV nach Art. 28 DSGVO und öffentliche Subprozessoren-Liste.
Mehr lesen →ChatGPT-Alternative für Unternehmen: offene Modelle auf EU-GPUs, per Playground und API nutzbar, DSGVO-konform mit AVV, kein Training auf Ihren Daten.
Mehr lesen →Hosten. Routen. Ausliefern.
Keine Kreditkarte nötig. Pay as you go, jederzeit kündbar.
Heute kostenlos starten