Zum Inhalt

GPU & Infrastruktur 04 EU compute

vLLM Hosting in Deutschland

Die Performance von vLLM ohne den Betriebsaufwand: Wir deployen, überwachen und aktualisieren, Sie nutzen nur die API.

  • GLM
  • DeepSeek
  • Qwen
  • Kimi
  • Mistral
  • Llama
  • gpt-oss
  • Gemma
  • Loes
  • Nemotron
  • Claude Code
  • Codex
  • OpenCode
  • Cursor
  • Cline
  • Loes
  • OpenAI SDK
  • Anthropic SDK

Was es tut GPU & Infrastruktur

Was ist vLLM und warum setzen wir darauf?

vLLM hat sich als Standard etabliert, wenn offene Sprachmodelle produktiv serviert werden sollen. Der Inference-Server aus dem Berkeley-Umfeld holt durch Techniken wie PagedAttention und Continuous Batching deutlich mehr Durchsatz aus derselben GPU als naive Deployments.

Der Preis dafür ist Betriebsarbeit: passende CUDA-Versionen, VRAM-Kalkulation, Parameter-Tuning, Updates, Monitoring. HostYourAI nimmt Ihnen genau diesen Teil ab. Sie wählen ein Modell, wir betreiben den vLLM-Stack in europäischen Rechenzentren, und Sie sprechen mit einer fertigen API.

vLLM ist ein Open-Source-Inference-Server für große Sprachmodelle. Sein Kernkonzept, PagedAttention, verwaltet den Attention-Speicher in Seiten statt in einem Block und reduziert so Verschnitt im GPU-Speicher erheblich. Continuous Batching sorgt zusätzlich dafür, dass eingehende Anfragen laufend in bestehende Batches einsortiert werden, statt aufeinander zu warten.

Das Ergebnis: mehr parallele Nutzer, niedrigere Latenz und bessere Kosteneffizienz pro Token. Für den Produktivbetrieb offener Modelle gibt es derzeit kaum eine bessere Grundlage, weshalb jede dedizierte Instanz bei HostYourAI automatisch auf vLLM läuft.

Weiterlesen

02 GPU & Infrastruktur

Managed vLLM statt Eigenbetrieb

Wer vLLM selbst betreibt, kennt die Stolpersteine: Treiber- und CUDA-Kompatibilität, Quantisierungsformate, Tensor-Parallelismus über mehrere Karten, Health-Checks und das Nachziehen von Releases. Alles machbar, aber es bindet Engineering-Zeit, die in Ihrem Produkt besser aufgehoben ist.

Bei uns ist das Deployment ein Klick. Wir pinnen getestete vLLM-Versionen, prüfen vor dem Start, ob der GPU-Speicher für Ihr Modell reicht, überwachen die Instanz im Betrieb und halten den Stack aktuell. Geht etwas schief, ist das unser Pager, nicht Ihrer.

03 GPU & Infrastruktur

OpenAI-kompatible API inklusive

Jede vLLM-Instanz stellt den vertrauten Chat-Completions-Endpunkt bereit. Ihr bestehender Code funktioniert unverändert:

python
from openai import OpenAI

client = OpenAI(
    base_url="https://hostyourai.com/api/v1",
    api_key="hyai-ihr-api-key"
)

antwort = client.chat.completions.create(
    model="qwen-2.5-32b",
    messages=[{"role": "user", "content": "Erkläre Continuous Batching in zwei Sätzen."}]
)

Streaming, Systemprompts und die üblichen Sampling-Parameter werden unterstützt. Zusätzlich versteht unser Router das Anthropic-Messages-Format, falls Ihre Anwendung mit dem Claude-SDK gebaut ist.

04 GPU & Infrastruktur

Eigene und feinjustierte Modelle

Neben dem Katalog aus hunderten offenen Modellen können Sie eigene Feintunings im Safetensors-Format deployen. Damit wird vLLM Hosting zur Zielplattform für Ihre Trainingsläufe: intern feinjustieren, bei uns DSGVO-konform servieren, ohne selbst Serving-Infrastruktur aufzubauen.

Das ist besonders für Teams interessant, die ein Basismodell auf Fachsprache, Markenton oder domänenspezifische Aufgaben angepasst haben. Ihr Feintuning verhält sich an der API exakt wie ein Katalogmodell, läuft aber exklusiv auf Ihrer Instanz und bleibt vollständig unter Ihrer Kontrolle.

05 GPU & Infrastruktur

Wann sich Managed vLLM lohnt

Die Faustregel ist einfach: Sobald ein Modell dauerhaft erreichbar sein muss und mehr als eine Person davon abhängt, lohnt der Managed-Betrieb. Ein selbst gebauter Serving-Stack ist schnell aufgesetzt, aber teuer im Unterhalt, jede vLLM-Version, jeder Treiberwechsel und jeder nächtliche Ausfall kostet Zeit. Bei uns ist das im Stundenpreis der Instanz enthalten, inklusive Überwachung und getesteter Upgrades.

06 GPU & Infrastruktur

Betrieb, SLA und Abrechnung

Dedizierte vLLM-Instanzen werden pro Stunde abgerechnet und lassen sich jederzeit stoppen; gestoppte Instanzen verursachen keine GPU-Kosten. Für kleinere Lasten gibt es den Router mit Abrechnung pro Token und automatischem Scale-to-zero. Beides läuft unter einem SLA von 99,9 % und vollständig in der EU, mit Auftragsverarbeitungsvertrag und ohne Training auf Ihren Daten.

Fragen

Häufige Fragen zum vLLM Hosting

Welche Modelle laufen auf den Instanzen?

Alle gängigen offenen Architekturen, darunter Llama, Mistral, Mixtral, Qwen, DeepSeek und Gemma. Der Model Garden zeigt pro Modell, ob es verifiziert lauffähig ist.

Kann ich vLLM-Parameter selbst steuern?

Die wichtigsten Einstellungen wie Kontextlänge und Sampling steuern Sie pro Anfrage über die API. Die Serverkonfiguration übernehmen wir mit getesteten Defaults je Modell.

Unterstützt das Setup Function Calling?

Ja, für Modelle mit passendem Tool-Parser lässt sich Tool Calling beim Deployment aktivieren. Ob ein Modell das unterstützt, sehen Sie im Katalog.

Wie unterscheidet sich das von RunPod oder Vast.ai?

Dort mieten Sie rohe GPUs und bauen den Serving-Stack selbst. Bei uns ist vLLM fertig konfiguriert, inklusive OpenAI-kompatibler API, Abrechnung, SLA und AVV unter EU-Recht.

Was passiert bei einem vLLM-Update?

Wir testen neue Versionen zuerst und aktualisieren dann kontrolliert. Ihre API bleibt dabei stabil, Breaking Changes fangen wir auf Plattformseite ab.

Alles, was Sie für KI brauchen

Vom Model-Hosting bis zur kundenseitigen API: gebaut für Entwickler und Unternehmen, die ihre KI auf Infrastruktur betreiben wollen, die sie wirklich kontrollieren, innerhalb der EU.

In der EU gehostet

100%

Ihre Daten und Modelle bleiben auf europäischen GPUs. DSGVO-freundlich von Grund auf.

Verifizierte Modelle, sofort einsatzbereit

700+

Llama, Qwen, DeepSeek, Mistral, FLUX und viele mehr. Modell wählen und in Minuten warm, ohne DevOps auf Ihrer Seite.

OpenAI- und Anthropic-kompatibel

2 SDK

Richten Sie Ihren bestehenden Client auf den Router und behalten Sie Ihre Tools. Kein Umschreiben, kein Lock-in.

Von null zum warmen Endpoint in Minuten

Keine Infrastruktur zu verwalten. Modell wählen, OpenAI-kompatible URL erhalten, ausliefern.

01

Modell wählen

Wählen Sie aus dem Model Garden oder fügen Sie eine beliebige HuggingFace-ID ein. VRAM festlegen und eine EU-GPU wählen.

02

Endpoint erhalten

Wir deployen vLLM, führen Readiness-Checks aus und übergeben Ihnen eine warme OpenAI- und Anthropic-kompatible URL plus API-Key.

03

Routen und ausliefern

Richten Sie Ihren Client auf den Router. Er routet automatisch zu einer warmen Instanz und protokolliert jeden Request.

Privat by Default

HostYourAI hält Ihre Modelle, Prompts und Daten auf europäischen GPUs. Gebaut für Teams, denen Compliance, Zuverlässigkeit und echte Kontrolle wichtig sind.

  • In der EU gehostet
  • DSGVO-freundlich
  • OpenAI-kompatibel
  • Mit vLLM
  • Kein Lock-in

Volle Datensouveränität

EU

GPUs und Daten bleiben in Europa, und Ihre Prompts auch.

Modelle, die Sie prüfen können

Offen

Betreiben Sie Open-Weight-Modelle und sehen Sie genau, was läuft.

Keine Grundgebühr

0 €

Prepaid-Guthaben pro Token oder pro Minute, Sie zahlen nur, was Sie nutzen.

Ihre Keys, Ihre Modelle

Ihr

Ihre Keys, Ihre Modelle und Ihre Daten. Wechseln Sie, wann Sie möchten.

Funktioniert mit den Tools, die Sie bereits nutzen

Der Router spricht die OpenAI- und die Anthropic-API und passt damit direkt in die Clients und SDKs, die Ihr Team bereits einsetzt. Nur die Base-URL ändern.

  • Docker
  • Anthropic
  • Hugging Face
  • LangChain
  • Python
  • Node.js
  • curl
  • Ollama
  • JetBrains
  • Jupyter
  • Vercel
  • Zapier
  • Postman
  • n8n
Model garden

Funktioniert mit über 700 offenen Modellen

Text- und Bildmodelle auf dedizierten EU-GPUs. Jedes Modell auf unserer eigenen Hardware getestet.

Alle Modelle ansehen

Die Plattform

Eine Plattform, vier Ebenen

Beginnen Sie mit einer Ebene und nehmen Sie die anderen dazu, wenn die Arbeit es verlangt. Sie teilen einen Key, ein Guthaben und eine Activity-Ansicht.

Code

Ihr Coding-Agent auf offenen Modellen in Europa, eingerichtet mit einem Befehl.

Öffnen

Control

Schlüssel, Budgets und Guardrails pro Team, und personenbezogene Daten gestoppt, bevor ein Modell sie sieht.

Öffnen

Serve

Gemeinsam genutzt pro Token oder nur für Sie, aus europäischen Rechenzentren.

Öffnen

EU compute

Private GPUs in Europa, von H100 bis B300, ausgelegt auf Antwortzeit, Generierungsgeschwindigkeit und gleichzeitige Nutzer.

Öffnen

Ebenfalls interessant

Mehr über EU-gehostete KI auf HostYourAI.

KI-Datensouveränität

Was KI-Datensouveränität wirklich heißt: Jurisdiktion, offene Modellgewichte, Exit-Fähigkeit. So laufen LLMs vollständig unter europäischem Recht.

Mehr lesen

Private LLM Hosting in Deutschland

Ihr eigenes Sprachmodell auf einer dedizierten GPU in der EU: Single-Tenant, kein Training mit Ihren Daten, AVV inklusive. Buchbar im Self-Service.

Mehr lesen

DeepSeek Hosting in Deutschland

DeepSeek R1 auf GPUs in europäischen Rechenzentren: offene Gewichte statt Datenfluss nach China, OpenAI-kompatible API, AVV, Abrechnung nach Verbrauch.

Mehr lesen

Europas KI-Infrastruktur.
Bauen Sie mit uns.

Starten Sie heute mit einem Key. Ergänzen Sie dedizierte GPUs, wenn Ihre Last es verlangt.

  • Jantine
  • Hans
  • Sander
  • Jos
  • Daan
  • Kyra
  • Margriet
  • Stan
Das Team hinter HostYourAI