Naar de inhoud

GPU & infrastructuur 04 EU compute

vLLM Hosting Europa

High-performance LLM inference met vLLM, gehost op Europese GPU infrastructuur.

  • GLM
  • DeepSeek
  • Qwen
  • Kimi
  • Mistral
  • Llama
  • gpt-oss
  • Gemma
  • Loes
  • Nemotron
  • Claude Code
  • Codex
  • OpenCode
  • Cursor
  • Cline
  • Loes
  • OpenAI SDK
  • Anthropic SDK

Wat het doet GPU & infrastructuur

Waarom vLLM hosting in de EU

vLLM is in korte tijd de standaardmanier geworden om open taalmodellen te serveren, en dat is geen toeval. Twee technieken maken het verschil. Continuous batching laat nieuwe requests tussentijds aanhaken bij werk dat al op de GPU draait, in plaats van te wachten tot een batch klaar is. PagedAttention beheert het geheugen voor de attention-cache in kleine blokken, zoals een besturingssysteem met virtueel geheugen omgaat, waardoor er veel minder GPU-geheugen verloren gaat.

HostYourAI draait vLLM voor je op Europese GPU's. Je krijgt de serving-engine zonder het beheer, en het verkeer blijft binnen de EU, onder een verwerkersovereenkomst met een openbare subprocessor-lijst.

Lees verder

01

De serving-laag ziet elke prompt

Alles wat gebruikers aan het model vragen passeert de inference-laag. Wie die laag host, verwerkt dus je gevoeligste verkeer. Door vLLM in Europese datacenters te draaien valt die verwerking onder een AVG-keten die je kunt controleren, in plaats van onder buitenlandse wetgeving.

02

OpenAI-compatible zonder Amerikaanse jurisdictie

vLLM spreekt hetzelfde API-formaat als OpenAI. Je houdt je vertrouwde SDK's en tooling, maar de requests gaan naar een Nederlands bedrijf in plaats van naar een Amerikaanse provider die onder de CLOUD Act valt. Overstappen is vooral een kwestie van base-URL en key omwisselen.

03

Efficiëntie is kostenbeheersing

Hoeveel je uit een GPU haalt, bepaalt wat inference uiteindelijk kost. Continuous batching verhoogt de benutting zodra er parallelle requests binnenkomen, zonder dat jij iets hoeft te tunen. Je betaalt pay-as-you-go vanaf een prepaid creditsaldo; de opzet staat op de prijzenpagina.

02 GPU & infrastructuur

Wat vLLM anders maakt dan een kale GPU met een model erop

Wie zelf een model op een gehuurde GPU zet, begint meestal met een simpele server die requests één voor één afhandelt. Dat werkt, tot er twee gebruikers tegelijk komen: dan groeit de wachtrij en staat de GPU alsnog vaak stil. vLLM lost dat op met continuous batching en slim geheugenbeheer, en geeft je er SSE-streaming en een OpenAI-compatible endpoint bij. Op dedicated GPU-instances staat dit alles voorgeconfigureerd, afgeschermd met een eigen versleutelde API-key. Op de EU Inference Router profiteer je van dezelfde engine zonder eigen GPU, met een warm pool voor populaire modellen. Zelf een model kiezen en deployen? Volg de gids Eigen LLM deployen met vLLM.

BegripWat het betekent
Continuous batchingNieuwe requests schuiven aan bij lopende generaties, de GPU wacht niet op de langzaamste
PagedAttentionDe attention-cache wordt in blokken beheerd, waardoor minder GPU-geheugen verspild wordt
SSE-streamingTokens komen binnen terwijl het antwoord nog gegenereerd wordt, zoals in een chatinterface
OpenAI-compatible endpoint/v1/chat/completions, dus bestaande SDK's en tools werken direct
Warm poolPopulaire modellen op de Router blijven geladen, zodat je niet op een koude start wacht
03 GPU & infrastructuur

Zo begin je

Streaming werkt out of the box. Dit JavaScript-voorbeeld print tokens zodra ze binnenkomen.

javascript
import OpenAI from "openai";

const base_url="https://hostyourai.com/api/v1";
const client = new OpenAI({ baseURL: base_url, apiKey: "hyai-jouw-key" });

const stream = await client.chat.completions.create({
  model: "llama-3.1-8b",
  messages: [{ role: "user", content: "Schrijf een korte productomschrijving voor een duurzame rugzak." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}
Vragen

Vragen over vLLM hosting

Wat is vLLM precies?

Een open source serving-engine voor grote taalmodellen. Het combineert continuous batching en PagedAttention met een OpenAI-compatible API, en is daarmee de gangbare keuze om open modellen in productie te draaien.

Moet ik vLLM zelf beheren of updaten?

Nee. Op dedicated instances staat vLLM voorgeconfigureerd en houdt het platform de serving-stack bij. Jij praat alleen met het endpoint.

Hoeveel sneller is vLLM dan een simpele serving-opzet?

Daar is geen eerlijk vast getal voor: het hangt af van model, GPU en verkeerspatroon. De winst zit vooral in doorvoer bij parallelle requests, omdat de GPU niet meer wacht tussen batches.

Ondersteunt het streaming?

Ja, via SSE op het chat completions endpoint. Zet stream op true en je ontvangt tokens zodra ze gegenereerd zijn.

Werkt het alleen met de OpenAI SDK?

Nee. Naast het OpenAI-formaat is er een Anthropic-compatible /v1/messages endpoint met gebufferde streaming en tekst-output, met x-api-key authenticatie. Elke HTTP-client werkt bovendien rechtstreeks.

Krijgt mijn dedicated instance een eigen API-key?

Ja. Elke instance draait vLLM met een eigen versleutelde API-key, zodat alleen jouw applicaties het endpoint kunnen aanspreken.

Alles wat je nodig hebt voor AI

Van model-hosting tot een klantgerichte API, gebouwd voor developers en bedrijven die hun AI op infrastructuur willen draaien die ze echt beheren, binnen de EU.

EU-gehost

100%

Je data en je modellen blijven op Europese GPUs. GDPR-vriendelijk vanaf de basis.

Geverifieerde modellen, klaar om te serveren

700+

Llama, Qwen, DeepSeek, Mistral, FLUX en nog veel meer. Kies er een en hij is binnen minuten warm, zonder DevOps aan jouw kant.

OpenAI- en Anthropic-compatibel

2 SDK

Richt je bestaande client op de Router en behoud je tools. Geen herschrijven, geen lock-in.

Van nul naar een warm endpoint in minuten

Geen infra om te beheren. Kies een model, krijg een OpenAI-compatibele URL, ship.

01

Kies een model

Kies uit de Model Garden of plak een willekeurig HuggingFace-ID. Stel de VRAM in en kies een EU-GPU.

02

Krijg je endpoint

Wij deployen vLLM, draaien readiness-probes en geven je een warme OpenAI- en Anthropic-compatibele URL plus een API-key.

03

Route en ship

Richt je client op de Router. Die routeert automatisch naar een warme instance en logt elk verzoek.

Werkt met de tools die je al gebruikt

De Router spreekt de OpenAI- en Anthropic-API, dus hij past direct in de clients en SDKs die je team al draait. Verander alleen de base-URL.

  • Docker
  • Anthropic
  • Hugging Face
  • LangChain
  • Python
  • Node.js
  • curl
  • Ollama
  • JetBrains
  • Jupyter
  • Vercel
  • Zapier
  • Postman
  • n8n

Gebouwd voor teams die data niet mogen wegsturen

Als een Amerikaanse cloud geen optie is, geeft HostYourAI je dezelfde developer-ervaring op Europese infrastructuur.

01

Overheid & publieke sector

Burgerdata die wettelijk in de EU moet blijven, volledig auditeerbaar.

02

Gereguleerde enterprise

Finance-, zorg- en juridische teams onder GDPR, DORA en de AI Act.

03

SaaS en scale-ups in de EU

Lever AI-functies waar je klanten op vertrouwen, zonder Amerikaanse sub-processor.

04

Bureaus en integrators

Lever privé-AI voor klanten op infrastructuur waar je achter kunt staan.

Het platform

Eén platform, vier lagen

Begin met één laag en voeg de andere toe als het werk erom vraagt. Ze delen één key, één saldo en één Activity-overzicht.

Code

Je coding agent op open modellen in Europa, ingericht met één commando.

Bekijk

Control

Sleutels, budgetten en guardrails per team, en persoonsgegevens tegengehouden voordat een model ze ziet.

Bekijk

Serve

Gedeeld per token, of alleen voor jou, vanuit Europese datacenters.

Bekijk

EU compute

Eigen GPU's in Europa, van H100 tot B300, afgestemd op reactietijd, generatiesnelheid en gelijktijdige gebruikers.

Bekijk

Ook interessant

Verken meer over EU-gehoste AI op HostYourAI.

Machine Learning Hosting

Machine learning model hosting op Europese infrastructure. Inference APIs, autoscaling, monitoring.

Lees meer

AI voor finance

AI voor financiële instellingen op Europese GPUs. Data blijft in de EU, met open modellen, DPA en aandacht voor DORA en AVG.

Lees meer

LLM API en de EU AI Act

De EU AI Act geldt volledig vanaf 2 augustus 2026. Wat betekent dat voor teams die LLM's gebruiken, en hoe helpt een EU-gehoste API met logging en DPA?

Lees meer

Europa's AI-infrastructuur.
Bouw met ons mee.

Begin vandaag met één key. Voeg dedicated GPU's toe als je workload erom vraagt.

  • Jantine
  • Hans
  • Sander
  • Jos
  • Daan
  • Kyra
  • Margriet
  • Stan
Het team achter HostYourAI