Op deze pagina
Je eigen GPU, je eigen model
Met dedicated instances draai je een open model op een GPU die alleen voor jou is. We deployen vLLM, draaien readiness-probes en geven je een OpenAI- en Anthropic-compatibele URL. Ideaal als je voorspelbare performance of volledige isolatie wilt.
Hoe het werkt
- Kies een model uit de Model Garden of een HuggingFace-ID
- Stel de VRAM in en kies een Europese GPU
- Wij deployen vLLM en draaien automatische readiness-probes
- Je krijgt een warm endpoint plus API-key
Nieuwe instances draaien vLLM met een eigen, versleutelde upstream-key, zodat je endpoint privé is.
Betaal alleen voor wat je draait
Instances blijven warm terwijl iemand online is en idlen wanneer niemand ze gebruikt, zodat je niet voor een ongebruikte GPU betaalt. Reken af per uur via één prepaid creditsaldo.
Voorbeeld in code
Zodra je instance warm is, roep je hem aan via de Router met de model-slug, precies zoals je een OpenAI-model zou aanroepen:
from openai import OpenAI
client = OpenAI(
base_url="https://hostyourai.com/api/v1",
api_key="hyai-...",
)
resp = client.chat.completions.create(
model="jouw-instance-model",
messages=[{"role": "user", "content": "Hallo"}],
)
print(resp.choices[0].message.content)Wil je stap voor stap deployen? Lees de gids Eigen LLM deployen met vLLM.
Welke GPU voor welk model
| GPU-klasse | VRAM | Typisch gebruik |
|---|---|---|
| L40S / RTX 4090 | 24 tot 48 GB | Modellen tot ongeveer 20B parameters |
| A100 / H100 | 80 GB | Modellen tot ongeveer 70B, gequantiseerd |
| 2× H100 | 160 GB | 70B op volle precisie of hoge doorvoer |
| 4× H100 | 320 GB | Grote modellen en zware productie-workloads |
Bij het deployen bewaken we een VRAM-ondergrens per model, zodat je geen GPU kiest waar het model niet op past. De actuele uurprijzen zie je vóór je deployt en op de prijzenpagina.
Vragen over dedicated instances
Kan ik mijn eigen of gefinetunede model draaien?
Ja. Plak een HuggingFace-ID, ook van een privérepo met je eigen gewichten, en wij deployen het via vLLM op jouw GPU.
Is mijn endpoint privé?
Ja. Nieuwe instances draaien vLLM met een eigen versleutelde API-key, zodat alleen jouw platform-key toegang heeft tot het endpoint.
Betaal ik door als niemand het model gebruikt?
Instances idlen wanneer niemand online is, zodat je niet betaalt voor een ongebruikte GPU. Je rekent per uur af vanaf je prepaid saldo.
Wanneer kies ik dedicated in plaats van de Router?
Bij vaste load, eigen modellen, strengere isolatie-eisen of als je gedrag volledig wilt controleren. Voor wisselend verkeer is de gedeelde Router goedkoper en sneller geregeld.
Kan ik een kennisbank koppelen?
Ja. Koppel een kennisbank aan je instance en elke chat-aanroep krijgt automatisch relevante context uit je eigen documenten. Zie de gids RAG bouwen op EU-GPUs.
