Eigen LLM deployen met vLLM

Selecteer een model uit de Model Garden of plak een HuggingFace-ID, bijvoorbeeld Qwen/Qwen3-8B. Elk model heeft een VRAM-behoefte; de deploy-stap schat de minimale VRAM en voorkomt dat je een te kleine GPU kiest. Gated modellen (zoals sommige Llama-varianten) vragen wij centraal aan, zodat jij geen losse licenties hoeft te regelen.

• Kies de VRAM en een Europese GPU-regio
• Wij regelen de capaciteit via Europese GPU-marketplaces
• Wij genereren automatisch een vLLM-setupscript en starten de deploy

De GPU haalt het setupscript op via een ondertekende token en start vLLM met een eigen API-key (versleuteld opgeslagen), zodat je endpoint beveiligd is. We draaien readiness-probes op /health; zodra vLLM klaar is, belt de instance terug en springt de status op "warm". Je krijgt een OpenAI- én Anthropic-compatibele URL plus een API-key.

Je spreekt de instance aan via de Router met de model-slug, of rechtstreeks op het instance-endpoint:

curl https://hostyourai.com/api/instances/<instance-id>/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Hallo"}]}'

Omdat de instance OpenAI-compatibel is, werkt ook hier gewoon de OpenAI-SDK: zet de base-URL op de Router en kies je model-slug.

Een dedicated instance rekent per uur af, maar idle't wanneer niemand online is: je betaalt niet voor ongebruikte tijd en de instance warmt vanzelf weer op bij het eerste verzoek. In je dashboard zie je de status, het gebruik en de logs. Wil je context uit je eigen documenten toevoegen, koppel dan een kennisbank aan de instance, zie de RAG-gids.

Hoeveel VRAM je nodig hebt hangt af van het aantal parameters, de kwantisatie en de contextlengte. De tabel hieronder geeft praktische richtwaarden; de deploy-stap controleert de ondergrens automatisch, zodat je nooit een te kleine GPU kunt kiezen. Het actuele modelaanbod vind je in de Model Garden.