Naar de inhoud
03 Model garden Serve

Llama 3.1 405B FP8

Dit model draait als eigen dedicated GPU-deployment, direct te starten via de wizard. Data blijft in Europa.

curl
$ curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-3.1-405B-FP8",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Direct aanroepen

Drop-in vervanger voor OpenAI: wijzig alleen de base-URL en de API-key. Ook het Anthropic-formaat (/v1/messages) wordt ondersteund.

Serve Model garden Op aanvraag
meta-llama/Llama-3.1-405B-FP8

text->text · meta-llama · soeverein in de EU

Draait op EU-infrastructuur van Europese bedrijven, van je verzoek tot aan de GPU. Bekijk de volledige keten

Llama 3.1 405B FP8 is een open-source taalmodel van Meta met 405B parameters, gehost op Europese GPU's via een OpenAI-compatibele API.

Router
Router · op aanvraag
Dedicated
Dedicated · beschikbaar
405BParameters
585GBMinimale VRAM
POST /api/v1/chat/completions Op aanvraag

Specificaties

Parameters405B
Minimale VRAM585 GB
ArchitectuurLlamaForCausalLM (vLLM)
Licentieopen-weights
Modaliteittext->text
UitgebrachtJuly 2024
Uitgevermeta-llama ↗

Prijzen

Gedeelde router · per token

Op aanvraag Niet beschikbaar op de gedeelde router. Prijs op aanvraag als dedicated GPU-deployment.

Dedicated GPU · per uur

vanaf €23,76 per uurEigen vLLM-instance op Europese cloud (585 GB VRAM), per minuut afgerekend.

Gedeelde EU-router, je betaalt alleen per token. Dedicated GPU-deployments worden per minuut afgerekend, zie prijzen.

Bench-index

Bench is onze kwaliteitsindex voor elk model, 0 tot 100. Hij steunt op openbare metingen (Epoch AI met zo’n 40 benchmarks, LiveBench, LMArena en meer) en wordt elke ochtend ververst. Waar niemand meet, staat een schatting met bandbreedte.

47,3 / 100 · Gemeten

Gemeten door Epoch AI over 15 benchmarks, met bandbreedte.

Bandbreedte 43,7 tot 50,6 · Plek 163 van 257 bij Epoch AI

Bronnen: Epoch AI ↗ · LiveBench ↗ · LMArena ↗ · Dagelijks bijgewerkt, laatst op 19-11-2026

Alle benchmarks (15)
ARC AI293,7
HellaSwag85,6
TriviaQA82,7
MMLU79,3
Winogrande78,4
BBH77,2
PIQA71,8
MATH level 549,8
GPQA diamond36,0
DTBench35,6
WeirdML21,4
OTIS Mock AIME 2024-20259,6
SimpleBench7,6
Cybench7,5
The Agent Company7,4
Vragen

Veelgestelde vragen

Kan ik Llama 3.1 405B FP8 in de EU draaien?

Ja. HostYourAI draait Llama 3.1 405B FP8 op GPU's in Europese datacenters via vLLM. Prompts en outputs verlaten de EU niet en er is geen Amerikaanse cloudprovider in de keten.

Is Llama 3.1 405B FP8 hosten AVG/GDPR-compliant?

Ja. Alle verwerking vindt plaats binnen de EU, er is een verwerkersovereenkomst (DPA) beschikbaar en de subprocessor-lijst is openbaar. Open-source gewichten betekenen ook: geen training op jouw data.

Wat kost Llama 3.1 405B FP8?

Llama 3.1 405B FP8 is beschikbaar op aanvraag: via de gedeelde EU-router na kort overleg, of als eigen dedicated GPU-deployment, per minuut afgerekend. Vertel ons je use case, dan zetten we het voor je klaar.

Is de API compatibel met OpenAI?

Ja. Je gebruikt de standaard OpenAI-SDK's met een aangepaste base-URL (https://hostyourai.com/api/v1). Ook de Anthropic Messages API wordt ondersteund als drop-in.

Het platform

Eén platform, vier lagen

Begin met één laag en voeg de andere toe als het werk erom vraagt. Ze delen één key, één saldo en één Activity-overzicht.

Code

Je coding agent op open modellen in Europa, ingericht met één commando.

Bekijk

Control

Sleutels, budgetten en guardrails per team, en persoonsgegevens tegengehouden voordat een model ze ziet.

Bekijk

Serve

Gedeeld per token, of alleen voor jou, vanuit Europese datacenters.

Bekijk

EU compute

Eigen GPU's in Europa, van H100 tot B300, afgestemd op reactietijd, generatiesnelheid en gelijktijdige gebruikers.

Bekijk

Probeer Llama 3.1 405B FP8 gratis

Account aanmaken duurt een minuut. Test Llama 3.1 405B FP8 direct in de playground.

  • Jantine
  • Hans
  • Sander
  • Jos
  • Daan
  • Kyra
  • Margriet
  • Stan
Het team achter HostYourAI