Model garden Router · op aanvraag Dedicated · beschikbaar

Llama 3.1 405B Instruct FP8

Dit model draait als eigen dedicated GPU-deployment, direct te starten via de wizard. Data blijft in Europa.

Llama 3.1 405B Instruct FP8 is een open-source taalmodel van Meta met 405B parameters, gehost op Europese GPU's via een OpenAI-compatibele API.

meta-llama/Llama-3.1-405B-Instruct-FP8 Op aanvraag
text->text · meta-llama · sovereign EU
Runs on EU infrastructure operated by European companies; US marketplace capacity is never part of this chain. Full chain
405B
Parameters
—
Contextvenster
585GB
Minimale VRAM
POST /api/v1/chat/completions Op aanvraag

Specificaties

Parameters 405B
Minimale VRAM 585 GB
Architectuur LlamaForCausalLM (vLLM)
Licentie open-weights
Modaliteit text->text
Uitgebracht July 2024
Uitgever meta-llama ↗

Prijzen

Gedeelde router · per token
Op aanvraag
Niet beschikbaar op de gedeelde router. Prijs op aanvraag als dedicated GPU-deployment.
Dedicated GPU · per uur
vanaf €23,76 per uur
Eigen vLLM-instance op Europese cloud (585 GB VRAM), per uur afgerekend.

Gedeelde EU-router, pay-per-token, scale-to-zero. Dedicated GPU-deployments worden per uur afgerekend, zie prijzen.

Bench-index

Bench is onze kwaliteitsindex voor elk model, 0 tot 100. Hij steunt op openbare metingen (Epoch AI met zo’n 40 benchmarks, LiveBench, LMArena en meer) en wordt elke ochtend ververst. Waar niemand meet, staat een schatting met bandbreedte.

53,5 / 100 · Via LiveBench

Omgerekend uit het LiveBench-resultaat naar dezelfde schaal.

Bandbreedte 47,1 tot 59,8

Bronnen: Epoch AI ↗ · LiveBench ↗ · LMArena ↗ · Dagelijks bijgewerkt, laatst op 24-10-2026

LiveBench · 47,5
Redeneren 40,6
Code 28,8
Wiskunde 40,5
Data-analyse 55,9
Taal 43,6
Instructies volgen 75,9
LiveBench · Alle taken
Redeneren
web of lies v3 42,0
zebra puzzle 33,8
spatial 46,0
Code
LCB generation 33,3
coding completion 24,3
Wiskunde
AMPS Hard 49,0
math comp 40,9
olympiad 31,6
Data-analyse
cta 60,0
tablejoin 37,5
tablereformat 70,0
Taal
connections 31,0
plot unscrambling 41,8
typos 58,0
Instructies volgen
paraphrase 76,8
simplify 82,3
story generation 74,2
summarize 70,3

Direct aanroepen

Drop-in vervanger voor OpenAI: wijzig alleen de base-URL en de API-key. Ook het Anthropic-formaat (/v1/messages) wordt ondersteund.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-3.1-405B-Instruct-FP8",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Veelgestelde vragen

Kan ik Llama 3.1 405B Instruct FP8 in de EU draaien?

Ja. HostYourAI draait Llama 3.1 405B Instruct FP8 op GPU's in Europese datacenters via vLLM. Prompts en outputs verlaten de EU niet en er is geen Amerikaanse cloudprovider in de keten.

Is Llama 3.1 405B Instruct FP8 hosten AVG/GDPR-compliant?

Ja. Alle verwerking vindt plaats binnen de EU, er is een verwerkersovereenkomst (DPA) beschikbaar en de subprocessor-lijst is openbaar. Open-source gewichten betekenen ook: geen training op jouw data.

Wat kost Llama 3.1 405B Instruct FP8?

Llama 3.1 405B Instruct FP8 is beschikbaar op aanvraag: via de gedeelde EU-router na kort overleg, of als eigen dedicated GPU-deployment per uur. Vertel ons je use case, dan zetten we het voor je klaar.

Is de API compatibel met OpenAI?

Ja. Je gebruikt de standaard OpenAI-SDK's met een aangepaste base-URL (https://hostyourai.com/api/v1). Ook de Anthropic Messages API wordt ondersteund als drop-in.

Andere modellen van Meta

Probeer Llama 3.1 405B Instruct FP8 gratis

Account aanmaken duurt een minuut. Test Llama 3.1 405B Instruct FP8 direct in de playground.

Start gratis