Dit model draait als eigen dedicated GPU-deployment, direct te starten via de wizard. Data blijft in Europa.
Llama 3.1 405B FP8 is een open-source taalmodel van Meta met 405B parameters, gehost op Europese GPU's via een OpenAI-compatibele API.
Dit model heeft 585 GB VRAM nodig, dus meerdere GPU's. Via de gedeelde router is de tokenprijs daarom hoog. Vanaf ongeveer 50 miljoen tokens per maand is een dedicated deployment goedkoper.
Gedeelde EU-router, pay-per-token, scale-to-zero. Dedicated GPU-deployments worden per uur afgerekend, zie prijzen.
Drop-in vervanger voor OpenAI: wijzig alleen de base-URL en de API-key. Ook het Anthropic-formaat (/v1/messages) wordt ondersteund.
curl https://hostyourai.com/api/v1/chat/completions \
-H "Authorization: Bearer hyai-..." \
-H "Content-Type: application/json" \
-d '{
"model": "meta-llama/Llama-3.1-405B-FP8",
"messages": [{"role": "user", "content": "Hello!"}]
}'Ja. HostYourAI draait Llama 3.1 405B FP8 op GPU's in Europese datacenters via vLLM. Prompts en outputs verlaten de EU niet en er is geen Amerikaanse cloudprovider in de keten.
Ja. Alle verwerking vindt plaats binnen de EU, er is een verwerkersovereenkomst (DPA) beschikbaar en de subprocessor-lijst is openbaar. Open-source gewichten betekenen ook: geen training op jouw data.
Via de gedeelde EU-router betaal je €0.40 per miljoen input-tokens en €0.60 per miljoen output-tokens, zonder vaste kosten. Voor hoge volumes of isolatie kun je Llama 3.1 405B FP8 ook als dedicated GPU-instance per uur draaien.
Ja. Je gebruikt de standaard OpenAI-SDK's met een aangepaste base-URL (https://hostyourai.com/api/v1). Ook de Anthropic Messages API wordt ondersteund als drop-in.
Account aanmaken duurt een minuut. Test Llama 3.1 405B FP8 direct in de playground.
Start gratis