HostYourAI

Llama 3.1 405B hosten in de EU — OpenAI-compatibele API

Direct via de EU-router of als dedicated GPU-deployment. Data blijft in Europa.

Specificaties

Parameters406B
Minimale VRAM934 GB
ArchitectuurLlamaForCausalLM (vLLM)
Licentiellama3.1
Modaliteittext->text
UitgebrachtJuly 2024
Uitgevermeta-llama (Hugging Face)

Prijzen

Input (per 1M tokens)€ 0.40
Output (per 1M tokens)€ 0.60

Gedeelde EU-router, pay-per-token, scale-to-zero. Dedicated GPU-deployments worden per uur afgerekend — zie prijzen.

Direct aanroepen

Drop-in vervanger voor OpenAI: wijzig alleen de base-URL en de API-key. Ook het Anthropic-formaat (/v1/messages) wordt ondersteund.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-3.1-405B",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Veelgestelde vragen

Kan ik Llama 3.1 405B in de EU draaien?

Ja. HostYourAI draait Llama 3.1 405B op GPU's in Europese datacenters via vLLM. Prompts en outputs verlaten de EU niet en er is geen Amerikaanse cloudprovider in de keten.

Is Llama 3.1 405B hosten AVG/GDPR-compliant?

Ja. Alle verwerking vindt plaats binnen de EU, er is een verwerkersovereenkomst (DPA) beschikbaar en de subprocessor-lijst is openbaar. Open-source gewichten betekenen ook: geen training op jouw data.

Wat kost Llama 3.1 405B?

Via de gedeelde EU-router betaal je €0.40 per miljoen input-tokens en €0.60 per miljoen output-tokens, zonder vaste kosten. Voor hoge volumes of isolatie kun je Llama 3.1 405B ook als dedicated GPU-instance per uur draaien.

Is de API compatibel met OpenAI?

Ja. Je gebruikt de standaard OpenAI-SDK's met een aangepaste base-URL (https://hostyourai.com/api/v1). Ook de Anthropic Messages API wordt ondersteund als drop-in.

Probeer Llama 3.1 405B gratis

Account aanmaken duurt een minuut. Test Llama 3.1 405B direct in de playground.

Start gratis

← Alle modellen