Aller au contenu
03 Model garden Serve

Llama 3.1 405B Instruct FP8

Fonctionne comme votre propre déploiement GPU dédié, à lancer directement depuis l'assistant. Les données restent en Europe.

curl
$ curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-3.1-405B-Instruct-FP8",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Appelez-le dès maintenant

Remplacement direct d'OpenAI : changez uniquement l'URL de base et la clé API. Le format Anthropic (/v1/messages) est également pris en charge.

Serve Model garden Sur demande
meta-llama/Llama-3.1-405B-Instruct-FP8

text->text · meta-llama · souverain dans l'UE

Fonctionne sur une infrastructure européenne exploitée par des entreprises européennes, de votre requête jusqu'au GPU. Voir toute la chaîne

Llama 3.1 405B Instruct FP8 est un modèle de langage open source de Meta avec 405B paramètres, hébergé sur des GPU européens via une API compatible OpenAI.

Router
Router · sur demande
Dedicated
Dédié · disponible
405BParamètres
585GBVRAM minimale
POST /api/v1/chat/completions Sur demande

Caractéristiques

Paramètres405B
VRAM minimale585 GB
ArchitectureLlamaForCausalLM (vLLM)
Licenceopen-weights
Modalitétext->text
Date de sortieJuly 2024
Éditeurmeta-llama ↗

Tarifs

Router partagé · par token

Sur demande Non disponible sur le Router partagé. Tarif sur demande en déploiement GPU dédié.

GPU dédié · par heure

à partir de 23,76 € par heureVotre propre instance vLLM sur un cloud européen (585 Go de VRAM), facturée à la minute.

Router européen partagé, vous payez uniquement au token. Les déploiements GPU dédiés sont facturés à la minute, voir tarifs.

Indice Bench

Bench est notre indice de qualité pour chaque modèle, de 0 à 100. Il s'appuie sur des mesures publiques (Epoch AI avec une quarantaine de benchmarks, LiveBench, LMArena et d'autres) et est actualisé chaque matin. Là où personne ne mesure, il affiche une estimation avec une fourchette.

51,2 / 100 · Via LiveBench

Converti à partir de son résultat LiveBench vers la même échelle.

Fourchette de 44,1 à 58,4

Sources: Epoch AI ↗ · LiveBench ↗ · LMArena ↗ · Mis à jour chaque jour, dernière fois le 19-11-2026

LiveBench · 47,5

Raisonnement40,6
Code28,8
Mathématiques40,5
Analyse de données55,9
Langue43,6
Respect des consignes75,9
LiveBench · Toutes les tâches
Raisonnement
web of lies v342,0
zebra puzzle33,8
spatial46,0
Code
LCB generation33,3
coding completion24,3
Mathématiques
AMPS Hard49,0
math comp40,9
olympiad31,6
Analyse de données
cta60,0
tablejoin37,5
tablereformat70,0
Langue
connections31,0
plot unscrambling41,8
typos58,0
Respect des consignes
paraphrase76,8
simplify82,3
story generation74,2
summarize70,3
Questions

Questions fréquentes

Puis-je exécuter Llama 3.1 405B Instruct FP8 dans l'UE ?

Oui. HostYourAI exécute Llama 3.1 405B Instruct FP8 sur des GPU situés dans des centres de données européens via vLLM. Les prompts et les réponses ne quittent jamais l'UE, et aucun fournisseur de cloud américain n'intervient dans la chaîne.

L'hébergement de Llama 3.1 405B Instruct FP8 est-il conforme au RGPD ?

Oui. Tout le traitement a lieu au sein de l'UE, un accord de traitement des données (DPA) est disponible et la liste des sous-traitants est publique. Des poids open source signifient aussi : aucun entraînement sur vos données.

Combien coûte Llama 3.1 405B Instruct FP8 ?

Llama 3.1 405B Instruct FP8 est disponible sur demande : via le Router européen partagé après un bref échange, ou en déploiement GPU dédié facturé à la minute. Décrivez-nous votre cas d'usage et nous le configurerons pour vous.

L'API est-elle compatible avec OpenAI ?

Oui. Vous utilisez les SDK OpenAI standard avec une URL de base personnalisée (https://hostyourai.com/api/v1). L'API Anthropic Messages est également prise en charge en remplacement direct.

La plateforme

Une plateforme, quatre couches

Commencez par une couche et ajoutez les autres quand le travail le demande. Elles partagent une clé, un solde et une vue Activity.

Code

Votre agent de code sur des modèles ouverts en Europe, configuré en une seule commande.

Ouvrir

Control

Clés, budgets et garde-fous par équipe, et données personnelles arrêtées avant qu'un modèle ne les voie.

Ouvrir

Serve

Partagés au token, ou rien que pour vous, depuis des centres de données européens.

Ouvrir

EU compute

Des GPU privés en Europe, du H100 au B300, dimensionnés selon le temps de réponse, la vitesse de génération et le nombre d'utilisateurs simultanés.

Ouvrir

Essayez Llama 3.1 405B Instruct FP8 gratuitement

La création d'un compte prend une minute. Testez Llama 3.1 405B Instruct FP8 tout de suite dans le Playground.

  • Jantine
  • Hans
  • Sander
  • Jos
  • Daan
  • Kyra
  • Margriet
  • Stan
L'équipe derrière HostYourAI