Aller au contenu
03 Model garden Serve

Llama 2 70b chat hf

Fonctionne comme votre propre déploiement GPU dédié, à lancer directement depuis l'assistant. Les données restent en Europe.

curl
$ curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-2-70b-chat-hf",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Appelez-le dès maintenant

Remplacement direct d'OpenAI : changez uniquement l'URL de base et la clé API. Le format Anthropic (/v1/messages) est également pris en charge.

Serve Model garden Sur demande
meta-llama/Llama-2-70b-chat-hf

text->text · meta-llama · souverain dans l'UE

Fonctionne sur une infrastructure européenne exploitée par des entreprises européennes, de votre requête jusqu'au GPU. Voir toute la chaîne

Llama 2 70b chat hf est un modèle de langage open source de Meta avec 69B paramètres, hébergé sur des GPU européens via une API compatible OpenAI.

Router
Router · sur demande
Dedicated
Dédié · disponible
69BParamètres
166GBVRAM minimale
POST /api/v1/chat/completions Sur demande

Caractéristiques

Paramètres69B
VRAM minimale166 GB
ArchitectureLlamaForCausalLM (vLLM)
Licencellama2
Modalitétext->text
Date de sortieJuly 2023
Éditeurmeta-llama ↗

Tarifs

Router partagé · par token

Sur demande Non disponible sur le Router partagé. Tarif sur demande en déploiement GPU dédié.

GPU dédié · par heure

à partir de 4,42 € par heureVotre propre instance vLLM sur un cloud européen (166 Go de VRAM), facturée à la minute.

Router européen partagé, vous payez uniquement au token. Les déploiements GPU dédiés sont facturés à la minute, voir tarifs.

Indice Bench

Bench est notre indice de qualité pour chaque modèle, de 0 à 100. Il s'appuie sur des mesures publiques (Epoch AI avec une quarantaine de benchmarks, LiveBench, LMArena et d'autres) et est actualisé chaque matin. Là où personne ne mesure, il affiche une estimation avec une fourchette.

19,6 / 100 · Mesuré

Mesuré par Epoch AI sur 14 benchmarks, avec une fourchette.

Fourchette de 12,0 à 26,1 · Rang 210 sur 257 chez Epoch AI

Sources: Epoch AI ↗ · LiveBench ↗ · LMArena ↗ · Mis à jour chaque jour, dernière fois le 19-11-2026

Tous les benchmarks (14)
TriviaQA87,6
HellaSwag80,4
LAMBADA78,9
ARC AI271,1
GSM8K69,6
PIQA65,6
Winogrande60,4
MMLU59,9
BBH53,2
OpenBookQA46,9
MATH level 53,3
DTBench2,7
GPQA diamond1,8
OTIS Mock AIME 2024-20250,0
Questions

Questions fréquentes

Puis-je exécuter Llama 2 70b chat hf dans l'UE ?

Oui. HostYourAI exécute Llama 2 70b chat hf sur des GPU situés dans des centres de données européens via vLLM. Les prompts et les réponses ne quittent jamais l'UE, et aucun fournisseur de cloud américain n'intervient dans la chaîne.

L'hébergement de Llama 2 70b chat hf est-il conforme au RGPD ?

Oui. Tout le traitement a lieu au sein de l'UE, un accord de traitement des données (DPA) est disponible et la liste des sous-traitants est publique. Des poids open source signifient aussi : aucun entraînement sur vos données.

Combien coûte Llama 2 70b chat hf ?

Llama 2 70b chat hf nécessite plusieurs GPU à la fois et fonctionne donc en déploiement dédié, facturé à la minute de GPU et non au token. Indiquez-nous votre volume et nous ferons le calcul avec vous.

L'API est-elle compatible avec OpenAI ?

Oui. Vous utilisez les SDK OpenAI standard avec une URL de base personnalisée (https://hostyourai.com/api/v1). L'API Anthropic Messages est également prise en charge en remplacement direct.

La plateforme

Une plateforme, quatre couches

Commencez par une couche et ajoutez les autres quand le travail le demande. Elles partagent une clé, un solde et une vue Activity.

Code

Votre agent de code sur des modèles ouverts en Europe, configuré en une seule commande.

Ouvrir

Control

Clés, budgets et garde-fous par équipe, et données personnelles arrêtées avant qu'un modèle ne les voie.

Ouvrir

Serve

Partagés au token, ou rien que pour vous, depuis des centres de données européens.

Ouvrir

EU compute

Des GPU privés en Europe, du H100 au B300, dimensionnés selon le temps de réponse, la vitesse de génération et le nombre d'utilisateurs simultanés.

Ouvrir

Essayez Llama 2 70b chat hf gratuitement

La création d'un compte prend une minute. Testez Llama 2 70b chat hf tout de suite dans le Playground.

  • Jantine
  • Hans
  • Sander
  • Jos
  • Daan
  • Kyra
  • Margriet
  • Stan
L'équipe derrière HostYourAI