Zum Inhalt
03 Model garden Serve

Llama 2 70b chat hf

Läuft als eigenes dediziertes GPU-Deployment, direkt über den Wizard startbar. Daten bleiben in Europa.

curl
$ curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-2-70b-chat-hf",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Direkt aufrufen

Drop-in-Ersatz für OpenAI: Ändern Sie nur die Base-URL und den API-Key. Auch das Anthropic-Format (/v1/messages) wird unterstützt.

Serve Model garden Auf Anfrage
meta-llama/Llama-2-70b-chat-hf

text->text · meta-llama · souverän in der EU

Läuft auf EU-Infrastruktur europäischer Unternehmen, von Ihrer Anfrage bis zur GPU. Die vollständige Kette ansehen

Llama 2 70b chat hf ist ein quelloffenes Sprachmodell von Meta mit 69B Parametern, gehostet auf europäischen GPUs über eine OpenAI-kompatible API.

Router
Router · auf Anfrage
Dedicated
Dedicated · verfügbar
69BParameter
166GBMinimaler VRAM
POST /api/v1/chat/completions Auf Anfrage

Spezifikationen

Parameter69B
Minimaler VRAM166 GB
ArchitekturLlamaForCausalLM (vLLM)
Lizenzllama2
Modalitättext->text
VeröffentlichtJuly 2023
Anbietermeta-llama ↗

Preise

Gemeinsamer Router · pro Token

Auf Anfrage Nicht über den gemeinsamen Router verfügbar. Preis auf Anfrage als dediziertes GPU-Deployment.

Dediziertes GPU · pro Stunde

ab €4,42 pro StundeEigene vLLM-Instanz in europäischer Cloud (166 GB VRAM), pro Minute abgerechnet.

Gemeinsamer EU-Router, Sie zahlen nur pro Token. Dedizierte GPU-Deployments werden pro Minute abgerechnet, siehe Preise.

Bench-Index

Bench ist unser Qualitätsindex für jedes Modell, 0 bis 100. Er stützt sich auf öffentliche Messungen (Epoch AI mit rund 40 Benchmarks, LiveBench, LMArena und weitere) und wird jeden Morgen aktualisiert. Wo niemand misst, steht eine Schätzung mit Bandbreite.

19,6 / 100 · Gemessen

Gemessen von Epoch AI über 14 Benchmarks, mit Bandbreite.

Bandbreite 12,0 bis 26,1 · Platz 210 von 257 bei Epoch AI

Quellen: Epoch AI ↗ · LiveBench ↗ · LMArena ↗ · Täglich aktualisiert, zuletzt am 19-11-2026

Alle Benchmarks (14)
TriviaQA87,6
HellaSwag80,4
LAMBADA78,9
ARC AI271,1
GSM8K69,6
PIQA65,6
Winogrande60,4
MMLU59,9
BBH53,2
OpenBookQA46,9
MATH level 53,3
DTBench2,7
GPQA diamond1,8
OTIS Mock AIME 2024-20250,0
Fragen

Häufig gestellte Fragen

Kann ich Llama 2 70b chat hf in der EU betreiben?

Ja. HostYourAI betreibt Llama 2 70b chat hf auf GPUs in europäischen Rechenzentren über vLLM. Prompts und Outputs verlassen die EU nicht und es ist kein US-Cloud-Anbieter in der Kette.

Ist das Hosting von Llama 2 70b chat hf DSGVO-konform?

Ja. Die gesamte Verarbeitung findet innerhalb der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Liste der Subprozessoren ist öffentlich. Open-Source-Gewichte bedeuten außerdem: kein Training mit Ihren Daten.

Was kostet Llama 2 70b chat hf?

Llama 2 70b chat hf braucht mehrere GPUs gleichzeitig und läuft deshalb als dediziertes Deployment, das pro GPU-Minute abgerechnet wird, nicht pro Token. Nennen Sie uns Ihr Volumen, dann rechnen wir es für Sie durch.

Ist die API OpenAI-kompatibel?

Ja. Sie verwenden die Standard-OpenAI-SDKs mit einer angepassten Base-URL (https://hostyourai.com/api/v1). Auch die Anthropic Messages API wird als Drop-in unterstützt.

Die Plattform

Eine Plattform, vier Ebenen

Starten Sie mit einer Ebene und ergänzen Sie die anderen, wenn die Arbeit es verlangt. Alle teilen sich einen Key, ein Guthaben und eine Activity-Ansicht.

Code

Ihr Coding-Agent auf offenen Modellen in Europa, eingerichtet mit einem Befehl.

Öffnen

Control

Schlüssel, Budgets und Guardrails pro Team, und personenbezogene Daten gestoppt, bevor ein Modell sie sieht.

Öffnen

Serve

Gemeinsam genutzt pro Token oder nur für Sie, aus europäischen Rechenzentren.

Öffnen

EU compute

Private GPUs in Europa, von H100 bis B300, ausgelegt auf Antwortzeit, Generierungsgeschwindigkeit und gleichzeitige Nutzer.

Öffnen

Testen Sie Llama 2 70b chat hf kostenlos

Die Kontoerstellung dauert eine Minute. Testen Sie Llama 2 70b chat hf direkt im Playground.

  • Jantine
  • Hans
  • Sander
  • Jos
  • Daan
  • Kyra
  • Margriet
  • Stan
Das Team hinter HostYourAI