Zum Inhalt
03 Model garden Serve

Llama 3.1 70B Instruct

Läuft als eigenes dediziertes GPU-Deployment, direkt über den Wizard startbar. Daten bleiben in Europa.

curl
$ curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-3.1-70B-Instruct",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Direkt aufrufen

Drop-in-Ersatz für OpenAI: Ändern Sie nur die Base-URL und den API-Key. Auch das Anthropic-Format (/v1/messages) wird unterstützt.

Serve Model garden bereit für vLLM
meta-llama/Llama-3.1-70B-Instruct

text->text · meta-llama · souverän in der EU

Läuft auf EU-Infrastruktur europäischer Unternehmen, von Ihrer Anfrage bis zur GPU. Die vollständige Kette ansehen

Llama 3.1 70B Instruct ist ein quelloffenes Sprachmodell von Meta mit 71B Parametern, gehostet auf europäischen GPUs über eine OpenAI-kompatible API.

Router
Router · auf Anfrage
Dedicated
Dedicated · verfügbar
71BParameter
170GBMinimaler VRAM
POST /api/v1/chat/completions Auf Anfrage

Spezifikationen

Parameter71B
Minimaler VRAM170 GB
ArchitekturLlamaForCausalLM (vLLM)
Lizenzllama3.1
Modalitättext->text
VeröffentlichtJuly 2024
Anbietermeta-llama ↗

Preise

Gemeinsamer Router · pro Token

Auf Anfrage Nicht über den gemeinsamen Router verfügbar. Preis auf Anfrage als dediziertes GPU-Deployment.

Dediziertes GPU · pro Stunde

ab €4,42 pro StundeEigene vLLM-Instanz in europäischer Cloud (170 GB VRAM), pro Minute abgerechnet.

Gemeinsamer EU-Router, Sie zahlen nur pro Token. Dedizierte GPU-Deployments werden pro Minute abgerechnet, siehe Preise.

✓ Funktionsfähig verifiziert am 26-07-2026, Antwort in 153 ms auf unserer EU-Infrastruktur.

Bench-Index

Bench ist unser Qualitätsindex für jedes Modell, 0 bis 100. Er stützt sich auf öffentliche Messungen (Epoch AI mit rund 40 Benchmarks, LiveBench, LMArena und weitere) und wird jeden Morgen aktualisiert. Wo niemand misst, steht eine Schätzung mit Bandbreite.

43,4 / 100 · Gemessen

Gemessen von Epoch AI über 9 Benchmarks, mit Bandbreite.

Bandbreite 39,5 bis 47,0 · Platz 177 von 257 bei Epoch AI

Quellen: Epoch AI ↗ · LiveBench ↗ · LMArena ↗ · Täglich aktualisiert, zuletzt am 19-11-2026

LiveBench · 40,5

Reasoning29,7
Coding19,9
Mathematik32,5
Datenanalyse53,8
Sprache38,4
Anweisungen befolgen69,0
Alle Benchmarks (9)
MMLU73,5
MATH level 536,7
DTBench33,3
Balrog27,9
GPQA diamond26,7
LMCA17,5
WeirdML9,0
The Agent Company6,9
OTIS Mock AIME 2024-20253,5
LiveBench · Alle Aufgaben
Reasoning
web of lies v334,0
zebra puzzle19,0
spatial36,0
Coding
LCB generation24,0
coding completion15,7
Mathematik
AMPS Hard41,0
math comp28,9
olympiad27,7
Datenanalyse
cta52,0
tablejoin31,3
tablereformat78,0
Sprache
connections20,8
plot unscrambling36,2
typos58,0
Anweisungen befolgen
paraphrase72,8
simplify73,4
story generation63,8
summarize66,1
Fragen

Häufig gestellte Fragen

Kann ich Llama 3.1 70B Instruct in der EU betreiben?

Ja. HostYourAI betreibt Llama 3.1 70B Instruct auf GPUs in europäischen Rechenzentren über vLLM. Prompts und Outputs verlassen die EU nicht und es ist kein US-Cloud-Anbieter in der Kette.

Ist das Hosting von Llama 3.1 70B Instruct DSGVO-konform?

Ja. Die gesamte Verarbeitung findet innerhalb der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Liste der Subprozessoren ist öffentlich. Open-Source-Gewichte bedeuten außerdem: kein Training mit Ihren Daten.

Was kostet Llama 3.1 70B Instruct?

Llama 3.1 70B Instruct braucht mehrere GPUs gleichzeitig und läuft deshalb als dediziertes Deployment, das pro GPU-Minute abgerechnet wird, nicht pro Token. Nennen Sie uns Ihr Volumen, dann rechnen wir es für Sie durch.

Ist die API OpenAI-kompatibel?

Ja. Sie verwenden die Standard-OpenAI-SDKs mit einer angepassten Base-URL (https://hostyourai.com/api/v1). Auch die Anthropic Messages API wird als Drop-in unterstützt.

Die Plattform

Eine Plattform, vier Ebenen

Starten Sie mit einer Ebene und ergänzen Sie die anderen, wenn die Arbeit es verlangt. Alle teilen sich einen Key, ein Guthaben und eine Activity-Ansicht.

Code

Ihr Coding-Agent auf offenen Modellen in Europa, eingerichtet mit einem Befehl.

Öffnen

Control

Schlüssel, Budgets und Guardrails pro Team, und personenbezogene Daten gestoppt, bevor ein Modell sie sieht.

Öffnen

Serve

Gemeinsam genutzt pro Token oder nur für Sie, aus europäischen Rechenzentren.

Öffnen

EU compute

Private GPUs in Europa, von H100 bis B300, ausgelegt auf Antwortzeit, Generierungsgeschwindigkeit und gleichzeitige Nutzer.

Öffnen

Testen Sie Llama 3.1 70B Instruct kostenlos

Die Kontoerstellung dauert eine Minute. Testen Sie Llama 3.1 70B Instruct direkt im Playground.

  • Jantine
  • Hans
  • Sander
  • Jos
  • Daan
  • Kyra
  • Margriet
  • Stan
Das Team hinter HostYourAI