Model garden Router · auf Anfrage Dedicated · verfügbar

Llama 3.1 70B Instruct

Läuft als eigenes dediziertes GPU-Deployment, direkt über den Wizard startbar. Daten bleiben in Europa.

Llama 3.1 70B Instruct ist ein quelloffenes Sprachmodell von Meta mit 71B Parametern, gehostet auf europäischen GPUs über eine OpenAI-kompatible API.

meta-llama/Llama-3.1-70B-Instruct vLLM ready
text->text · meta-llama · sovereign EU
Runs on EU infrastructure operated by European companies; US marketplace capacity is never part of this chain. Full chain
71B
Parameter
—
Kontextfenster
170GB
Minimaler VRAM
POST /api/v1/chat/completions Auf Anfrage

Spezifikationen

Parameter 71B
Minimaler VRAM 170 GB
Architektur LlamaForCausalLM (vLLM)
Lizenz llama3.1
Modalität text->text
Veröffentlicht July 2024
Anbieter meta-llama ↗

Preise

Gemeinsamer Router · pro Token
Auf Anfrage
Nicht über den gemeinsamen Router verfügbar. Preis auf Anfrage als dediziertes GPU-Deployment.
Dediziertes GPU · pro Stunde
ab €5,07 pro Stunde
Eigene vLLM-Instanz in europäischer Cloud (170 GB VRAM), stundenweise abgerechnet.

Gemeinsamer EU-Router, Pay-per-Token, Scale-to-Zero. Dedizierte GPU-Deployments werden stundenweise abgerechnet, siehe Preise.

✓ Funktionsfähig verifiziert am 26-07-2026, Antwort in 153 ms auf unserer EU-Infrastruktur.

Bench-Index

Bench ist unser Qualitätsindex für jedes Modell, 0 bis 100. Er stützt sich auf öffentliche Messungen (Epoch AI mit rund 40 Benchmarks, LiveBench, LMArena und weitere) und wird jeden Morgen aktualisiert. Wo niemand misst, steht eine Schätzung mit Bandbreite.

44,9 / 100 · Gemessen

Gemessen von Epoch AI über 9 Benchmarks, mit Bandbreite.

Bandbreite 38,8 bis 47,6 · Platz 176 von 270 bei Epoch AI

Quellen: Epoch AI ↗ · LiveBench ↗ · LMArena ↗ · Täglich aktualisiert, zuletzt am 05-10-2026

LiveBench · 40,5
Reasoning 29,7
Coding 19,9
Mathematik 32,5
Datenanalyse 53,8
Sprache 38,4
Anweisungen befolgen 69,0
Alle Benchmarks (9)
MMLU 73,5
MATH level 5 36,7
DTBench 33,3
Balrog 27,9
GPQA diamond 25,6
LMCA 17,5
WeirdML 9,0
The Agent Company 6,9
OTIS Mock AIME 2024-2025 3,5
LiveBench · Alle Aufgaben
Reasoning
web of lies v3 34,0
zebra puzzle 19,0
spatial 36,0
Coding
LCB generation 24,0
coding completion 15,7
Mathematik
AMPS Hard 41,0
math comp 28,9
olympiad 27,7
Datenanalyse
cta 52,0
tablejoin 31,3
tablereformat 78,0
Sprache
connections 20,8
plot unscrambling 36,2
typos 58,0
Anweisungen befolgen
paraphrase 72,8
simplify 73,4
story generation 63,8
summarize 66,1

Direkt aufrufen

Drop-in-Ersatz für OpenAI: Ändern Sie nur die Base-URL und den API-Key. Auch das Anthropic-Format (/v1/messages) wird unterstützt.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-3.1-70B-Instruct",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Häufig gestellte Fragen

Kann ich Llama 3.1 70B Instruct in der EU betreiben?

Ja. HostYourAI betreibt Llama 3.1 70B Instruct auf GPUs in europäischen Rechenzentren über vLLM. Prompts und Outputs verlassen die EU nicht und es ist kein US-Cloud-Anbieter in der Kette.

Ist das Hosting von Llama 3.1 70B Instruct DSGVO-konform?

Ja. Die gesamte Verarbeitung findet innerhalb der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Liste der Subprozessoren ist öffentlich. Open-Source-Gewichte bedeuten außerdem: kein Training mit Ihren Daten.

Was kostet Llama 3.1 70B Instruct?

Llama 3.1 70B Instruct braucht mehrere GPUs gleichzeitig und läuft deshalb als dediziertes Deployment, das nach GPU-Stunden abgerechnet wird, nicht pro Token. Nennen Sie uns Ihr Volumen, dann rechnen wir es für Sie durch.

Ist die API OpenAI-kompatibel?

Ja. Sie verwenden die Standard-OpenAI-SDKs mit einer angepassten Base-URL (https://hostyourai.com/api/v1). Auch die Anthropic Messages API wird als Drop-in unterstützt.

Weitere Modelle von Meta

Testen Sie Llama 3.1 70B Instruct kostenlos

Die Kontoerstellung dauert eine Minute. Testen Sie Llama 3.1 70B Instruct direkt im Playground.

Kostenlos starten