Model garden

Llama 3.1 70B Instruct

Sofort über den EU-Router oder als dediziertes GPU-Deployment. Ihre Daten bleiben in Europa.

Llama 3.1 70B Instruct ist ein quelloffenes Sprachmodell von Meta mit 71B Parametern, gehostet auf europäischen GPUs über eine OpenAI-kompatible API.

meta-llama/Llama-3.1-70B-Instruct vLLM ready
text->text · meta-llama · EU-hosted
71B
Parameter
Kontextfenster
163GB
Minimaler VRAM
POST /api/v1/chat/completions 200 OK

Spezifikationen

Parameter 71B
Minimaler VRAM 163 GB
Architektur LlamaForCausalLM (vLLM)
Lizenz llama3.1
Modalität text->text
Veröffentlicht July 2024
Anbieter meta-llama ↗

Preise

€0.40
Input (pro 1M Tokens)
€0.60
Output (pro 1M Tokens)

Gemeinsamer EU-Router, Pay-per-Token, Scale-to-Zero. Dedizierte GPU-Deployments werden stundenweise abgerechnet, siehe Preise.

✓ Funktionsfähig verifiziert am 03-07-2026, Antwort in 459 ms auf unserer EU-Infrastruktur.

Direkt aufrufen

Drop-in-Ersatz für OpenAI: Ändern Sie nur die Base-URL und den API-Key. Auch das Anthropic-Format (/v1/messages) wird unterstützt.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-3.1-70B-Instruct",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Häufig gestellte Fragen

Kann ich Llama 3.1 70B Instruct in der EU betreiben?

Ja. HostYourAI betreibt Llama 3.1 70B Instruct auf GPUs in europäischen Rechenzentren über vLLM. Prompts und Outputs verlassen die EU nicht und es ist kein US-Cloud-Anbieter in der Kette.

Ist das Hosting von Llama 3.1 70B Instruct DSGVO-konform?

Ja. Die gesamte Verarbeitung findet innerhalb der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Liste der Subprozessoren ist öffentlich. Open-Source-Gewichte bedeuten außerdem: kein Training mit Ihren Daten.

Was kostet Llama 3.1 70B Instruct?

Über den gemeinsamen EU-Router zahlen Sie €0.40 pro Million Input-Tokens und €0.60 pro Million Output-Tokens, ohne Fixkosten. Für hohe Volumen oder Isolation können Sie Llama 3.1 70B Instruct auch als dedizierte GPU-Instanz stundenweise betreiben.

Ist die API OpenAI-kompatibel?

Ja. Sie verwenden die Standard-OpenAI-SDKs mit einer angepassten Base-URL (https://hostyourai.com/api/v1). Auch die Anthropic Messages API wird als Drop-in unterstützt.

Weitere Modelle von Meta

Testen Sie Llama 3.1 70B Instruct kostenlos

Die Kontoerstellung dauert eine Minute. Testen Sie Llama 3.1 70B Instruct direkt im Playground.

Kostenlos starten