Model garden Router · auf Anfrage Dedicated · verfügbar

Meta Llama 3 70B Instruct

Läuft als eigenes dediziertes GPU-Deployment, direkt über den Wizard startbar. Daten bleiben in Europa.

Meta Llama 3 70B Instruct ist ein quelloffenes Sprachmodell von Meta mit 71B Parametern, gehostet auf europäischen GPUs über eine OpenAI-kompatible API.

meta-llama/Meta-Llama-3-70B-Instruct Auf Anfrage
text->text · meta-llama · sovereign EU
Runs on EU infrastructure operated by European companies; US marketplace capacity is never part of this chain. Full chain
71B
Parameter
Kontextfenster
170GB
Minimaler VRAM
POST /api/v1/chat/completions Auf Anfrage

Spezifikationen

Parameter 71B
Minimaler VRAM 170 GB
Architektur LlamaForCausalLM (vLLM)
Lizenz llama3
Modalität text->text
Veröffentlicht April 2024
Anbieter meta-llama ↗

Preise

Gemeinsamer Router · pro Token
Auf Anfrage
Nicht über den gemeinsamen Router verfügbar. Preis auf Anfrage als dediziertes GPU-Deployment.
Dediziertes GPU · pro Stunde
ab €5,09 pro Stunde
Eigene vLLM-Instanz in europäischer Cloud (170 GB VRAM), stundenweise abgerechnet.

Gemeinsamer EU-Router, Pay-per-Token, Scale-to-Zero. Dedizierte GPU-Deployments werden stundenweise abgerechnet, siehe Preise.

Direkt aufrufen

Drop-in-Ersatz für OpenAI: Ändern Sie nur die Base-URL und den API-Key. Auch das Anthropic-Format (/v1/messages) wird unterstützt.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Meta-Llama-3-70B-Instruct",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Häufig gestellte Fragen

Kann ich Meta Llama 3 70B Instruct in der EU betreiben?

Ja. HostYourAI betreibt Meta Llama 3 70B Instruct auf GPUs in europäischen Rechenzentren über vLLM. Prompts und Outputs verlassen die EU nicht und es ist kein US-Cloud-Anbieter in der Kette.

Ist das Hosting von Meta Llama 3 70B Instruct DSGVO-konform?

Ja. Die gesamte Verarbeitung findet innerhalb der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Liste der Subprozessoren ist öffentlich. Open-Source-Gewichte bedeuten außerdem: kein Training mit Ihren Daten.

Was kostet Meta Llama 3 70B Instruct?

Meta Llama 3 70B Instruct braucht mehrere GPUs gleichzeitig und läuft deshalb als dediziertes Deployment, das nach GPU-Stunden abgerechnet wird, nicht pro Token. Nennen Sie uns Ihr Volumen, dann rechnen wir es für Sie durch.

Ist die API OpenAI-kompatibel?

Ja. Sie verwenden die Standard-OpenAI-SDKs mit einer angepassten Base-URL (https://hostyourai.com/api/v1). Auch die Anthropic Messages API wird als Drop-in unterstützt.

Weitere Modelle von Meta

Testen Sie Meta Llama 3 70B Instruct kostenlos

Die Kontoerstellung dauert eine Minute. Testen Sie Meta Llama 3 70B Instruct direkt im Playground.

Kostenlos starten