Zum Inhalt
03 Model garden Serve

Llama 3.1 405B Instruct FP8

Läuft als eigenes dediziertes GPU-Deployment, direkt über den Wizard startbar. Daten bleiben in Europa.

curl
$ curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-3.1-405B-Instruct-FP8",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Direkt aufrufen

Drop-in-Ersatz für OpenAI: Ändern Sie nur die Base-URL und den API-Key. Auch das Anthropic-Format (/v1/messages) wird unterstützt.

Serve Model garden Auf Anfrage
meta-llama/Llama-3.1-405B-Instruct-FP8

text->text · meta-llama · souverän in der EU

Läuft auf EU-Infrastruktur europäischer Unternehmen, von Ihrer Anfrage bis zur GPU. Die vollständige Kette ansehen

Llama 3.1 405B Instruct FP8 ist ein quelloffenes Sprachmodell von Meta mit 405B Parametern, gehostet auf europäischen GPUs über eine OpenAI-kompatible API.

Router
Router · auf Anfrage
Dedicated
Dedicated · verfügbar
405BParameter
585GBMinimaler VRAM
POST /api/v1/chat/completions Auf Anfrage

Spezifikationen

Parameter405B
Minimaler VRAM585 GB
ArchitekturLlamaForCausalLM (vLLM)
Lizenzopen-weights
Modalitättext->text
VeröffentlichtJuly 2024
Anbietermeta-llama ↗

Preise

Gemeinsamer Router · pro Token

Auf Anfrage Nicht über den gemeinsamen Router verfügbar. Preis auf Anfrage als dediziertes GPU-Deployment.

Dediziertes GPU · pro Stunde

ab €23,76 pro StundeEigene vLLM-Instanz in europäischer Cloud (585 GB VRAM), pro Minute abgerechnet.

Gemeinsamer EU-Router, Sie zahlen nur pro Token. Dedizierte GPU-Deployments werden pro Minute abgerechnet, siehe Preise.

Bench-Index

Bench ist unser Qualitätsindex für jedes Modell, 0 bis 100. Er stützt sich auf öffentliche Messungen (Epoch AI mit rund 40 Benchmarks, LiveBench, LMArena und weitere) und wird jeden Morgen aktualisiert. Wo niemand misst, steht eine Schätzung mit Bandbreite.

51,2 / 100 · Über LiveBench

Aus dem LiveBench-Ergebnis auf dieselbe Skala umgerechnet.

Bandbreite 44,1 bis 58,4

Quellen: Epoch AI ↗ · LiveBench ↗ · LMArena ↗ · Täglich aktualisiert, zuletzt am 19-11-2026

LiveBench · 47,5

Reasoning40,6
Coding28,8
Mathematik40,5
Datenanalyse55,9
Sprache43,6
Anweisungen befolgen75,9
LiveBench · Alle Aufgaben
Reasoning
web of lies v342,0
zebra puzzle33,8
spatial46,0
Coding
LCB generation33,3
coding completion24,3
Mathematik
AMPS Hard49,0
math comp40,9
olympiad31,6
Datenanalyse
cta60,0
tablejoin37,5
tablereformat70,0
Sprache
connections31,0
plot unscrambling41,8
typos58,0
Anweisungen befolgen
paraphrase76,8
simplify82,3
story generation74,2
summarize70,3
Fragen

Häufig gestellte Fragen

Kann ich Llama 3.1 405B Instruct FP8 in der EU betreiben?

Ja. HostYourAI betreibt Llama 3.1 405B Instruct FP8 auf GPUs in europäischen Rechenzentren über vLLM. Prompts und Outputs verlassen die EU nicht und es ist kein US-Cloud-Anbieter in der Kette.

Ist das Hosting von Llama 3.1 405B Instruct FP8 DSGVO-konform?

Ja. Die gesamte Verarbeitung findet innerhalb der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Liste der Subprozessoren ist öffentlich. Open-Source-Gewichte bedeuten außerdem: kein Training mit Ihren Daten.

Was kostet Llama 3.1 405B Instruct FP8?

Llama 3.1 405B Instruct FP8 ist auf Anfrage verfügbar: über den gemeinsamen EU-Router nach kurzer Abstimmung oder als dediziertes GPU-Deployment, das pro Minute abgerechnet wird. Nennen Sie uns Ihren Anwendungsfall, dann richten wir es für Sie ein.

Ist die API OpenAI-kompatibel?

Ja. Sie verwenden die Standard-OpenAI-SDKs mit einer angepassten Base-URL (https://hostyourai.com/api/v1). Auch die Anthropic Messages API wird als Drop-in unterstützt.

Die Plattform

Eine Plattform, vier Ebenen

Starten Sie mit einer Ebene und ergänzen Sie die anderen, wenn die Arbeit es verlangt. Alle teilen sich einen Key, ein Guthaben und eine Activity-Ansicht.

Code

Ihr Coding-Agent auf offenen Modellen in Europa, eingerichtet mit einem Befehl.

Öffnen

Control

Schlüssel, Budgets und Guardrails pro Team, und personenbezogene Daten gestoppt, bevor ein Modell sie sieht.

Öffnen

Serve

Gemeinsam genutzt pro Token oder nur für Sie, aus europäischen Rechenzentren.

Öffnen

EU compute

Private GPUs in Europa, von H100 bis B300, ausgelegt auf Antwortzeit, Generierungsgeschwindigkeit und gleichzeitige Nutzer.

Öffnen

Testen Sie Llama 3.1 405B Instruct FP8 kostenlos

Die Kontoerstellung dauert eine Minute. Testen Sie Llama 3.1 405B Instruct FP8 direkt im Playground.

  • Jantine
  • Hans
  • Sander
  • Jos
  • Daan
  • Kyra
  • Margriet
  • Stan
Das Team hinter HostYourAI