Dieses Modell läuft als dediziertes Deployment auf großen GPUs und ist nicht standardmäßig im gemeinsamen Playground verfügbar. Kontaktieren Sie uns, wir richten es für Sie ein.
This model is ready for commercial and non-commercial use. <br
Gemeinsamer EU-Router, Pay-per-Token, Scale-to-Zero. Dedizierte GPU-Deployments werden stundenweise abgerechnet, siehe Preise.
Nicht über den gemeinsamen Router verfügbar. Preis auf Anfrage als dediziertes GPU-Deployment.
Drop-in-Ersatz für OpenAI: Ändern Sie nur die Base-URL und den API-Key. Auch das Anthropic-Format (/v1/messages) wird unterstützt.
curl https://hostyourai.com/api/v1/chat/completions \
-H "Authorization: Bearer hyai-..." \
-H "Content-Type: application/json" \
-d '{
"model": "nvidia/Llama-3.1-8B-Instruct-FP8",
"messages": [{"role": "user", "content": "Hello!"}]
}'Ja. HostYourAI betreibt Llama 3.1 8B Instruct FP8 auf GPUs in europäischen Rechenzentren über vLLM. Prompts und Outputs verlassen die EU nicht und es ist kein US-Cloud-Anbieter in der Kette.
Ja. Die gesamte Verarbeitung findet innerhalb der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Liste der Subprozessoren ist öffentlich. Open-Source-Gewichte bedeuten außerdem: kein Training mit Ihren Daten.
Über den gemeinsamen EU-Router zahlen Sie €0.03 pro Million Input-Tokens und €0.08 pro Million Output-Tokens, ohne Fixkosten. Für hohe Volumen oder Isolation können Sie Llama 3.1 8B Instruct FP8 auch als dedizierte GPU-Instanz stundenweise betreiben.
Ja. Sie verwenden die Standard-OpenAI-SDKs mit einer angepassten Base-URL (https://hostyourai.com/api/v1). Auch die Anthropic Messages API wird als Drop-in unterstützt.
Llama 3.1 8B Instruct FP8 ist noch nicht standardmäßig verfügbar. Hinterlassen Sie Ihre Kontaktdaten, wir kümmern uns um ein dediziertes Deployment.
Zugang anfragen