Zum Inhalt
03 Model garden Serve

LongCite llama3.1 8b

Läuft als eigenes dediziertes GPU-Deployment, direkt über den Wizard startbar. Daten bleiben in Europa.

curl
$ curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "zai-org/LongCite-llama3.1-8b",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Direkt aufrufen

Drop-in-Ersatz für OpenAI: Ändern Sie nur die Base-URL und den API-Key. Auch das Anthropic-Format (/v1/messages) wird unterstützt.

Serve Model garden Auf Anfrage
zai-org/LongCite-llama3.1-8b

text->text · zai-org · souverän in der EU

Läuft auf EU-Infrastruktur europäischer Unternehmen, von Ihrer Anfrage bis zur GPU. Die vollständige Kette ansehen

LongCite-llama3.1-8b is trained based on Meta-Llama-3.1-8B, and is capable of generating fine-grained citations in long-context question answering. The model supports a maximum context window of up to 128K tokens.

Router
Router · auf Anfrage
Dedicated
Dedicated · verfügbar
8BParameter
131KKontextfenster
24GBMinimaler VRAM
POST /api/v1/chat/completions Auf Anfrage

Spezifikationen

Parameter8B
Kontextfenster131,072 tokens
Minimaler VRAM24 GB
ArchitekturLlamaForCausalLM (vLLM)
Modalitättext->text
VeröffentlichtSeptember 2024
Anbieterzai-org ↗

Preise

Gemeinsamer Router · pro Token

Auf Anfrage Nicht über den gemeinsamen Router verfügbar. Preis auf Anfrage als dediziertes GPU-Deployment.

Dediziertes GPU · pro Stunde

ab €2,03 pro StundeEigene vLLM-Instanz in europäischer Cloud (24 GB VRAM), pro Minute abgerechnet.

Gemeinsamer EU-Router, Sie zahlen nur pro Token. Dedizierte GPU-Deployments werden pro Minute abgerechnet, siehe Preise.

Fragen

Häufig gestellte Fragen

Kann ich LongCite llama3.1 8b in der EU betreiben?

Ja. HostYourAI betreibt LongCite llama3.1 8b auf GPUs in europäischen Rechenzentren über vLLM. Prompts und Outputs verlassen die EU nicht und es ist kein US-Cloud-Anbieter in der Kette.

Ist das Hosting von LongCite llama3.1 8b DSGVO-konform?

Ja. Die gesamte Verarbeitung findet innerhalb der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Liste der Subprozessoren ist öffentlich. Open-Source-Gewichte bedeuten außerdem: kein Training mit Ihren Daten.

Was kostet LongCite llama3.1 8b?

LongCite llama3.1 8b ist auf Anfrage verfügbar: über den gemeinsamen EU-Router nach kurzer Abstimmung oder als dediziertes GPU-Deployment, das pro Minute abgerechnet wird. Nennen Sie uns Ihren Anwendungsfall, dann richten wir es für Sie ein.

Ist die API OpenAI-kompatibel?

Ja. Sie verwenden die Standard-OpenAI-SDKs mit einer angepassten Base-URL (https://hostyourai.com/api/v1). Auch die Anthropic Messages API wird als Drop-in unterstützt.

Weitere Modelle von Z.AI

Die Plattform

Eine Plattform, vier Ebenen

Starten Sie mit einer Ebene und ergänzen Sie die anderen, wenn die Arbeit es verlangt. Alle teilen sich einen Key, ein Guthaben und eine Activity-Ansicht.

Code

Ihr Coding-Agent auf offenen Modellen in Europa, eingerichtet mit einem Befehl.

Öffnen

Control

Schlüssel, Budgets und Guardrails pro Team, und personenbezogene Daten gestoppt, bevor ein Modell sie sieht.

Öffnen

Serve

Gemeinsam genutzt pro Token oder nur für Sie, aus europäischen Rechenzentren.

Öffnen

EU compute

Private GPUs in Europa, von H100 bis B300, ausgelegt auf Antwortzeit, Generierungsgeschwindigkeit und gleichzeitige Nutzer.

Öffnen

Testen Sie LongCite llama3.1 8b kostenlos

Die Kontoerstellung dauert eine Minute. Testen Sie LongCite llama3.1 8b direkt im Playground.

  • Jantine
  • Hans
  • Sander
  • Jos
  • Daan
  • Kyra
  • Margriet
  • Stan
Das Team hinter HostYourAI