Model garden Router · auf Anfrage Dedicated · verfügbar

Llama 2 13b hf

Läuft als eigenes dediziertes GPU-Deployment, direkt über den Wizard startbar. Daten bleiben in Europa.

Llama 2 13b hf ist ein quelloffenes Sprachmodell von Meta mit 13B Parametern, gehostet auf europäischen GPUs über eine OpenAI-kompatible API.

meta-llama/Llama-2-13b-hf Auf Anfrage
text->text · meta-llama · sovereign EU
Runs on EU infrastructure operated by European companies; US marketplace capacity is never part of this chain. Full chain
13B
Parameter
Kontextfenster
32GB
Minimaler VRAM
POST /api/v1/chat/completions Auf Anfrage

Spezifikationen

Parameter 13B
Minimaler VRAM 32 GB
Architektur LlamaForCausalLM (vLLM)
Lizenz llama2
Modalität text->text
Veröffentlicht July 2023
Anbieter meta-llama ↗

Preise

Gemeinsamer Router · pro Token
Auf Anfrage
Nicht über den gemeinsamen Router verfügbar. Preis auf Anfrage als dediziertes GPU-Deployment.
Dediziertes GPU · pro Stunde
ab €1,68 pro Stunde
Eigene vLLM-Instanz in europäischer Cloud (32 GB VRAM), stundenweise abgerechnet.

Gemeinsamer EU-Router, Pay-per-Token, Scale-to-Zero. Dedizierte GPU-Deployments werden stundenweise abgerechnet, siehe Preise.

Direkt aufrufen

Drop-in-Ersatz für OpenAI: Ändern Sie nur die Base-URL und den API-Key. Auch das Anthropic-Format (/v1/messages) wird unterstützt.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-2-13b-hf",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Häufig gestellte Fragen

Kann ich Llama 2 13b hf in der EU betreiben?

Ja. HostYourAI betreibt Llama 2 13b hf auf GPUs in europäischen Rechenzentren über vLLM. Prompts und Outputs verlassen die EU nicht und es ist kein US-Cloud-Anbieter in der Kette.

Ist das Hosting von Llama 2 13b hf DSGVO-konform?

Ja. Die gesamte Verarbeitung findet innerhalb der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Liste der Subprozessoren ist öffentlich. Open-Source-Gewichte bedeuten außerdem: kein Training mit Ihren Daten.

Was kostet Llama 2 13b hf?

Llama 2 13b hf ist auf Anfrage verfügbar: über den gemeinsamen EU-Router nach kurzer Abstimmung oder als dediziertes GPU-Deployment, das pro Stunde abgerechnet wird. Nennen Sie uns Ihren Anwendungsfall, dann richten wir es für Sie ein.

Ist die API OpenAI-kompatibel?

Ja. Sie verwenden die Standard-OpenAI-SDKs mit einer angepassten Base-URL (https://hostyourai.com/api/v1). Auch die Anthropic Messages API wird als Drop-in unterstützt.

Weitere Modelle von Meta

Testen Sie Llama 2 13b hf kostenlos

Die Kontoerstellung dauert eine Minute. Testen Sie Llama 2 13b hf direkt im Playground.

Kostenlos starten