Dieses Modell läuft als dediziertes Deployment auf großen GPUs und ist nicht standardmäßig im gemeinsamen Playground verfügbar. Kontaktieren Sie uns, wir richten es für Sie ein.
Llama 2 70b hf ist ein quelloffenes Sprachmodell von Meta mit 69B Parametern, gehostet auf europäischen GPUs über eine OpenAI-kompatible API.
Gemeinsamer EU-Router, Pay-per-Token, Scale-to-Zero. Dedizierte GPU-Deployments werden stundenweise abgerechnet, siehe Preise.
Nicht über den gemeinsamen Router verfügbar. Preis auf Anfrage als dediziertes GPU-Deployment.
Drop-in-Ersatz für OpenAI: Ändern Sie nur die Base-URL und den API-Key. Auch das Anthropic-Format (/v1/messages) wird unterstützt.
curl https://hostyourai.com/api/v1/chat/completions \
-H "Authorization: Bearer hyai-..." \
-H "Content-Type: application/json" \
-d '{
"model": "meta-llama/Llama-2-70b-hf",
"messages": [{"role": "user", "content": "Hello!"}]
}'Ja. HostYourAI betreibt Llama 2 70b hf auf GPUs in europäischen Rechenzentren über vLLM. Prompts und Outputs verlassen die EU nicht und es ist kein US-Cloud-Anbieter in der Kette.
Ja. Die gesamte Verarbeitung findet innerhalb der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Liste der Subprozessoren ist öffentlich. Open-Source-Gewichte bedeuten außerdem: kein Training mit Ihren Daten.
Llama 2 70b hf braucht mehrere GPUs gleichzeitig und läuft deshalb als dediziertes Deployment, das nach GPU-Stunden abgerechnet wird, nicht pro Token. Nennen Sie uns Ihr Volumen, dann rechnen wir es für Sie durch.
Ja. Sie verwenden die Standard-OpenAI-SDKs mit einer angepassten Base-URL (https://hostyourai.com/api/v1). Auch die Anthropic Messages API wird als Drop-in unterstützt.
Llama 2 70b hf ist noch nicht standardmäßig verfügbar. Hinterlassen Sie Ihre Kontaktdaten, wir kümmern uns um ein dediziertes Deployment.
Zugang anfragen