Model garden Router · auf Anfrage Dedicated · verfügbar

Infinity Instruct 7M Gen Llama3 1 70B

Läuft als eigenes dediziertes GPU-Deployment, direkt über den Wizard startbar. Daten bleiben in Europa.

Infinity-Instruct-7M-Gen-Llama3.1-70B is an opensource supervised instruction tuning model without reinforcement learning from human feedback (RLHF). This model is just finetuned on Infinity-Instruct-7M and Infinity-Instruct-Gen and showing favorable results on AlpacaEval 2.0 and...

BAAI/Infinity-Instruct-7M-Gen-Llama3_1-70B Auf Anfrage
text->text · BAAI · sovereign EU
Runs on EU infrastructure operated by European companies; US marketplace capacity is never part of this chain. Full chain
71B
Parameter
8K
Kontextfenster
170GB
Minimaler VRAM
POST /api/v1/chat/completions Auf Anfrage

Spezifikationen

Parameter 71B
Kontextfenster 8,192 tokens
Minimaler VRAM 170 GB
Architektur LlamaForCausalLM (vLLM)
Lizenz llama3.1
Modalität text->text
Veröffentlicht July 2024
Anbieter BAAI ↗

Preise

Gemeinsamer Router · pro Token
Auf Anfrage
Nicht über den gemeinsamen Router verfügbar. Preis auf Anfrage als dediziertes GPU-Deployment.
Dediziertes GPU · pro Stunde
ab €3,91 pro Stunde
Eigene vLLM-Instanz in europäischer Cloud (170 GB VRAM), stundenweise abgerechnet.

Gemeinsamer EU-Router, Pay-per-Token, Scale-to-Zero. Dedizierte GPU-Deployments werden stundenweise abgerechnet, siehe Preise.

Direkt aufrufen

Drop-in-Ersatz für OpenAI: Ändern Sie nur die Base-URL und den API-Key. Auch das Anthropic-Format (/v1/messages) wird unterstützt.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "BAAI/Infinity-Instruct-7M-Gen-Llama3_1-70B",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Häufig gestellte Fragen

Kann ich Infinity Instruct 7M Gen Llama3 1 70B in der EU betreiben?

Ja. HostYourAI betreibt Infinity Instruct 7M Gen Llama3 1 70B auf GPUs in europäischen Rechenzentren über vLLM. Prompts und Outputs verlassen die EU nicht und es ist kein US-Cloud-Anbieter in der Kette.

Ist das Hosting von Infinity Instruct 7M Gen Llama3 1 70B DSGVO-konform?

Ja. Die gesamte Verarbeitung findet innerhalb der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Liste der Subprozessoren ist öffentlich. Open-Source-Gewichte bedeuten außerdem: kein Training mit Ihren Daten.

Was kostet Infinity Instruct 7M Gen Llama3 1 70B?

Infinity Instruct 7M Gen Llama3 1 70B braucht mehrere GPUs gleichzeitig und läuft deshalb als dediziertes Deployment, das nach GPU-Stunden abgerechnet wird, nicht pro Token. Nennen Sie uns Ihr Volumen, dann rechnen wir es für Sie durch.

Ist die API OpenAI-kompatibel?

Ja. Sie verwenden die Standard-OpenAI-SDKs mit einer angepassten Base-URL (https://hostyourai.com/api/v1). Auch die Anthropic Messages API wird als Drop-in unterstützt.

Weitere Modelle von BAAI

Testen Sie Infinity Instruct 7M Gen Llama3 1 70B kostenlos

Die Kontoerstellung dauert eine Minute. Testen Sie Infinity Instruct 7M Gen Llama3 1 70B direkt im Playground.

Kostenlos starten