Naar de inhoud
03 Model garden Serve

LongCite llama3.1 8b

Dit model draait als eigen dedicated GPU-deployment, direct te starten via de wizard. Data blijft in Europa.

curl
$ curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "zai-org/LongCite-llama3.1-8b",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Direct aanroepen

Drop-in vervanger voor OpenAI: wijzig alleen de base-URL en de API-key. Ook het Anthropic-formaat (/v1/messages) wordt ondersteund.

Serve Model garden Op aanvraag
zai-org/LongCite-llama3.1-8b

text->text · zai-org · soeverein in de EU

Draait op EU-infrastructuur van Europese bedrijven, van je verzoek tot aan de GPU. Bekijk de volledige keten

LongCite-llama3.1-8b is trained based on Meta-Llama-3.1-8B, and is capable of generating fine-grained citations in long-context question answering. The model supports a maximum context window of up to 128K tokens.

Router
Router · op aanvraag
Dedicated
Dedicated · beschikbaar
8BParameters
131KContextvenster
24GBMinimale VRAM
POST /api/v1/chat/completions Op aanvraag

Specificaties

Parameters8B
Contextvenster131,072 tokens
Minimale VRAM24 GB
ArchitectuurLlamaForCausalLM (vLLM)
Modaliteittext->text
UitgebrachtSeptember 2024
Uitgeverzai-org ↗

Prijzen

Gedeelde router · per token

Op aanvraag Niet beschikbaar op de gedeelde router. Prijs op aanvraag als dedicated GPU-deployment.

Dedicated GPU · per uur

vanaf €2,03 per uurEigen vLLM-instance op Europese cloud (24 GB VRAM), per minuut afgerekend.

Gedeelde EU-router, je betaalt alleen per token. Dedicated GPU-deployments worden per minuut afgerekend, zie prijzen.

Vragen

Veelgestelde vragen

Kan ik LongCite llama3.1 8b in de EU draaien?

Ja. HostYourAI draait LongCite llama3.1 8b op GPU's in Europese datacenters via vLLM. Prompts en outputs verlaten de EU niet en er is geen Amerikaanse cloudprovider in de keten.

Is LongCite llama3.1 8b hosten AVG/GDPR-compliant?

Ja. Alle verwerking vindt plaats binnen de EU, er is een verwerkersovereenkomst (DPA) beschikbaar en de subprocessor-lijst is openbaar. Open-source gewichten betekenen ook: geen training op jouw data.

Wat kost LongCite llama3.1 8b?

LongCite llama3.1 8b is beschikbaar op aanvraag: via de gedeelde EU-router na kort overleg, of als eigen dedicated GPU-deployment, per minuut afgerekend. Vertel ons je use case, dan zetten we het voor je klaar.

Is de API compatibel met OpenAI?

Ja. Je gebruikt de standaard OpenAI-SDK's met een aangepaste base-URL (https://hostyourai.com/api/v1). Ook de Anthropic Messages API wordt ondersteund als drop-in.

Andere modellen van Z.AI

Het platform

Eén platform, vier lagen

Begin met één laag en voeg de andere toe als het werk erom vraagt. Ze delen één key, één saldo en één Activity-overzicht.

Code

Je coding agent op open modellen in Europa, ingericht met één commando.

Bekijk

Control

Sleutels, budgetten en guardrails per team, en persoonsgegevens tegengehouden voordat een model ze ziet.

Bekijk

Serve

Gedeeld per token, of alleen voor jou, vanuit Europese datacenters.

Bekijk

EU compute

Eigen GPU's in Europa, van H100 tot B300, afgestemd op reactietijd, generatiesnelheid en gelijktijdige gebruikers.

Bekijk

Probeer LongCite llama3.1 8b gratis

Account aanmaken duurt een minuut. Test LongCite llama3.1 8b direct in de playground.

  • Jantine
  • Hans
  • Sander
  • Jos
  • Daan
  • Kyra
  • Margriet
  • Stan
Het team achter HostYourAI