Model garden Router · op aanvraag Dedicated · op aanvraag

CodeLlama 7b hf

Dit model draait als dedicated deployment op grote GPU's en staat niet standaard in de gedeelde playground. Neem contact op, dan zetten we het voor je klaar.

CodeLlama 7b hf is een open-source taalmodel van Meta met 6.7B parameters, gehost op Europese GPU's via een OpenAI-compatibele API.

meta-llama/CodeLlama-7b-hf Op aanvraag
text->text · meta-llama · EU-hosted
6.7B
Parameters
Contextvenster
24GB
Minimale VRAM
POST /api/v1/chat/completions Op aanvraag

Specificaties

Parameters 6.7B
Minimale VRAM 24 GB
Architectuur LlamaForCausalLM (vLLM)
Licentie llama2
Modaliteit text->text
Uitgebracht March 2024
Uitgever meta-llama ↗

Prijzen

Gedeelde router · per token
Op aanvraag
Niet beschikbaar op de gedeelde router. Prijs op aanvraag als dedicated GPU-deployment.
Dedicated GPU · per uur
Op aanvraag
Dedicated deployment, vanaf 24 GB VRAM. Afgerekend per GPU-uur.

Gedeelde EU-router, pay-per-token, scale-to-zero. Dedicated GPU-deployments worden per uur afgerekend, zie prijzen.

Direct aanroepen

Drop-in vervanger voor OpenAI: wijzig alleen de base-URL en de API-key. Ook het Anthropic-formaat (/v1/messages) wordt ondersteund.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/CodeLlama-7b-hf",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Veelgestelde vragen

Kan ik CodeLlama 7b hf in de EU draaien?

Ja. HostYourAI draait CodeLlama 7b hf op GPU's in Europese datacenters via vLLM. Prompts en outputs verlaten de EU niet en er is geen Amerikaanse cloudprovider in de keten.

Is CodeLlama 7b hf hosten AVG/GDPR-compliant?

Ja. Alle verwerking vindt plaats binnen de EU, er is een verwerkersovereenkomst (DPA) beschikbaar en de subprocessor-lijst is openbaar. Open-source gewichten betekenen ook: geen training op jouw data.

Wat kost CodeLlama 7b hf?

Via de gedeelde EU-router betaal je €0.05 per miljoen input-tokens en €0.12 per miljoen output-tokens, zonder vaste kosten. Voor hoge volumes of isolatie kun je CodeLlama 7b hf ook als dedicated GPU-instance per uur draaien.

Is de API compatibel met OpenAI?

Ja. Je gebruikt de standaard OpenAI-SDK's met een aangepaste base-URL (https://hostyourai.com/api/v1). Ook de Anthropic Messages API wordt ondersteund als drop-in.

Andere modellen van Meta

Vraag toegang aan

CodeLlama 7b hf is nog niet standaard beschikbaar. Laat je gegevens achter, dan regelen we een dedicated deployment.

Vraag toegang aan