Model garden Op aanvraag

experimental7b rag

Dit model draait als dedicated deployment op grote GPU's en staat niet standaard in de gedeelde playground. Neem contact op, dan zetten we het voor je klaar.

experimental7b rag is een open-source taalmodel van BSC-LT met 7.8B parameters en een contextvenster van 8K tokens, gehost op Europese GPU's via een OpenAI-compatibele API.

BSC-LT/experimental7b-rag Op aanvraag
text->text · BSC-LT · EU-hosted
7.8B
Parameters
8K
Contextvenster
24GB
Minimale VRAM
POST /api/v1/chat/completions Op aanvraag

Specificaties

Parameters 7.8B
Contextvenster 8,192 tokens
Minimale VRAM 24 GB
Architectuur LlamaForCausalLM (vLLM)
Modaliteit text->text
Uitgebracht July 2024
Uitgever BSC-LT ↗

Prijzen

€0.05
Input (per 1M tokens)
€0.12
Output (per 1M tokens)

Gedeelde EU-router, pay-per-token, scale-to-zero. Dedicated GPU-deployments worden per uur afgerekend, zie prijzen.

Niet beschikbaar op de gedeelde router. Prijs op aanvraag als dedicated GPU-deployment.

Direct aanroepen

Drop-in vervanger voor OpenAI: wijzig alleen de base-URL en de API-key. Ook het Anthropic-formaat (/v1/messages) wordt ondersteund.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "BSC-LT/experimental7b-rag",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Veelgestelde vragen

Kan ik experimental7b rag in de EU draaien?

Ja. HostYourAI draait experimental7b rag op GPU's in Europese datacenters via vLLM. Prompts en outputs verlaten de EU niet en er is geen Amerikaanse cloudprovider in de keten.

Is experimental7b rag hosten AVG/GDPR-compliant?

Ja. Alle verwerking vindt plaats binnen de EU, er is een verwerkersovereenkomst (DPA) beschikbaar en de subprocessor-lijst is openbaar. Open-source gewichten betekenen ook: geen training op jouw data.

Wat kost experimental7b rag?

Via de gedeelde EU-router betaal je €0.05 per miljoen input-tokens en €0.12 per miljoen output-tokens, zonder vaste kosten. Voor hoge volumes of isolatie kun je experimental7b rag ook als dedicated GPU-instance per uur draaien.

Is de API compatibel met OpenAI?

Ja. Je gebruikt de standaard OpenAI-SDK's met een aangepaste base-URL (https://hostyourai.com/api/v1). Ook de Anthropic Messages API wordt ondersteund als drop-in.

Andere modellen van BSC-LT

salamandra 7b instruct 2606

[!NOTE] WARNING: Although this model has undergone safety and value alignment, it may still occasionally generate unintended or undesired outputs. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

7.8B 164K context Bekijk model →
ALIA 40b instruct 2606

[!NOTE] WARNING: Although this model has undergone safety and value alignment, it may still occasionally generate unintended or undesired outputs. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

40B 164K context Bekijk model →
ALIA 40b fc 2606

[!NOTE] WARNING: This model has been trained on instructions but has not undergone safety or value alignment. Work In Progress: New versions will be released over the coming months.

40B 164K context Bekijk model →
ALIA 40b fc 2605

[!NOTE] WARNING: This model has been trained on instructions but has not undergone safety or value alignment. Work In Progress: New versions will be released over the coming months.

40B 164K context Bekijk model →
ALIA 40b instruct 2605

[!NOTE] WARNING: This model has been trained on instructions but has not undergone safety or value alignment. Work In Progress New versions will be available during the coming weeks/months. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

40B 164K context Bekijk model →
ALIA 40b instruct 2601

[!NOTE] WARNING: Although this model has undergone safety and value alignment, it may still occasionally generate unintended or undesired outputs. Work In Progress New versions will be available during the coming weeks/months. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

40B 164K context Bekijk model →

Vraag toegang aan

experimental7b rag is nog niet standaard beschikbaar. Laat je gegevens achter, dan regelen we een dedicated deployment.

Vraag toegang aan