Model garden Auf Anfrage

ALIA 40b

Dieses Modell läuft als dediziertes Deployment auf großen GPUs und ist nicht standardmäßig im gemeinsamen Playground verfügbar. Kontaktieren Sie uns, wir richten es für Sie ein.

[!WARNING] WARNING: This is a base language model that has not undergone instruction tuning or alignment with human preferences. As a result, it may generate outputs that are inappropriate, misleading, biased, or unsafe. These risks can be mitigated through additional post-traini...

BSC-LT/ALIA-40b Auf Anfrage
text->text · BSC-LT · EU-hosted
40B
Parameter
33K
Kontextfenster
160GB
Minimaler VRAM
POST /api/v1/chat/completions Auf Anfrage

Spezifikationen

Parameter 40B
Kontextfenster 32,768 tokens
Minimaler VRAM 160 GB
Architektur LlamaForCausalLM (vLLM)
Lizenz apache-2.0
Modalität text->text
Veröffentlicht December 2024
Anbieter BSC-LT ↗

Preise

Auf Anfrage
Dediziertes Deployment, ab 160 GB VRAM. Abrechnung nach GPU-Stunden.

Gemeinsamer EU-Router, Pay-per-Token, Scale-to-Zero. Dedizierte GPU-Deployments werden stundenweise abgerechnet, siehe Preise.

Nicht über den gemeinsamen Router verfügbar. Preis auf Anfrage als dediziertes GPU-Deployment.

Direkt aufrufen

Drop-in-Ersatz für OpenAI: Ändern Sie nur die Base-URL und den API-Key. Auch das Anthropic-Format (/v1/messages) wird unterstützt.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "BSC-LT/ALIA-40b",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Häufig gestellte Fragen

Kann ich ALIA 40b in der EU betreiben?

Ja. HostYourAI betreibt ALIA 40b auf GPUs in europäischen Rechenzentren über vLLM. Prompts und Outputs verlassen die EU nicht und es ist kein US-Cloud-Anbieter in der Kette.

Ist das Hosting von ALIA 40b DSGVO-konform?

Ja. Die gesamte Verarbeitung findet innerhalb der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Liste der Subprozessoren ist öffentlich. Open-Source-Gewichte bedeuten außerdem: kein Training mit Ihren Daten.

Was kostet ALIA 40b?

ALIA 40b braucht mehrere GPUs gleichzeitig und läuft deshalb als dediziertes Deployment, das nach GPU-Stunden abgerechnet wird, nicht pro Token. Nennen Sie uns Ihr Volumen, dann rechnen wir es für Sie durch.

Ist die API OpenAI-kompatibel?

Ja. Sie verwenden die Standard-OpenAI-SDKs mit einer angepassten Base-URL (https://hostyourai.com/api/v1). Auch die Anthropic Messages API wird als Drop-in unterstützt.

Weitere Modelle von BSC-LT

salamandra 7b instruct 2606

[!NOTE] WARNING: Although this model has undergone safety and value alignment, it may still occasionally generate unintended or undesired outputs. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

7.8B 164K Kontext Modell ansehen →
ALIA 40b instruct 2606

[!NOTE] WARNING: Although this model has undergone safety and value alignment, it may still occasionally generate unintended or undesired outputs. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

40B 164K Kontext Modell ansehen →
ALIA 40b fc 2606

[!NOTE] WARNING: This model has been trained on instructions but has not undergone safety or value alignment. Work In Progress: New versions will be released over the coming months.

40B 164K Kontext Modell ansehen →
ALIA 40b fc 2605

[!NOTE] WARNING: This model has been trained on instructions but has not undergone safety or value alignment. Work In Progress: New versions will be released over the coming months.

40B 164K Kontext Modell ansehen →
ALIA 40b instruct 2605

[!NOTE] WARNING: This model has been trained on instructions but has not undergone safety or value alignment. Work In Progress New versions will be available during the coming weeks/months. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

40B 164K Kontext Modell ansehen →
ALIA 40b instruct 2601

[!NOTE] WARNING: Although this model has undergone safety and value alignment, it may still occasionally generate unintended or undesired outputs. Work In Progress New versions will be available during the coming weeks/months. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

40B 164K Kontext Modell ansehen →

Zugang anfragen

ALIA 40b ist noch nicht standardmäßig verfügbar. Hinterlassen Sie Ihre Kontaktdaten, wir kümmern uns um ein dediziertes Deployment.

Zugang anfragen