Model garden Auf Anfrage

Checkpoint 2b instructed beta

Dieses Modell läuft als dediziertes Deployment auf großen GPUs und ist nicht standardmäßig im gemeinsamen Playground verfügbar. Kontaktieren Sie uns, wir richten es für Sie ein.

2b Version of model Sxxxxxx, without last epoch, instructed with baseline dataset including RAGMultilingual

BSC-LT/Checkpoint_2b_instructed_beta Auf Anfrage
text->text · BSC-LT · EU-hosted
2.3B
Parameter
8K
Kontextfenster
8GB
Minimaler VRAM
POST /api/v1/chat/completions Auf Anfrage

Spezifikationen

Parameter 2.3B
Kontextfenster 8,192 tokens
Minimaler VRAM 8 GB
Architektur LlamaForCausalLM (vLLM)
Lizenz apache-2.0
Modalität text->text
Veröffentlicht August 2024
Anbieter BSC-LT ↗

Preise

€0.02
Input (pro 1M Tokens)
€0.05
Output (pro 1M Tokens)

Gemeinsamer EU-Router, Pay-per-Token, Scale-to-Zero. Dedizierte GPU-Deployments werden stundenweise abgerechnet, siehe Preise.

Nicht über den gemeinsamen Router verfügbar. Preis auf Anfrage als dediziertes GPU-Deployment.

Direkt aufrufen

Drop-in-Ersatz für OpenAI: Ändern Sie nur die Base-URL und den API-Key. Auch das Anthropic-Format (/v1/messages) wird unterstützt.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "BSC-LT/Checkpoint_2b_instructed_beta",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Häufig gestellte Fragen

Kann ich Checkpoint 2b instructed beta in der EU betreiben?

Ja. HostYourAI betreibt Checkpoint 2b instructed beta auf GPUs in europäischen Rechenzentren über vLLM. Prompts und Outputs verlassen die EU nicht und es ist kein US-Cloud-Anbieter in der Kette.

Ist das Hosting von Checkpoint 2b instructed beta DSGVO-konform?

Ja. Die gesamte Verarbeitung findet innerhalb der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Liste der Subprozessoren ist öffentlich. Open-Source-Gewichte bedeuten außerdem: kein Training mit Ihren Daten.

Was kostet Checkpoint 2b instructed beta?

Über den gemeinsamen EU-Router zahlen Sie €0.02 pro Million Input-Tokens und €0.05 pro Million Output-Tokens, ohne Fixkosten. Für hohe Volumen oder Isolation können Sie Checkpoint 2b instructed beta auch als dedizierte GPU-Instanz stundenweise betreiben.

Ist die API OpenAI-kompatibel?

Ja. Sie verwenden die Standard-OpenAI-SDKs mit einer angepassten Base-URL (https://hostyourai.com/api/v1). Auch die Anthropic Messages API wird als Drop-in unterstützt.

Weitere Modelle von BSC-LT

salamandra 7b instruct 2606

[!NOTE] WARNING: Although this model has undergone safety and value alignment, it may still occasionally generate unintended or undesired outputs. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

7.8B 164K Kontext Modell ansehen →
ALIA 40b instruct 2606

[!NOTE] WARNING: Although this model has undergone safety and value alignment, it may still occasionally generate unintended or undesired outputs. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

40B 164K Kontext Modell ansehen →
ALIA 40b fc 2606

[!NOTE] WARNING: This model has been trained on instructions but has not undergone safety or value alignment. Work In Progress: New versions will be released over the coming months.

40B 164K Kontext Modell ansehen →
ALIA 40b fc 2605

[!NOTE] WARNING: This model has been trained on instructions but has not undergone safety or value alignment. Work In Progress: New versions will be released over the coming months.

40B 164K Kontext Modell ansehen →
ALIA 40b instruct 2605

[!NOTE] WARNING: This model has been trained on instructions but has not undergone safety or value alignment. Work In Progress New versions will be available during the coming weeks/months. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

40B 164K Kontext Modell ansehen →
ALIA 40b instruct 2601

[!NOTE] WARNING: Although this model has undergone safety and value alignment, it may still occasionally generate unintended or undesired outputs. Work In Progress New versions will be available during the coming weeks/months. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

40B 164K Kontext Modell ansehen →

Zugang anfragen

Checkpoint 2b instructed beta ist noch nicht standardmäßig verfügbar. Hinterlassen Sie Ihre Kontaktdaten, wir kümmern uns um ein dediziertes Deployment.

Zugang anfragen