Model garden Auf Anfrage

Flor 6.3B Instruct 4096

Dieses Modell läuft als dediziertes Deployment auf großen GPUs und ist nicht standardmäßig im gemeinsamen Playground verfügbar. Kontaktieren Sie uns, wir richten es für Sie ein.

--- license: apache-2.0 language: - en - ca - es basemodel: - projecte-aina/FLOR-6.3B pipelinetag: text-generation libraryname: transformers ---

BSC-LT/Flor-6.3B-Instruct-4096 Auf Anfrage
text->text · BSC-LT · EU-hosted
6.2B
Parameter
Kontextfenster
16GB
Minimaler VRAM
POST /api/v1/chat/completions Auf Anfrage

Spezifikationen

Parameter 6.2B
Minimaler VRAM 16 GB
Architektur BloomForCausalLM (vLLM)
Lizenz apache-2.0
Modalität text->text
Veröffentlicht September 2024
Anbieter BSC-LT ↗

Preise

€0.03
Input (pro 1M Tokens)
€0.08
Output (pro 1M Tokens)

Gemeinsamer EU-Router, Pay-per-Token, Scale-to-Zero. Dedizierte GPU-Deployments werden stundenweise abgerechnet, siehe Preise.

Nicht über den gemeinsamen Router verfügbar. Preis auf Anfrage als dediziertes GPU-Deployment.

Direkt aufrufen

Drop-in-Ersatz für OpenAI: Ändern Sie nur die Base-URL und den API-Key. Auch das Anthropic-Format (/v1/messages) wird unterstützt.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "BSC-LT/Flor-6.3B-Instruct-4096",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Häufig gestellte Fragen

Kann ich Flor 6.3B Instruct 4096 in der EU betreiben?

Ja. HostYourAI betreibt Flor 6.3B Instruct 4096 auf GPUs in europäischen Rechenzentren über vLLM. Prompts und Outputs verlassen die EU nicht und es ist kein US-Cloud-Anbieter in der Kette.

Ist das Hosting von Flor 6.3B Instruct 4096 DSGVO-konform?

Ja. Die gesamte Verarbeitung findet innerhalb der EU statt, ein Auftragsverarbeitungsvertrag (AVV) ist verfügbar und die Liste der Subprozessoren ist öffentlich. Open-Source-Gewichte bedeuten außerdem: kein Training mit Ihren Daten.

Was kostet Flor 6.3B Instruct 4096?

Über den gemeinsamen EU-Router zahlen Sie €0.03 pro Million Input-Tokens und €0.08 pro Million Output-Tokens, ohne Fixkosten. Für hohe Volumen oder Isolation können Sie Flor 6.3B Instruct 4096 auch als dedizierte GPU-Instanz stundenweise betreiben.

Ist die API OpenAI-kompatibel?

Ja. Sie verwenden die Standard-OpenAI-SDKs mit einer angepassten Base-URL (https://hostyourai.com/api/v1). Auch die Anthropic Messages API wird als Drop-in unterstützt.

Weitere Modelle von BSC-LT

salamandra 7b instruct 2606

[!NOTE] WARNING: Although this model has undergone safety and value alignment, it may still occasionally generate unintended or undesired outputs. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

7.8B 164K Kontext Modell ansehen →
ALIA 40b instruct 2606

[!NOTE] WARNING: Although this model has undergone safety and value alignment, it may still occasionally generate unintended or undesired outputs. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

40B 164K Kontext Modell ansehen →
ALIA 40b fc 2606

[!NOTE] WARNING: This model has been trained on instructions but has not undergone safety or value alignment. Work In Progress: New versions will be released over the coming months.

40B 164K Kontext Modell ansehen →
ALIA 40b fc 2605

[!NOTE] WARNING: This model has been trained on instructions but has not undergone safety or value alignment. Work In Progress: New versions will be released over the coming months.

40B 164K Kontext Modell ansehen →
ALIA 40b instruct 2605

[!NOTE] WARNING: This model has been trained on instructions but has not undergone safety or value alignment. Work In Progress New versions will be available during the coming weeks/months. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

40B 164K Kontext Modell ansehen →
ALIA 40b instruct 2601

[!NOTE] WARNING: Although this model has undergone safety and value alignment, it may still occasionally generate unintended or undesired outputs. Work In Progress New versions will be available during the coming weeks/months. Sampling Parameters: For optimal performance, we recommend using temperatures close to zero (0 - 0.2). Additionally, we advise against using any type of repetition penalty, as from our experience, it negatively impacts instructed model's responses.

40B 164K Kontext Modell ansehen →

Zugang anfragen

Flor 6.3B Instruct 4096 ist noch nicht standardmäßig verfügbar. Hinterlassen Sie Ihre Kontaktdaten, wir kümmern uns um ein dediziertes Deployment.

Zugang anfragen