Ir al contenido
03 Model garden Serve

LongCite llama3.1 8b

Se ejecuta como su propio despliegue de GPU dedicada, listo para lanzar desde el asistente. Los datos permanecen en Europa.

curl
$ curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "zai-org/LongCite-llama3.1-8b",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

Llámelo ahora

Sustituto directo de OpenAI: cambie solo la URL base y la clave de API. También se admite el formato de Anthropic (/v1/messages).

Serve Model garden Bajo petición
zai-org/LongCite-llama3.1-8b

text->text · zai-org · soberano en la UE

Funciona en infraestructura de la UE operada por empresas europeas, desde su solicitud hasta la GPU. Ver la cadena completa

LongCite-llama3.1-8b is trained based on Meta-Llama-3.1-8B, and is capable of generating fine-grained citations in long-context question answering. The model supports a maximum context window of up to 128K tokens.

Router
Router · bajo petición
Dedicated
Dedicado · disponible
8BParámetros
131KVentana de contexto
24GBVRAM mínima
POST /api/v1/chat/completions Bajo petición

Especificaciones

Parámetros8B
Ventana de contexto131,072 tokens
VRAM mínima24 GB
ArquitecturaLlamaForCausalLM (vLLM)
Modalidadtext->text
LanzamientoSeptember 2024
Editorzai-org ↗

Precios

Router compartido · por token

Bajo petición No disponible en el Router compartido. Precio bajo petición como despliegue de GPU dedicada.

GPU dedicada · por hora

desde 2,03 € por horaSu propia instancia de vLLM en una nube europea (24 GB de VRAM), facturada por minuto.

Router europeo compartido, solo paga por token. Los despliegues de GPU dedicada se facturan por minuto, consulte precios.

Preguntas

Preguntas frecuentes

¿Puedo ejecutar LongCite llama3.1 8b en la UE?

Sí. HostYourAI ejecuta LongCite llama3.1 8b en GPU de centros de datos europeos mediante vLLM. Los prompts y las respuestas nunca salen de la UE y en la cadena no interviene ningún proveedor de nube estadounidense.

¿El alojamiento de LongCite llama3.1 8b cumple el RGPD?

Sí. Todo el tratamiento se realiza dentro de la UE, hay disponible un acuerdo de encargo del tratamiento (DPA) y la lista de subencargados es pública. Además, los pesos de código abierto significan que no se entrena con sus datos.

¿Cuánto cuesta LongCite llama3.1 8b?

LongCite llama3.1 8b está disponible bajo petición: a través del Router europeo compartido tras una breve conversación, o como despliegue de GPU dedicada propio facturado por minuto. Cuéntenos su caso de uso y lo configuraremos para usted.

¿La API es compatible con OpenAI?

Sí. Usted utiliza los SDK estándar de OpenAI con una URL base personalizada (https://hostyourai.com/api/v1). La API Anthropic Messages también se admite como sustituto directo.

Más modelos de Z.AI

La plataforma

Una plataforma, cuatro capas

Empiece con una capa y añada las demás cuando el trabajo lo pida. Comparten una clave, un saldo y una vista Activity.

Code

Su agente de programación con modelos abiertos en Europa, configurado con un solo comando.

Abrir

Control

Claves, presupuestos y barreras por equipo, y datos personales detenidos antes de que un modelo los vea.

Abrir

Serve

Compartidos por token, o solo para usted, desde centros de datos europeos.

Abrir

EU compute

GPU privadas en Europa, de H100 a B300, dimensionadas según el tiempo de respuesta, la velocidad de generación y los usuarios simultáneos.

Abrir

Pruebe LongCite llama3.1 8b gratis

Crear una cuenta lleva un minuto. Pruebe LongCite llama3.1 8b de inmediato en el Playground.

  • Jantine
  • Hans
  • Sander
  • Jos
  • Daan
  • Kyra
  • Margriet
  • Stan
El equipo detrás de HostYourAI