Ir al contenido

GPU e infraestructura 04 EU compute

Alojamiento vLLM en Europa

Inferencia LLM de alto rendimiento con vLLM en centros de datos europeos.

  • GLM
  • DeepSeek
  • Qwen
  • Kimi
  • Mistral
  • Llama
  • gpt-oss
  • Gemma
  • Loes
  • Nemotron
  • Claude Code
  • Codex
  • OpenCode
  • Cursor
  • Cline
  • Loes
  • OpenAI SDK
  • Anthropic SDK

Qué hace GPU e infraestructura

Por qué alojar vLLM en la UE

Pida a dos equipos que sirvan el mismo modelo abierto en la misma GPU y puede obtener un throughput muy distinto. La diferencia suele estar en el motor de servicio. HostYourAI ejecuta todos los modelos, compartidos o dedicados, en vLLM: el motor de código abierto que se ha convertido en el estándar de facto para la inferencia de LLM en producción.

Obtiene la eficiencia de vLLM sin tener que operarlo usted mismo, sobre GPU en centros de datos europeos y detrás de un endpoint compatible con OpenAI. Los prompts permanecen dentro de la UE, hay un DPA disponible y nada de lo que envíe se usa jamás para entrenar.

Leer más

01

Servir con eficiencia también es una decisión de protección de datos

Cuantas más solicitudes pueda atender una sola GPU ubicada en la UE, menos presión hay para desviar tráfico a la nube que resulte más barata esa semana. Un motor eficiente sobre hardware europeo mantiene todo el recorrido, red, GPU y registros, bajo una jurisdicción favorable al RGPD.

02

El streaming se siente rápido cuando el servidor está cerca

vLLM envía los tokens por SSE, y el streaming hace visible la distancia: cada fragmento cruza la red. Atender a usuarios europeos desde varias regiones europeas mantiene corto ese recorrido.

03

Operar bien vLLM es un trabajo de verdad

Actualizaciones de versión, compatibilidad con CUDA, ajuste de memoria, sondas de salud: autoalojar vLLM significa encargarse de todo ello. Aquí ese trabajo lo hacemos nosotros, con un SLA de disponibilidad del 99,9 %, y si prefiere entender primero la vía de gestión propia, lea Despliegue su propio LLM con vLLM.

02 GPU e infraestructura

El motor de servicio importa más que las especificaciones brutas de la GPU

La ficha técnica de una GPU dice muy poco sobre los tokens por segundo con tráfico real. Dos mecanismos de vLLM hacen el trabajo pesado. El batching continuo significa que el motor no espera a que termine un lote para admitir nuevas solicitudes; en cuanto se completa una secuencia, entra la siguiente, de modo que la GPU rara vez queda inactiva entre solicitudes. PagedAttention gestiona la caché de atención como un sistema operativo gestiona la memoria, en páginas pequeñas en lugar de un único bloque contiguo, lo que reduce notablemente la VRAM desperdiciada y permite alojar más secuencias concurrentes en la misma tarjeta. Aquí no hay multiplicadores de velocidad inventados; el efecto práctico es simplemente un mejor aprovechamiento por hora de GPU, ya sea que pague por token en el EU Inference Router o por minuto en instancias GPU dedicadas. Los modelos populares se mantienen activos gracias al pool de modelos activos del Router, y cada instancia dedicada ejecuta vLLM detrás de su propia clave de API cifrada.

Término de vLLMQué significa para usted
Batching continuoLas nuevas solicitudes se incorporan sobre la marcha, menos tiempo de GPU inactiva
PagedAttentionMenos VRAM desperdiciada, más usuarios concurrentes por GPU
Streaming SSELos tokens aparecen a medida que se generan, el chat responde con agilidad
Servidor compatible con OpenAISu SDK y sus herramientas actuales funcionan sin cambios
Pool de modelos activosLos modelos populares del Router responden sin arranque en frío
Clave de API por instanciaSu endpoint dedicado está cifrado y es solo suyo
03 GPU e infraestructura

Cómo empezar

Elija un modelo del catálogo de modelos y llámelo con el SDK estándar de OpenAI. El streaming funciona de serie.

python
from openai import OpenAI

client = OpenAI(
    base_url="https://hostyourai.com/api/v1",
    api_key="hyai-...",
)

stream = client.chat.completions.create(
    model="gemma-3-12b",
    messages=[{"role": "user", "content": "Explica PagedAttention en un párrafo."}],
    stream=True,
)
for chunk in stream:
    print(chunk.choices[0].delta.content or "", end="")

04 GPU e infraestructura

Preguntas sobre el alojamiento vLLM

01

¿Tengo que configurar vLLM yo mismo?

No. En el Router compartido está totalmente gestionado, y las instancias dedicadas arrancan con vLLM configurado para el modelo elegido, incluida una comprobación del mínimo de VRAM para que la GPU nunca sea demasiado pequeña.

02

¿Es el endpoint realmente compatible con OpenAI?

Sí, /v1/chat/completions con streaming SSE, y además hay una capa de compatibilidad estilo Anthropic en /v1/messages con autenticación x-api-key, para uso solo de texto y con streaming en búfer.

03

¿Qué es un arranque en frío y me afectará?

Cargar los pesos del modelo en una GPU lleva tiempo. Los modelos populares del Router se mantienen activos en un pool, y el catálogo muestra el estado de cada modelo: activo, en calentamiento, servible o bajo petición.

04

¿Puede vLLM servir mi modelo con ajuste fino?

Sí, en una instancia dedicada. vLLM carga variantes de pesos abiertos, así que un ajuste fino de Llama, Qwen o Mistral se sirve igual que el modelo base.

05

¿Cómo está protegida mi instancia dedicada?

Cada instancia tiene su propia clave de API cifrada, el tráfico va por TLS y los datos en reposo se cifran con AES-256. Las instancias se facturan por minuto hasta que las elimina.

06

¿Cuánto cuesta?

Pago por uso desde un único saldo de crédito prepagado: por token en el Router, por minuto para la capacidad dedicada. Los detalles están en la página de precios.

Todo lo que necesita para la IA

Del alojamiento de modelos a una API de cara al cliente, está pensado para desarrolladores y empresas que quieren que su IA funcione en una infraestructura que realmente controlan, dentro de la UE.

Alojado en la UE

100%

Sus datos y sus modelos permanecen en GPU europeas. Diseñado para cumplir el RGPD.

Modelos verificados, listos para servir

700+

Llama, Qwen, DeepSeek, Mistral, FLUX y muchos más. Elija uno y estará listo en minutos, sin DevOps por su parte.

Compatible con OpenAI y Anthropic

2 SDK

Apunte su cliente actual al Router y conserve sus herramientas. Sin reescribir nada, sin dependencia.

De cero a un endpoint listo en minutos

Sin infraestructura que gestionar. Elija un modelo, obtenga una URL compatible con OpenAI y lance.

01

Elija un modelo

Elija en el Model Garden o pegue cualquier ID de HuggingFace. Defina la VRAM y elija una GPU europea.

02

Obtenga su endpoint

Desplegamos vLLM, ejecutamos las comprobaciones de disponibilidad y le entregamos una URL lista, compatible con OpenAI y Anthropic, además de una clave de API.

03

Enrute y lance

Apunte su cliente al Router. Enruta automáticamente a una instancia arrancada y registra cada solicitud.

Creado para equipos que no pueden enviar sus datos fuera

Si una nube estadounidense no es una opción, HostYourAI le ofrece la misma experiencia de desarrollo en infraestructura europea.

01

Sector público y administraciones

Datos de ciudadanos que legalmente deben permanecer en la UE, con plena capacidad de auditoría.

02

Empresas reguladas

Equipos de finanzas, sanidad y legal sujetos al RGPD, DORA y la AI Act.

03

SaaS y scale-ups europeos

Lance funciones de IA en las que sus clientes confíen, sin un subencargado estadounidense.

04

Agencias e integradores

Ofrezca IA privada a sus clientes en una infraestructura que pueda respaldar.

Privado por defecto

HostYourAI mantiene sus modelos, prompts y datos en GPU europeas. Está pensado para equipos que se preocupan por el cumplimiento normativo, la fiabilidad y un control real.

  • Alojado en la UE
  • Compatible con el RGPD
  • Compatible con OpenAI
  • Con vLLM
  • Sin dependencia

Soberanía total de los datos

UE

Las GPU y los datos se quedan en Europa, y sus prompts también.

Modelos que puede auditar

Abierto

Ejecute modelos open-weight y vea exactamente qué se ejecuta.

Sin cuota mensual

0 €

Crédito prepago por token o por minuto, así solo paga lo que usa.

Sus claves, sus modelos

Suyo

Sus claves, sus modelos y sus datos. Cambie cuando quiera.

Preguntas

Preguntas frecuentes

¿Puedo usarlo en la UE?

Sí. HostYourAI ejecuta modelos abiertos con vLLM en GPU de centros de datos europeos. Sus prompts y respuestas se quedan en la UE.

¿Cumple con el RGPD?

Sí. Todo el procesamiento ocurre dentro de la UE, hay un acuerdo de tratamiento de datos (DPA) disponible y la lista de subencargados es pública. Los pesos abiertos también garantizan que sus datos nunca se usan para entrenar.

¿La API es compatible con OpenAI?

Sí. Apunte su cliente de OpenAI o Anthropic actual a nuestro Router (https://hostyourai.com/api/v1) y cambie solo la URL base y la clave de API. Su código se queda como está.

¿Cuánto cuesta?

Pago por uso desde un único saldo de crédito prepago: el Router compartido por token o una GPU dedicada facturada por minuto. Gratis para empezar, sin mínimo y sin cuota mensual fija.

Model garden

Funciona con más de 700 modelos abiertos

Modelos de texto e imagen en GPU europeas dedicadas. Cada modelo se prueba en nuestro propio hardware.

Explorar todos los modelos

La plataforma

Una plataforma, cuatro capas

Empiece con una capa y añada las demás cuando el trabajo lo pida. Comparten una clave, un saldo y una vista de Activity.

Code

Su agente de programación con modelos abiertos en Europa, configurado con un solo comando.

Abrir

Control

Claves, presupuestos y barreras por equipo, y datos personales detenidos antes de que un modelo los vea.

Abrir

Serve

Compartidos por token, o solo para usted, desde centros de datos europeos.

Abrir

EU compute

GPU privadas en Europa, de H100 a B300, dimensionadas según el tiempo de respuesta, la velocidad de generación y los usuarios simultáneos.

Abrir

Páginas relacionadas

Descubra más sobre la IA alojada en la UE con HostYourAI.

Alojamiento de Codestral 22B en Europa

Aloje Codestral 22B en 1x RTX PRO 6000 (96 GB) dedicada en centros de datos europeos. Conforme al RGPD, desde €2,21/hora, API compatible con OpenAI.

Leer más

IA para el sector jurídico

IA para abogados y equipos jurídicos en GPUs europeas. Los documentos confidenciales permanecen en la UE, con modelos abiertos y acuerdo de encargo del tratamiento.

Leer más

Alojamiento de Mixtral 8x22B en Europa

Aloje Mixtral 8x22B en 1x RTX PRO 6000 (96 GB) dedicada en centros de datos europeos. Conforme al RGPD, desde €2,21/hora, API compatible con OpenAI.

Leer más

La infraestructura de IA de Europa.
Construya con nosotros.

Empiece hoy con una sola clave. Añada GPU dedicadas cuando su carga lo necesite.

  • Jantine
  • Hans
  • Sander
  • Jos
  • Daan
  • Kyra
  • Margriet
  • Stan
El equipo detrás de HostYourAI