Dit model draait als eigen dedicated GPU-deployment, direct te starten via de wizard. Data blijft in Europa.
ChatGLM-6B-INT4-QE 是 ChatGLM-6B 量化后的模型权重。具体的,ChatGLM-6B-INT4-QE 对 ChatGLM-6B 中的 28 个 GLM Block 、 Embedding 和 LM Head 进行了 INT4 量化。量化后的模型权重文件仅为 3G ,理论上 6G 显存(使用 CPU 即 6G 内存)即可推理,具有在嵌入式设备(如树莓派)上运行的可能。
Gedeelde EU-router, pay-per-token, scale-to-zero. Dedicated GPU-deployments worden per uur afgerekend, zie prijzen.
Drop-in vervanger voor OpenAI: wijzig alleen de base-URL en de API-key. Ook het Anthropic-formaat (/v1/messages) wordt ondersteund.
curl https://hostyourai.com/api/v1/embeddings \
-H "Authorization: Bearer hyai-..." \
-H "Content-Type: application/json" \
-d '{
"model": "zai-org/chatglm-6b-int4-qe",
"input": "The quick brown fox"
}'
Ja. HostYourAI draait chatglm 6b int4 qe op GPU's in Europese datacenters via vLLM. Prompts en outputs verlaten de EU niet en er is geen Amerikaanse cloudprovider in de keten.
Ja. Alle verwerking vindt plaats binnen de EU, er is een verwerkersovereenkomst (DPA) beschikbaar en de subprocessor-lijst is openbaar. Open-source gewichten betekenen ook: geen training op jouw data.
chatglm 6b int4 qe heeft meerdere GPU's tegelijk nodig en draait daarom als dedicated deployment. Je betaalt dan per GPU-uur en niet per token. Vertel ons je volume, dan rekenen we het voor je door.
Ja. Je gebruikt de standaard OpenAI-SDK's met een aangepaste base-URL (https://hostyourai.com/api/v1). Ook de Anthropic Messages API wordt ondersteund als drop-in.
Account aanmaken duurt een minuut. Je API-key werkt direct met chatglm 6b int4 qe.
Start gratis