RAG bouwen op EU-GPUs

Upload documenten (PDF, TXT, CSV, MD of DOCX) of laat een URL of sitemap crawlen. Je content wordt in stukken van ongeveer 1000 tekens geknipt met 100 tekens overlap, netjes op zinsgrens. Elk stuk krijgt een embedding (384-dimensionaal). Kleine bestanden (< 50MB) worden volledig vooraf geëmbed voor snelle retrieval; grote bestanden gebruiken een hybride modus met FULLTEXT plus embedding op aanvraag.

Er zijn drie manieren om een kennisbank aan je chatverzoeken te koppelen:

• Aan een instance koppelen (aanbevolen): POST /api/kb/{kbId}/link/{instanceId}. Alle chatverzoeken naar die instance krijgen daarna automatisch context, ook via een externe hyai--key.
• Aan een agent koppelen: zet knowledge_base_id op de agent; de publieke chat gebruikt hem automatisch.
• Expliciet per verzoek: geef knowledge_base_id mee in de body van je chat-completion.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.3-70b",
    "messages": [{"role":"user","content":"Wat is ons retourbeleid?"}],
    "knowledge_base_id": 42
  }'

De Router zoekt de meest relevante stukken op met cosine-similarity (minimale drempel 0.3), injecteert de top 5 in de prompt en genereert een antwoord dat op jouw documenten is gebaseerd.

Niet-streamende antwoorden bevatten een extra sources-array met documentnaam, score, chunk-index en een fragment, zodat je elk antwoord kunt herleiden naar de bron. Bij streaming wordt de context wél geïnjecteerd, maar kunnen bronnen niet in de SSE-chunks worden meegegeven.

Retrieval-fouten zijn graceful: mislukt het ophalen, dan gaat de chat gewoon door zonder context in plaats van te falen. En omdat alles op EU-GPU's draait, blijft je hele RAG-pipeline, van documenten tot antwoord, binnen Europa.

Deze waarden bepalen hoe je documenten worden verwerkt en teruggevonden. Ze staan vast, zodat de kwaliteit voorspelbaar is over al je kennisbanken.