Construire un RAG sur des GPU européens

Importez des documents (PDF, TXT, CSV, MD ou DOCX) ou explorez une URL ou un sitemap. Votre contenu est découpé en segments d'environ 1000 caractères avec 100 caractères de chevauchement, aux limites des phrases. Chaque segment reçoit un embedding (en 384 dimensions). Les petits fichiers (< 50MB) sont entièrement pré-vectorisés pour une récupération rapide ; les gros fichiers utilisent un mode hybride avec FULLTEXT et un embedding à la demande.

Il existe trois façons de rattacher une base de connaissances à vos requêtes de chat :

• Lien vers une instance (recommandé) : POST /api/kb/{kbId}/link/{instanceId}. Chaque requête de chat vers cette instance reçoit alors automatiquement du contexte, y compris via une clé externe hyai-.
• Lien vers un agent : définissez knowledge_base_id sur l'agent ; le chat public l'utilise automatiquement.
• Explicite par requête : transmettez knowledge_base_id dans le corps de votre chat completion.

curl https://hostyourai.com/api/v1/chat/completions \
  -H "Authorization: Bearer hyai-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.3-70b",
    "messages": [{"role":"user","content":"What is our return policy?"}],
    "knowledge_base_id": 42
  }'

Le Router récupère les segments les plus pertinents par similarité cosinus (seuil minimum de 0.3), injecte les 5 meilleurs dans le prompt et génère une réponse fondée sur vos documents.

Les réponses sans streaming comportent un tableau supplémentaire sources avec le nom du document, le score, l'index du segment et un extrait, ce qui vous permet de remonter de chaque réponse jusqu'à sa source. En streaming, le contexte est toujours injecté, mais les sources ne peuvent pas être renvoyées dans les segments SSE.

Les échecs de récupération sont gérés avec souplesse : si la récupération échoue, le chat continue sans contexte au lieu de renvoyer une erreur. Et comme tout s'exécute sur des GPU de l'UE, l'ensemble de votre pipeline RAG, des documents à la réponse, reste en Europe.

Ces valeurs déterminent comment vos documents sont traités et récupérés. Elles sont fixes, la qualité reste donc prévisible sur toutes vos bases de connaissances.