IA et inférence
ConceptProduitDepuis la version 0.1.0
Guide produit : ce que la capacité apporte, pour qui, ses limites et la version qui l'a livrée - sans syntaxe de configuration.
| Ce que ça fait | Sert une surface compatible OpenAI (complétions, liste des modèles, embeddings, images en entrée) par le même plan de données que les API. Choisit le backend par politique, épingle une requête sensible sur un backend interne, bascule sur un backend de repli en cas de panne, et tient un budget en tokens et en euros par tenant |
| Pourquoi c'est important | Une limite en requêtes par seconde ne dit rien du coût d'un appel à un modèle ; un agent en boucle est une facture, pas un incident de débit. Un client existant (un SDK OpenAI) change seulement son URL de base. Le contenu des invites n'est jamais journalisé : l'audit garde des métadonnées |
| Cas d'usage | Offrir des modèles à plusieurs équipes avec un budget mensuel chacune ; basculer vers un modèle moins cher au-delà de 80 % du budget ; garder les données sensibles sur un modèle hébergé en interne ; mesurer chez un fournisseur ou derrière une autre Flexway ; mesurer un modèle spécialisé appelé en gRPC |
| Limites | Pas encore construits : le routage par tâche déclarée (petit modèle pour une tâche simple), le choix selon l'hébergement, la région, le coût ou la latence, le canary de modèle et les modèles admis par appelant, la protection des données (classes, résidence, détection et masquage, garde-fous d'entrée et de sortie), le routage conscient de l'inférence et le cache sémantique arrivent en 1.9.0 ; les budgets par utilisateur et par cas d'usage, puis par application, équipe, projet et centre de coûts, avec paliers et export de refacturation, en 1.8.0 |
| Depuis | 0.1.0 (inférence sur le plan de données, budgets, repli), 1.5.0 (plusieurs backends, images, embeddings, modèles spécialisés) |
| Configurer | Servir l'inférence |