Solution
Infrastructure et déploiement des modèles d’IA
Conception et déploiement de serveurs d’inférence CPU ou GPU, du stockage des modèles et des API d’accès. Intégration des modèles d’IA aux logiciels et aux plateformes de données, avec gestion des connexions aux services cloud.
Architecture et réalisation
Calcul et serveurs de modèles
Déploiement des ressources de calcul et des logiciels d’exécution des modèles.
API et passerelles
Interfaces entre applications, modèles locaux et services d’IA hébergés.
Déploiement et exploitation
Automatisation des environnements et intégration de la supervision des services d’IA.
Décisions de conception
Déploiement de modèles d’IA sur des serveurs d’inférence dotés de CPU ou de GPU, avec API internes et stockage des modèles. La cartographie précise aussi où sont conservés les index et les logs, quels services externes sont appelés et comment les mises à jour sont téléchargées.
Exemple d’application
Un modèle local peut être accessible par une API interne reliée à un index documentaire. Les essais mesurent le temps de réponse, le nombre de requêtes simultanées et la consommation mémoire.
Livrables techniquesEnvironnement d’inférence, API, configuration des accès et mesures de capacité
Réalisations associées
Un agent interroge un index des dossiers contractuels et transmet les passages autorisés à un modèle Llama hébergé sur la plateforme privée. Les permissions de l’utilisateur filtrent les documents avant la recherche. La réponse cite les pièces du dossier et les textes de référence utilisés.
Docker
.NET
Microsoft Entra ID
Infomaniak
LangChain
Linux
Llama (Meta)
Model Context Protocol
Microsoft 365
PostgreSQL
Python
Composants et flux
- Extraction des documents Microsoft 365 et des corpus de référence, puis indexation textuelle et vectorielle dans PostgreSQL
- Agent LangChain utilisant un modèle Llama et des outils MCP de recherche en lecture, avec filtrage des droits et limitation des appels
- Contrôle du contexte disponible avant génération et présentation des références dans une application .NET
Développement et intégration
- Serveurs d’inférence et calcul GPU
- Modèles ouverts et services cloud
- Conteneurs, stockage et orchestration
- Passerelles, métriques et intégration applicative
Les systèmes concernés
- vLLM, Ollama et API de modèles
- Azure, Google Cloud et infrastructures privées
- Bases de données, index et applications
Service associéIntelligence artificielle →
Pour approfondir
Évaluer la qualité, la disponibilité et le coût d’un modèle à poids ouverts
Un classement public aide à repérer des candidats. Le choix d’un modèle dépend de sa licence, de sa qualité sur la tâche et des moyens nécessaires pour l’exploiter.
Trois configurations pour dimensionner une IA locale
La mémoire, le débit et la charge simultanée orientent le choix du matériel. Trois profils permettent de préparer un essai, puis de comparer le coût complet des options.
Déployer une IA interne avec des modèles ouverts et une infrastructure adaptée
La qualité attendue, les données et les capacités d’exploitation déterminent le mode de déploiement. Le modèle et son hébergement doivent être évalués ensemble.
Solutions complémentaires
Parlons de votre projet
Un échange sur la conception, le développement et la mise en production de votre projet.