Recruter un ingénieur IA pour la production : la grille
EN 30 SECONDES
Un ingénieur IA de production est quelqu’un qui construit le logiciel autour du modèle : les intégrations à vos systèmes, les droits d’accès, les tests et la passation. Or une démo réussie n’en montre presque rien. Vous trouverez ici une grille en quatre points, un petit exercice payé et un brief à envoyer.
À RETENIR
- Recrutez pour un processus métier précis et un critère d’acceptation mesurable, avant de choisir un framework d’agents.
- Demandez, en plus de la démo, des preuves sur les droits d’accès, les échecs d’évaluation et la passation à l’équipe qui exploitera le système.
- Quand l’accès aux données ou la complexité des intégrations restent inconnus, prévoyez une phase de cadrage payée et bornée.
Sur cette page
Le problème : recruter sur la foi d’une démo
EN BREF Partez du Processus Une tâche récurrente, faite selon des étapes fixes, par des personnes ou par un logiciel, par exemple répondre à une question sur un bail. Voir le glossaire que l’ingénieur devra prendre en charge, pas de la démo.
Chez Ilayer, j’ai livré une plateforme multi-agents pour un client du private equity. Elle s’intégrait à ses outils métier. Elle tournait sur FastAPI, Postgres avec pgvector et Amazon Bedrock. Le client reste confidentiel.
Ce projet guide ma façon de recruter. Une jolie démo de chat ne dit presque rien des droits d’accès, des sources périmées ou d’une panne d’un système connecté.
Pour recruter un ingénieur IA de Production Le système en service, celui sur lequel comptent les vrais utilisateurs, par opposition à une démo. Voir le glossaire, écrivez d’abord la tâche, ce que le logiciel a le droit de faire et les preuves qui vous feront accepter le travail. Cherchez ensuite quelqu’un qui sait bâtir et faire tourner le logiciel autour du modèle.
Un périmètre à retravailler
Un bon point de départ
Anthropic distingue les processus, qui suivent un chemin fixé, des Agent IA Un logiciel dans lequel un modèle de langage choisit lui-même une partie des étapes suivantes, comme l’outil à appeler. Voir le glossaire, qui choisissent eux-mêmes la suite. Son guide sur la conception d’agents conseille de commencer simple. Je demanderais au candidat quelles parties de mon processus ont besoin d’un modèle, et lesquelles s’en passent.
Les mots à connaître
EN BREF Le modèle, c’est la lampe. Le métier, c’est le câblage derrière le mur.
LES MOTS À CONNAÎTRE
- Production
- Le système en service, celui sur lequel comptent les vrais utilisateurs, par opposition à une démo.
- Processus
- Une tâche récurrente, faite selon des étapes fixes, par des personnes ou par un logiciel, par exemple répondre à une question sur un bail.
- Agent IA
- Un logiciel dans lequel un modèle de langage choisit lui-même une partie des étapes suivantes, comme l’outil à appeler.
- Recherche documentaire
- Fouiller vos documents pour en extraire les quelques passages les plus susceptibles de répondre à une question, avant que le modèle rédige.
- Évaluation
- Un test pour un système d’IA : un jeu fixe de cas avec leurs résultats attendus, que l’on peut lancer avant chaque mise en production.
- Droits d’accès
- La règle, appliquée par le serveur, qui fixe ce qu’un utilisateur ou un agent a le droit de lire ou de faire.
- Passation
- La remise du système à l’équipe qui va l’exploiter, avec le code, les notes et un moyen de revenir à la version précédente.
La grille d’évaluation en quatre points
EN BREF En entretien, jugez quatre domaines (intégrations, Droits d’accès La règle, appliquée par le serveur, qui fixe ce qu’un utilisateur ou un agent a le droit de lire ou de faire. Voir le glossaire, évaluations, exploitation), avec pour chacun un livrable concret ou une démonstration commentée.
La démonstration peut porter sur un exemple anonymisé. On peut respecter un accord de confidentialité et expliquer quand même ses choix.
Un outil ne remplace pas une décision. Amazon Bedrock offre des filtres de recherche sur les métadonnées des documents, utiles pour la Recherche documentaire Fouiller vos documents pour en extraire les quelques passages les plus susceptibles de répondre à une question, avant que le modèle rédige. Voir le glossaire. Mais c’est à votre application de dire quels filtres un utilisateur connecté peut demander. Je testerais ce point en entretien.
Pour l’Évaluation Un test pour un système d’IA : un jeu fixe de cas avec leurs résultats attendus, que l’on peut lancer avant chaque mise en production. Voir le glossaire, servez-vous de ma suite d’évaluations qui bloque une mise en production. Demandez quels contrôles relèvent du code simple, et lesquels du jugement. Un taux de réussite global ne doit jamais cacher une faille d’accès.
L’exercice payé, étape par étape
EN BREF Une courte séance payée sert à voir comment quelqu’un décide, y compris ce qu’il refuse d’automatiser.
Je préfère un exercice borné à un développement de production non payé. Fixez d’abord la durée et le prix, puis donnez au candidat un exemple anonymisé.
L’exercice ci-dessous est fictif, pour un assistant documentaire. C’est un test de recrutement : ni le compte rendu d’un système client, ni un audit de sécurité complet.
ÉTAPE PAR ÉTAPE
Étape 1 sur 5. Préparer les fichiers. Fournissez un document à jour, une version périmée et une question dont la réponse n’y figure pas. Indiquez qui peut ouvrir chaque fichier.
- Préparer les fichiers Fournissez un document à jour, une version périmée et une question dont la réponse n’y figure pas. Indiquez qui peut ouvrir chaque fichier.
- Définir une réponse étayée Demandez une chaîne de réponse minimale, en lecture seule. Le candidat définit ce qu’est une réponse étayée avant de la construire.
- Changer les conditions Changez d’utilisateur et retirez une source. Regardez si le système refuse et explique quelle preuve manque.
- Localiser l’échec Sait-il dire à quel niveau un cas a échoué : recherche, extraction, accès ou génération ? Sait-il écrire le test qui le rattrapera la prochaine fois ?
- Prévoir la suite Demandez l’étape de livraison suivante, le plus gros risque restant et un chiffrage avec ses hypothèses écrites.
Un exemple concret : une question, deux utilisateurs
EN BREF La même question posée par deux utilisateurs montre pourquoi l’accès se vérifie avant la recherche.
Les noms, fichiers et clauses ci-dessous sont fictifs et montrent ce qu’on observe à l’étape 3.
UN EXEMPLE CONCRET
Chiffres illustratifs
VALIDÉAlice, aux opérations, a accès au dossier des baux
ENTRÉE
- Utilisateur
- Alice (opérations)
- Question
- Quel préavis prévoit le bail du lot 4 ?
- Fichiers
- bail v3 (à jour), bail v2 (périmé)
CE QUI SE PASSE
- Le serveur vérifie les droits d’Alice avant toute recherche.
- La recherche trouve les deux versions et garde la v3, celle qui est à jour.
- La réponse cite la v3 et renvoie vers elle.
SORTIE
- Résultat
- réponse avec un lien vers le bail v3
- Vérification
- un relecteur ouvre la clause citée
RISQUE DE FUITEBob, d’une autre équipe, face à un montage qui ne compte que sur le prompt
ENTRÉE
- Utilisateur
- Bob (sans accès aux baux)
- Question
- la même
CE QUI SE PASSE
- Le montage cherche d’abord dans tous les fichiers.
- Puis il demande au modèle de garder confidentiels les fichiers des autres équipes.
- Le bail est déjà dans le contexte du modèle, et aucun code n’empêche de le citer.
SORTIE
- Résultat
- Bob risque de lire une clause qu’il ne peut pas ouvrir
- Correction
- vérifier l’accès avant la recherche : un refus net
Écrire un brief que l’on peut chiffrer
EN BREF Un brief en cinq parties donne au candidat de quoi chiffrer honnêtement le travail.
Un freelance, un consultant et un salarié ont tous besoin du même contexte de départ. J’enverrais le brief ci-dessous avec la fiche de poste. Ne cachez pas les inconnues, pour que le cadrage les lève.
Si ces entrées restent floues, payez d’abord une courte phase de cadrage. Elle doit livrer du concret : la carte des accès aux données, une hypothèse d’intégration testée, un premier jeu de tests et une offre chiffrée.
Sa durée dépend de vos contraintes d’accès. Une date promise avant que quiconque les ait vues n’est pas un chiffrage utile.
Qui reprend le système après le lancement
EN BREF Choisissez la formule selon la personne qui prendra le système en charge une fois livré.
Une mission bornée convient si votre équipe peut recevoir la Passation La remise du système à l’équipe qui va l’exploiter, avec le code, les notes et un moyen de revenir à la version précédente. Voir le glossaire et faire vivre le résultat. Un poste fixe se justifie davantage si l’IA fait durablement partie du produit.
Mon travail associe ingénierie IA de production et intégration, avec l’habitude des systèmes où chaque action exige des droits clairs. Si cela colle à votre projet ou à votre poste, envoyez-moi le processus et le brief. Partir du problème métier suffit : pas besoin d’avoir déjà choisi vos outils d’IA.
TESTEZ-VOUS
Cas fictif : le rapport d’évaluation d’un candidat affiche un bon taux de réussite global. Un seul cas raté a laissé un utilisateur lire le fichier d’une autre équipe. Le montage est-il validé ?
Voir la réponse
TESTEZ-VOUS
Votre équipe n’a aucun ingénieur capable de maintenir le système, et l’IA fera durablement partie du produit. Quelle formule choisir ?
Voir la réponse
Trois idées à garder
- Avant la fiche de poste : écrivez le processus, ce que le logiciel a le droit de faire et les preuves que vous accepterez.
- En entretien : demandez un livrable concret dans chacun des quatre domaines.
- Avant de vous engager : fixez la durée et le prix de l’exercice, et payez d’abord un cadrage tant que l’accès aux données ou la complexité des intégrations restent inconnus.
ÉTAPE SUIVANTEVoir une suite d’évaluations qui bloque une mise en production
Questions sur le recrutement d’un ingénieur IA
Ce qu’il sait livrer autour du modèle : les intégrations à vos systèmes, les droits d’accès, les tests d’échec, le coût et la passation. Demandez-lui un processus déployé, ses tests d’acceptation et un échec qu’il peut prouver. Connaître un framework ne prouve pas, à lui seul, qu’on sait tenir un système en production.
Si la tâche suit des règles fixes, un simple processus backend peut suffire. S’il faut comprendre du texte, chercher dans des documents ou choisir un outil sans savoir d’avance lequel convient, il faut quelqu’un qui sait tester ces étapes. Souvent, la même personne doit avoir les deux profils.
Pour un chiffrage utile, il faut le processus, les systèmes sources, les limites d’accès aux données, les tests voulus et le support attendu. Demandez un chiffrage séparé pour le cadrage, la livraison et l’exploitation. Le modèle n’est qu’un poste : intégration, nettoyage des données et revue humaine peuvent changer nettement le périmètre.
Adam travaille sur des agents IA en production, la recherche documentaire et l’intégration logicielle. Il est ouvert aux missions et aux postes d’ingénieur senior. Envoyez le problème métier, vos outils techniques actuels, le format voulu et la date de début souhaitée via la page contact.
Recruter pour la production
Episode 1 · 2 publies
Ancien CTO d'Integra. Auteur nommé (1 sur 5) d'ERC-3643, premier auteur d'ERC-6960, co-auteur d'ERC-7410 et co-auteur d'ERC-8203, encore à l'état de brouillon. Conçoit des systèmes d'IA en production et des systèmes Web3 régulés.
Un projet à livrer ou un poste à pourvoir ?
Parlons de votre besoinSuivre les notes techniques
Recevez les nouveaux articles sur l’IA en production et les smart contracts par email.