Deux candidats reçoivent la même consigne : concevoir un service permettant aux utilisateurs de partager de courtes vidéos. Le premier élabore un schéma clair en dix minutes, nomme tous les composants essentiels et s’exprime avec une grande assurance. Le second démarre plus lentement, demande qui sont les utilisateurs, indique le point qui lui pose problème et opte pour une solution de stockage différente, en la justifiant clairement. L’intervieweur A juge le premier candidat « bon ». L’intervieweur B, présent lors de la même session, juge également le second « bon ». Leurs évaluations se recoupent très peu.
Il s'agit d'un exemple, et non d'un cas réel d'embauche. Ce type de situation est suffisamment courant pour que la plupart des équipes d'ingénierie le reconnaissent. Les deux conceptions étaient justifiées. La différence résidait dans les critères d'évaluation de chaque intervieweur : aisance, rapidité, familiarité avec leur architecture de prédilection ou qualité du raisonnement. Ce guide s'adresse aux responsables et aux chargés de formation en ingénierie qui ont besoin d'une grille d'entretien pour la conception de systèmes, permettant d'évaluer les candidats seniors sur la base des mêmes éléments, afin que deux intervieweurs puissent parvenir à la même conclusion pour les mêmes raisons. Chaque critère ci-dessous doit être validé par un ingénieur senior et son équité vérifiée avant d'être utilisé dans une décision d'embauche réelle.
Qu'est-ce qu'une grille d'évaluation pour un entretien de conception de systèmes ?
Une grille d'évaluation pour un entretien de conception de systèmes est un guide de notation qui décrit les critères d'évaluation, la signification de chaque score en termes de comportement observable et les erreurs qui ne peuvent être compensées par d'autres points forts. Elle est placée à côté de la question, garantissant ainsi que chaque intervieweur recueille des informations selon les mêmes critères. Le guide de Google sur les entretiens structurés appelle ces outils de notation des « grilles d'évaluation » et précise que les chercheurs les désignent comme des « échelles d'évaluation ancrées sur le comportement ». Il indique que les entretiens structurés offrent une meilleure validité prédictive et des différences plus faibles entre les groupes démographiques, et que l'utilisation de questions, de guides et de grilles d'évaluation prédéfinis permet de gagner en moyenne 40 minutes par entretien. Vous pouvez consulter le guide complet dans Google re:Work : Guide des entretiens structurés.
Les exemples publics sont faciles à trouver, et la plupart sont destinés aux candidats. Ce guide s'adresse à ceux qui n'ont pas accès à la discussion.
Faits rapides
| Questionne toi | Réponse courte |
|---|---|
| Qu'évaluez-vous ? | Ce qui compte, c'est la façon dont un candidat raisonne face à un problème d'architecture ouvert, et non le nombre de composants qu'il peut nommer. |
| Que doit contenir une rubrique ? | Critères, scores de référence et liste des erreurs critiques. |
| Combien de critères ? | Trois à cinq. Moins il y a de critères, plus il est facile de les évaluer et de les calibrer ; ne conservez que ceux que vous pouvez étayer par des preuves observables. |
| Qui le valide ? | Un ingénieur senior qui réalise le travail, et votre équipe pour plus d'équité. |
| Comment maintenir cette constance ? | Évaluer d'abord indépendamment, puis comparer les résultats lors d'une séance d'étalonnage. |
| Qu'est-ce qu'une grille d'évaluation ne peut pas faire ? | Corriger un rôle ambigu, une tâche non représentative ou des intervieweurs non formés à son utilisation. |
| Comment savez-vous que ça fonctionne ? | Les évaluations des intervieweurs concordent davantage sur un même enregistrement ou compte rendu écrit, et ces évaluations correspondent aux performances ultérieures. |
1. Définissez la performance que vous évaluez.
Commencez par décrire la tâche, et non par la question. Pour un ingénieur senior, la mission consiste généralement à : face à un problème complexe, prendre des décisions architecturales, les justifier et indiquer les modifications à apporter. Rédigez cela en une seule phrase et précisez le rôle, le niveau hiérarchique et le contexte de travail. Les exigences pour un poste d'ingénieur backend senior dans une entreprise de paiements sont différentes de celles pour un poste d'ingénieur plateforme senior dans une entreprise de médias.
Indiquez également ce que vous n'évaluez pas. La vitesse de frappe, la maîtrise d'un fournisseur de services cloud particulier et la capacité à dessiner lisiblement sur un tableau blanc partagé sont des critères accidentels courants. S'ils ne font pas partie des compétences requises pour le poste, ils ne doivent pas influencer la note.
2. Choisissez une tâche représentative et inhabituelle
Choisissez un problème représentatif du travail réel et que les candidats ne peuvent pas avoir mémorisé. Un sujet courant (« concevoir un raccourcisseur d'URL ») encourage la pratique. Utilisez un problème de votre propre domaine, en supprimant les informations sensibles, et demandez à un ingénieur expérimenté de le résoudre indépendamment afin d'avoir une idée des réponses attendues.
Acceptez qu'un exercice de 45 minutes ne donne qu'un aperçu partiel du travail d'un ingénieur senior. Il peut révéler sa capacité à gérer l'ambiguïté, les contraintes et les compromis, mais pas ses compétences en matière de mentorat, de gestion de migration sur plusieurs mois ou de résolution d'incidents complexes. Précisez-le dans votre dossier de recrutement afin d'éviter toute surinterprétation du score.
3. Écrire des critères et des points d'ancrage observables
Élaborez des critères à partir de preuves que vous pouvez consigner par écrit. Voici un ensemble concis et opérationnel pour une évaluation de conception de système de niveau supérieur :
| Critère | Preuves observables |
|---|---|
| cadrage du problème | Pose des questions de clarification, énonce les hypothèses et convient du périmètre avant de dessiner. |
| Raisonnement par compromis | Il cite au moins deux options pour une décision importante, indique le coût de chacune et justifie son choix. |
| Profondeur | Approfondit un ou deux éléments lorsqu'on le lui demande, sans pour autant perdre de vue l'ensemble du projet. |
| Gérer le changement | Ajuste la conception lorsqu'une contrainte est ajoutée et explique ce qui est désormais plus faible. |
| Communication | Cela permet à un collègue qui n'était pas présent de comprendre le design. |
Attribuez à chaque critère une note de 0 à 2 : 0 signifie que le critère est absent ou non étayé, 1 qu’il est partiel et comporte des omissions pertinentes, et 2 qu’il est complet et justifié au regard des critères convenus. Les points d’ancrage sont plus importants que l’échelle de notation. Par exemple, pour un raisonnement sur les compromis, 0 signifie « cite une technologie sans en expliquer le choix », 1 signifie « donne une explication mais pas le coût de l’alternative », et 2 signifie « compare les options aux contraintes énoncées et indique les concessions qu’elles impliquent ».
Définissez les erreurs critiques séparément, comme le fait d'ignorer une exigence de protection des données énoncée par l'intervieweur ou de proposer une conception qui ne respecte pas une contrainte absolue. Une note moyenne ne doit jamais masquer une erreur critique. Évitez d'évaluer la confiance en soi ou la rapidité ; un candidat discret qui raisonne avec rigueur ne doit pas être pénalisé pour son style. Notre guide d' évaluation du jugement et de la résolution de problèmes explique comment rédiger des critères pour les tâches de raisonnement.
4. Calibrer les évaluateurs et mener un projet pilote
Une grille d'évaluation interprétée différemment par deux personnes n'est pas encore une grille d'évaluation. Avant de l'utiliser en situation réelle :
- Choisissez un exemple. Utilisez un document écrit fourni par un collègue qui n'est pas impliqué dans le processus de recrutement, ou un enregistrement d'entretien fictif avec le consentement de la personne.
- Évaluer indépendamment. Chaque évaluateur rédige les éléments de preuve pour chaque critère avant de prendre connaissance des scores des autres.
- Comparez les preuves. Lorsque les scores diffèrent de plus d'un point, déterminez si le critère de référence était ambigu ou si les évaluateurs ont relevé des points différents. Reformulez le critère de référence.
- Répétez l'opération avec un deuxième exemple. Arrêtez-vous lorsque les désaccords portent sur le jugement et non sur la formulation.
Le guide de Google associe la formation des intervieweurs à un étalonnage afin de garantir la cohérence et la confiance de leurs évaluations, ce qui repose sur le même principe. Demandez à un spécialiste, par exemple un responsable d'ingénierie d'une équipe voisine, d'examiner le cas et les critères de référence, et sollicitez votre équipe RH pour vérifier l'équité et la conformité du processus avec les exigences légales en vigueur dans vos régions de recrutement.
5. Travaillez sur un exemple réaliste
À titre d'exemple, un ingénieur senior doit valider le cas et les critères de réponse avant toute utilisation.
Le cas pratique : les candidats doivent concevoir un service de notification pour une application de livraison : les clients reçoivent des mises à jour lorsque le statut de leur commande change. L’échelle du projet est décrite comme « quelques millions de commandes par jour, principalement aux heures des repas ».
Une première tentative. « Je mettrais en place une file d'attente de messages entre le service de commande et un système de notifications, je stockerais chaque événement dans une base de données et j'enverrais des notifications push. » La structure est pertinente, mais le candidat n'a pas précisé quels canaux sont nécessaires, ce qui se passe en cas de notification tardive ou envoyée deux fois, ni l'impact d'une charge maximale sur la file d'attente.
Retour d'information de l'intervieweur et nouvelle tentative. L'intervieweur demande : « Qu'est-ce qui est pire : une notification tardive ou une notification en double ? » Les intervieweurs devraient avoir un suivi standard pour chaque critère, afin que chaque candidat ait la même chance de démontrer ses compétences.
Une tentative plus efficace. « Un doublon est plus problématique pour les notifications push, car les utilisateurs cesseraient de faire confiance à l'application. Je rendrais donc l'envoi idempotent avec une clé de commande et de statut. Pour les SMS, j'accepterais quelques doublons occasionnels, car le coût est plus important. Les pics de charge aux heures de repas impliquent que la file d'attente doit absorber les pics et que les agents doivent adapter leur capacité en fonction de la profondeur de la file d'attente. Je ne suis pas certain du degré de rigueur de la promesse de délai de livraison ; je consulterais donc le responsable produit avant de choisir entre une simple politique de nouvelle tentative et une voie prioritaire pour les mises à jour urgentes. »
Évaluation. Selon la grille d'évaluation, cette réponse obtient la note de 2 pour le raisonnement sur les compromis (deux options, coûts, justification), 2 pour la formulation du problème (énoncé des hypothèses, question posée) et 1 pour la gestion du changement jusqu'à ce que l'examinateur ajoute une contrainte. Il est important de noter que l'examinateur évalue les éléments fournis, et non la comparaison entre la solution proposée par le candidat et sa propre solution idéale.
Là où la livraison interactive est utile
La compétence que vous développez ici est destinée aux recruteurs, et la pratique interactive est idéale. Lors d'une session de calibration en direct, présentez l'exemple de conception, demandez à chaque évaluateur d'évaluer chaque critère individuellement, puis révélez la répartition des notes avant la discussion. Les participants s'engagent sur une note avant même d'entendre la voix la plus forte, et les désaccords mettent en évidence les points à reformuler. Le même exemple et la même grille d'évaluation peuvent être utilisés à leur propre rythme par les nouveaux recruteurs qui rejoignent l'équipe ultérieurement, une session en direct étant prévue pour discuter des cas ambigus. AhaSlides favorise l'apprentissage interactif et permet d'alterner facilement entre formation en direct et à son propre rythme. Il s'agit d'un outil de présentation et d'apprentissage, et non d'une plateforme d'entretiens ou d'un système de suivi des candidatures ; conservez donc les données réelles des candidats dans vos outils de recrutement. Vérifiez que toute fonction de création, de retour d'information ou de reporting spécifique que vous prévoyez d'utiliser est compatible avec votre flux de travail actuel. Pour vous aider à choisir les formats, consultez notre guide sur l'utilisation de l'apprentissage adaptatif, interactif et en direct , et pour la conception du retour d'information, consultez la section « Concevoir une pratique interactive avec un retour d'information utile ».
Mesurez ce qui a changé
Déterminez à l'avance les indicateurs permettant de vérifier l'efficacité de la grille d'évaluation. Deux mesures sont pratiques. Premièrement, la concordance : sur un même document (enregistré ou écrit), les évaluations des intervieweurs indépendants sont-elles plus proches après l'étalonnage ? Précisez les critères d'évaluation, le dénominateur et le calendrier. Deuxièmement, la pertinence : après quelques mois, les scores reflètent-ils les performances des nouvelles recrues lors des revues de conception ? Avec un petit nombre de recrues, ce ne sera qu'un indicateur approximatif ; considérez-le comme une incitation à revoir la grille, et non comme une preuve. Si les résultats s'améliorent, vérifiez les autres changements intervenus simultanément, comme la définition d'un nouveau rôle ou un canal de recrutement différent, avant de conclure à l'efficacité de la grille.
Des contraintes qui pourraient subsister
- Représentativité. Un problème donné illustre une partie du travail. Il convient de le compléter par d'autres éléments de preuve, tels qu'un exemple de travail ou une conversation structurée sur les décisions prises par le passé.
- Justice. Une grille d'évaluation réduit les variations, mais ne supprime pas les biais à elle seule. Examinez le cas et les éléments de référence pour déceler les hypothèses relatives au contexte, et comparez les résultats entre les groupes avec votre équipe.
- Temps de l'intervieweur. L'étalonnage prend des heures. Sans lui, la grille d'évaluation n'est qu'une version plus longue.
- Clarté des rôles. Si l'équipe n'est pas d'accord sur la définition du terme « senior », aucune grille d'évaluation ne pourra trancher.
- Contexte juridique. L'évaluation des candidats à l'embauche est réglementée différemment selon les endroits. Vérifiez les exigences locales avant de modifier une procédure.
Foire aux questions
Que doit inclure une grille d'évaluation pour un entretien de conception de systèmes ?
Trois à cinq critères tels que la définition du problème, le raisonnement sur les compromis, la profondeur, la gestion du changement et la communication, une note de 0 à 2 pour chacun, et une liste distincte d'erreurs critiques.
Comment empêcher les recruteurs d'évaluer la confiance en soi ?
Avant d'attribuer une note, demandez-leur de décrire par écrit les éléments observables pour chaque critère, et associez chaque note à un comportement, par exemple : « compare deux options et indique le coût de celle qui n'est pas choisie ».
Quelle doit être la durée d'un entretien d'embauche pour un poste de concepteur de systèmes ?
Les entretiens durent généralement une heure environ, mais la durée idéale est celle qui permet au candidat de démontrer chaque critère de votre grille d'évaluation. Faites un essai avec un entretien pilote.
Une grille d'évaluation peut-elle rendre le recrutement objectif ?
Cela rend le processus plus cohérent et facilite les audits, mais le jugement demeure. L'objectif est que les intervieweurs parviennent à un consensus pour les mêmes raisons, et non d'écarter quiconque du processus décisionnel.
Par où commencer
Choisissez un poste vacant et rédigez la description de performance en une phrase. Élaborez trois critères avec des points de repère et une courte liste d'erreurs critiques, puis demandez à un ingénieur senior d'analyser le cas indépendamment. Organisez une séance de calibration avec les personnes chargées des entretiens, modifiez les points de repère ayant suscité des désaccords et testez la grille d'évaluation sur un petit nombre d'entretiens réels avant de l'utiliser à grande échelle.
Pour découvrir comment une session d'étalonnage pourrait se dérouler en direct avec vos propres intervieweurs et être réutilisée à votre propre rythme par la suite, explorez AhaSlides.
