Due candidate ricevono lo stesso compito: progettare un servizio che permetta agli utenti di condividere brevi videoclip. La prima disegna un diagramma chiaro in dieci minuti, elenca tutti i componenti principali e parla con totale sicurezza. La seconda inizia più lentamente, chiede chi siano gli utenti, indica su quale parte ha dei dubbi e opta per una soluzione di archiviazione diversa, fornendo una motivazione chiara. L'intervistatore A valuta la prima candidata come "ottima". L'intervistatore B, presente alla stessa sessione, valuta la seconda come "ottima". Le loro valutazioni coincidono a malapena.
Questo è uno scenario esemplificativo, non un caso di assunzione documentato. È abbastanza comune da essere riconoscibile dalla maggior parte dei team di ingegneri. Entrambi i progetti erano difendibili. La differenza risiedeva nei criteri di valutazione utilizzati dai due intervistatori: fluidità, velocità, familiarità con la propria architettura preferita o qualità del ragionamento. Questa guida è pensata per i responsabili di ingegneria e i responsabili dell'abilitazione ingegneristica che necessitano di una griglia di valutazione per i colloqui di progettazione di sistemi, in grado di valutare i candidati senior sulla base delle stesse prove, in modo che due intervistatori possano giungere alla stessa conclusione per le stesse ragioni. Ogni criterio riportato di seguito dovrebbe essere convalidato da un ingegnere senior e verificato per garantirne l'equità prima di essere utilizzato in una reale decisione di assunzione.
Che cos'è una griglia di valutazione per un colloquio di progettazione di sistemi?
Una griglia di valutazione per le interviste di progettazione di sistemi è una guida che elenca gli elementi da valutare, come si manifesta ciascun punteggio nel comportamento osservabile e quali errori non possono essere compensati da altri punti di forza. Si trova accanto alla domanda, in modo che ogni intervistatore raccolga prove in base agli stessi criteri. La guida di Google alle interviste strutturate definisce questi strumenti di valutazione "griglie di valutazione" e osserva che i ricercatori li chiamano "scale di valutazione ancorate al comportamento". Secondo la guida, le interviste strutturate offrono una maggiore validità predittiva e minori differenze tra i gruppi demografici, e le domande, le guide e le griglie di valutazione predefinite consentono di risparmiare in media 40 minuti per intervista. È possibile consultare la guida completa in Google re:Work: Guida alle interviste strutturate.
È facile trovare esempi pubblici, e la maggior parte è scritta per i candidati. Questa guida è per l'altra parte del tavolo.
I fatti in breve
| La Domanda | Risposta breve |
|---|---|
| Che cosa stai valutando? | Il modo in cui un candidato ragiona su un problema di architettura aperto, non il numero di componenti che riesce a nominare. |
| Cosa va inserito in una rubrica? | Criteri, punteggi di riferimento e un elenco di errori critici. |
| Quanti criteri? | Da tre a cinque. Un numero minore di criteri è più facile da valutare e calibrare; mantieni solo quelli che puoi ancorare a prove osservabili. |
| Chi lo convalida? | Un ingegnere senior che esegue il lavoro, più il tuo team per garantire l'equità. |
| Come si fa a mantenerlo costante? | Valutare prima in modo indipendente, poi confrontare i risultati in una sessione di calibrazione. |
| Cosa non può fare una rubrica? | Correggi ruoli poco chiari, compiti non rappresentativi o intervistatori non formati per utilizzarlo. |
| Come fai a sapere che funziona? | I punteggi degli intervistatori concordano maggiormente quando si tratta della stessa registrazione o dello stesso resoconto scritto, e i punteggi coincidono con le prestazioni successive. |
1. Definisci la prestazione che stai valutando
Iniziate dal lavoro, non dall'argomento. Per un ingegnere senior, il compito rilevante è solitamente: dato un problema ambiguo, prendere e difendere decisioni architetturali e spiegare cosa le modificherebbe. Scrivete tutto in una sola frase, specificando il ruolo, il livello e il contesto in cui la persona opererebbe. Un ruolo senior di backend in un'azienda di pagamenti ha requisiti diversi rispetto a un ruolo senior di piattaforma in un'azienda di media.
Indica anche ciò che non stai valutando. La velocità di digitazione, la familiarità con uno specifico fornitore di servizi cloud e la capacità di disegnare in modo ordinato su una lavagna condivisa sono criteri comuni che vengono considerati accidentalmente. Se non fanno parte del lavoro, non dovrebbero influenzare il punteggio.
2. Scegli un compito rappresentativo e non familiare
Scegliete un problema che simuli il lavoro reale e che i candidati non possano aver imparato a memoria. Un problema ampiamente conosciuto ("progettare un servizio di abbreviazione URL") premia la preparazione. Utilizzate un problema del vostro settore, eliminando i dettagli sensibili, e chiedete a un ingegnere senior di risolverlo in autonomia, in modo da avere un'idea di quale sia una gamma ragionevole di risposte.
Accettate che un singolo problema da 45 minuti rappresenti solo una parte di ciò che un ingegnere senior fa. Può mostrare come una persona gestisce ambiguità, vincoli e compromessi. Non può mostrare come si occupa di mentoring, come gestisce una migrazione che dura mesi o come affronta un incidente di lunga durata. Specificatelo nella documentazione per l'assunzione, in modo che nessuno interpreti il punteggio in modo errato.
3. Scrivere criteri e ancoraggi osservabili
Definisci i criteri basandoti su prove documentabili. Un insieme breve e pratico per una fase di progettazione di sistemi di alto livello:
| Criterio | Prove osservabili |
|---|---|
| Inquadramento del problema | Pone domande chiarificatrici, dichiara le ipotesi e concorda l'ambito del lavoro prima di procedere con la fase di disegno. |
| Ragionamento di compromesso | Indica almeno due opzioni per una decisione chiave, specifica il costo di ciascuna e motiva la propria scelta. |
| Profondità | Approfondisce uno o due componenti quando richiesto, senza però perdere di vista il progetto nel suo complesso. |
| Gestione del cambiamento | Regola il progetto quando viene aggiunto un vincolo e spiega cosa ora è più debole. |
| Communication | Rende il progetto comprensibile a un collega che non era presente nella stanza. |
Assegna un punteggio da 0 a 2 a ciascun criterio: 0 indica assenza o inadeguatezza, 1 indica una valutazione parziale con omissioni rilevanti e 2 indica una valutazione completa e giustificata in base ai criteri concordati. I parametri di riferimento sono più importanti della scala di valutazione. Per esempio, nel caso di un ragionamento basato su compromessi, 0 significa "indica una tecnologia senza spiegarne il motivo", 1 significa "fornisce una motivazione ma non il costo dell'alternativa" e 2 significa "confronta le opzioni in base ai vincoli stabiliti e indica a cosa rinuncerebbero".
Definisci separatamente gli errori critici, come ad esempio ignorare un requisito di protezione dei dati specificato dall'intervistatore o proporre un progetto che non soddisfa un vincolo inderogabile. Un punteggio medio non deve mai nascondere un errore critico. Evita di valutare la sicurezza o la velocità; un candidato riservato che ragiona con attenzione non dovrebbe essere penalizzato per il suo stile. La nostra guida alla valutazione del giudizio e della capacità di risoluzione dei problemi illustra come definire i criteri per le prove di ragionamento.
4. Calibrare i valutatori ed eseguire un progetto pilota
Una griglia di valutazione interpretata in modo diverso da due persone non è ancora una griglia di valutazione valida. Prima di utilizzarla in un contesto reale:
- Scegli un esempio. Utilizza un progetto scritto da un collega che non è coinvolto nel processo di selezione, oppure la registrazione di una simulazione di colloquio con il consenso della persona.
- Assegnazione dei punteggi in modo indipendente. Ciascun valutatore redige le motivazioni per ogni criterio prima di visionare i punteggi degli altri.
- Confrontare le prove. Se i punteggi differiscono di oltre un punto, accertatevi se il criterio di valutazione era ambiguo o se i valutatori hanno notato aspetti diversi. Riscrivete il criterio di valutazione.
- Ripeti con un secondo esempio. Fermatevi quando i disaccordi riguardano il giudizio, non la formulazione.
La guida di Google abbina la formazione degli intervistatori alla calibrazione, in modo che gli intervistatori siano coerenti e sicuri nelle loro valutazioni, che è la stessa idea. Chiedi a uno specialista, come un responsabile tecnico di un team vicino, di esaminare il caso e i criteri di valutazione, e chiedi al tuo team delle risorse umane di rivedere il processo per verificarne l'equità e la conformità ai requisiti legali nelle regioni in cui effettui le assunzioni.
5. Analizza un esempio realistico
A scopo illustrativo. Un ingegnere senior dovrebbe convalidare il caso e i criteri di risposta prima dell'utilizzo.
Il caso. I candidati progettano un servizio di notifica per un'app di consegna a domicilio: i clienti ricevono aggiornamenti quando lo stato di un ordine cambia. La portata del progetto è descritta solo come "pochi milioni di ordini al giorno, principalmente durante i pasti".
Un primo tentativo. "Metterei una coda di messaggi tra il servizio ordini e un gestore di notifiche, memorizzerei ogni evento in un database e invierei notifiche push." La struttura è ragionevole, ma il candidato non ha chiesto quali canali siano necessari, cosa succeda se una notifica arriva in ritardo o viene inviata due volte, o cosa significhi il picco di carico per la coda.
Feedback dell'intervistatore e possibilità di riprovare. L'intervistatore chiede: "Cosa è peggio: una notifica tardiva o una notifica duplicata?". Gli intervistatori dovrebbero avere un follow-up standard per ogni criterio, in modo che ogni candidato abbia la stessa possibilità di dimostrare le proprie competenze.
Un tentativo più deciso. "Un messaggio duplicato è peggio per le notifiche push, perché le persone smetterebbero di fidarsi dell'app, quindi renderei l'invio idempotente con una chiave di ordine e di stato. Per gli SMS accetterei duplicati occasionali perché il costo è più importante. I picchi di carico durante i pasti implicano che la coda dovrebbe assorbire i picchi e che i worker dovrebbero scalare in base alla profondità della coda. Non sono sicuro di quanto sia rigida la promessa sui tempi di consegna, quindi chiederei al product owner prima di scegliere tra una semplice politica di ritentativo e una corsia prioritaria per gli aggiornamenti critici in termini di tempo."
Valutazione. Secondo la griglia di valutazione, questa risposta ottiene 2 punti per il ragionamento sui compromessi (due opzioni, costi, una motivazione), 2 punti per l'inquadramento del problema (indica le ipotesi, pone una domanda) e 1 punto per la gestione dei cambiamenti, fino a quando l'intervistatore non aggiunge un vincolo. Si noti che l'intervistatore sta valutando le prove, non confrontando il progetto del candidato con il proprio preferito.
Dove la consegna interattiva aiuta
La competenza che state sviluppando qui è fondamentale per chi conduce colloqui di lavoro, e la pratica interattiva si presta perfettamente a questo scopo. In una sessione di calibrazione dal vivo, mostrate l'esempio, chiedete a ogni valutatore di assegnare un punteggio a ciascun criterio in privato e rivelate la distribuzione dei punteggi prima della discussione. Le persone si impegnano a dare un punteggio prima di sentire l'opinione più autorevole, e i disaccordi evidenziano i punti chiave che necessitano di essere riscritti. Lo stesso esempio e la stessa griglia di valutazione possono essere utilizzati in modalità autoapprendimento per i nuovi intervistatori che si uniscono in seguito, con una sessione dal vivo per discutere i casi ambigui. AhaSlides supporta l'apprendimento interattivo e il passaggio tra la modalità dal vivo e quella autoapprendimento. Si tratta di uno strumento di presentazione e apprendimento, non di una piattaforma per colloqui o di un sistema di gestione dei candidati, quindi conservate i dati reali dei candidati nei vostri strumenti di selezione. Verificate qualsiasi funzione specifica di authoring, feedback o reporting che intendete utilizzare confrontandola con il vostro flusso di lavoro. Per assistenza nella scelta dei formati, consultate la nostra guida su quando utilizzare l'apprendimento adattivo, interattivo e dal vivo , e per la progettazione del feedback consultate la guida su come progettare una pratica interattiva con un feedback utile.
Misurare ciò che è cambiato
Decidete in anticipo quali indicatori dimostrerebbero l'efficacia della griglia di valutazione. Due misure pratiche sono la prima. La concordanza: a parità di progetto registrato o scritto, i punteggi ottenuti dagli intervistatori indipendenti dopo la calibrazione sono più simili tra loro rispetto a prima? Definite chi è incluso, il denominatore e la tempistica. La seconda: la rilevanza: dopo alcuni mesi, i punteggi sono correlati alle prestazioni dei nuovi assunti nelle revisioni del progetto? Con un numero limitato di assunzioni, questo sarà solo un segnale approssimativo, quindi consideratelo un invito a rivedere la griglia di valutazione, non una prova definitiva. Se i risultati migliorano, verificate cos'altro è cambiato contemporaneamente, come ad esempio una nuova definizione del ruolo o un diverso canale di reclutamento, prima di attribuire il merito alla griglia di valutazione.
Vincoli che potrebbero rimanere
- rappresentatività. Un problema illustra una parte del lavoro. Abbinalo ad altre prove, come un esempio di lavoro svolto o una conversazione strutturata sulle decisioni prese in passato.
- Equità. Una griglia di valutazione riduce la variabilità, ma non elimina da sola i pregiudizi. Esamina il caso e i criteri di valutazione per individuare eventuali presupposti relativi al background dei partecipanti e verifica i risultati tra i diversi gruppi con il tuo team delle risorse umane.
- Tempo dell'intervistatore. La calibrazione richiede ore. Senza di essa, la griglia di valutazione è solo un modulo più lungo.
- Chiarezza dei ruoli. Se il team non concorda sul significato di "senior", nessun criterio di valutazione potrà risolvere la questione.
- Contesto giuridico. Le procedure di valutazione del personale sono regolamentate in modo diverso a seconda del luogo. Verifica i requisiti locali prima di modificare una procedura.
Domande frequenti
Cosa dovrebbe includere una griglia di valutazione per un colloquio di progettazione di sistemi?
Da tre a cinque criteri, quali l'inquadramento del problema, il ragionamento sui compromessi, la profondità, la gestione del cambiamento e la comunicazione, con un punteggio ancorato da 0 a 2 per ciascuno, e un elenco separato di errori critici.
Come si fa a impedire ai selezionatori di valutare la sicurezza in sé stessi?
Prima di assegnare un punteggio, chiedete loro di descrivere per iscritto le prove osservabili relative a ciascun criterio e di collegare ogni punteggio a un comportamento specifico, ad esempio "confronta due opzioni e indica il costo di quella non scelta".
Quanto dovrebbe durare un colloquio di progettazione di un sistema?
I colloqui sono spesso programmati per circa un'ora, ma la durata ideale è quella che permette al candidato di dimostrare di possedere tutte le competenze richieste. Fate una prova con un colloquio pilota.
È possibile rendere oggettivo il processo di assunzione tramite una griglia di valutazione?
Ciò rende il processo più coerente e più facile da verificare, ma il giudizio rimane comunque discrezionale. L'obiettivo è che gli intervistatori concordino sulle stesse motivazioni, non che le persone vengano escluse dal processo decisionale.
Dove iniziare
Scegli una posizione aperta e scrivi una breve descrizione delle prestazioni. Elabora tre criteri con punti di riferimento e un breve elenco di errori critici, quindi fai in modo che un ingegnere senior risolva il tuo caso in autonomia. Organizza una sessione di calibrazione con le persone che effettueranno i colloqui, riscrivi i punti di riferimento che hanno generato disaccordo e testa la griglia di valutazione su un piccolo numero di colloqui reali prima di utilizzarla su larga scala.
Per scoprire come una sessione di calibrazione può essere svolta in diretta con i vostri intervistatori e riutilizzata in seguito in autonomia, esplorate AhaSlides.
