Doi candidați primesc aceeași solicitare: să proiecteze un serviciu care să permită utilizatorilor să partajeze videoclipuri scurte. Primul desenează o diagramă curată în zece minute, numește fiecare componentă populară și vorbește cu încredere totală. Al doilea începe mai lent, întreabă cine sunt utilizatorii, spune de ce parte nu este sigură și face o alegere diferită pentru stocare, oferind un motiv clar. Intervievatorul A îl evaluează pe primul candidat ca fiind „puternic”. Intervievatorul B, care a participat la aceeași sesiune, îl evaluează pe al doilea ca fiind „puternic”. Notele lor abia se suprapun.
Acesta este un scenariu ilustrativ, nu un incident de angajare documentat. Este suficient de comun încât majoritatea echipelor de inginerie îl vor recunoaște. Ambele modele au fost justificabile. Ceea ce diferă a fost ceea ce a punctat fiecare intervievator: fluență, viteză, familiaritate cu propria arhitectură preferată sau calitatea raționamentului. Acest ghid este destinat managerilor de inginerie și liderilor de dezvoltare a resurselor inginerești care au nevoie de o rubrică de interviu pentru proiectarea sistemului care să evalueze candidații seniori pe baza acelorași dovezi, astfel încât doi intervievatori să poată ajunge la aceeași concluzie din aceleași motive. Fiecare criteriu de mai jos ar trebui validat de un inginer senior și revizuit pentru corectitudine înainte de a-l utiliza într-o decizie reală de angajare.
Ce este o rubrică de interviu pentru proiectarea unui sistem?
O rubrică pentru interviuri de design de sistem este un ghid de notare care enumeră ceea ce căutați, cum arată fiecare scor în comportamentul observabil și ce greșeli nu pot fi compensate de punctele forte din alte părți. Se află lângă întrebare, astfel încât fiecare intervievator colectează dovezi pe baza acelorași criterii. Ghidul Google pentru interviuri structurate numește aceste instrumente de notare „rubrici” și notează că cercetătorii le numesc „scale de evaluare ancorate comportamental”. Acesta raportează că interviurile structurate oferă o validitate predictivă mai mare și diferențe mai mici între grupurile demografice și că întrebările, ghidurile și rubricile predefinite economisesc în medie 40 de minute per interviu. Puteți citi îndrumările complete în Google re:Work: Un ghid pentru interviuri structurate.
Exemplele publice sunt ușor de găsit, iar majoritatea sunt scrise pentru candidați. Acest ghid este pentru cealaltă parte a mesei.
Scurte
| Întrebare | Răspuns scurt |
|---|---|
| Ce evaluezi? | Cum raționează un candidat cu privire la o problemă de arhitectură deschisă, nu câte componente poate numi. |
| Ce se include într-o rubrică? | Criterii, scoruri ancorate și o listă de erori critice. |
| Câte criterii? | Trei până la cinci. Mai puține criterii sunt mai ușor de evaluat și de calibrat; păstrați-le doar pe cele pe care le puteți ancora cu dovezi observabile. |
| Cine îl validează? | Un inginer senior care face treaba, plus echipa dumneavoastră de oameni pentru corectitudine. |
| Cum reușești să o menții consecventă? | Mai întâi se evaluează independent, apoi se compară dovezile într-o sesiune de calibrare. |
| Ce nu poate face o rubrică? | Corectați un rol neclar, o sarcină nereprezentativă sau intervievatori care nu sunt instruiți să îl utilizeze. |
| De unde știi că funcționează? | Scorurile intervievatorilor sunt mai degrabă similare pe aceeași înregistrare sau relatare, iar scorurile se aliniază cu performanța ulterioară. |
1. Definiți performanța pe care o evaluați
Începeți cu munca, nu cu subiectul. Pentru un inginer senior, sarcina relevantă este de obicei: având în vedere o problemă ambiguă, să ia și să susțină decizii arhitecturale și să spună ce le-ar schimba. Scrieți aceasta într-o singură propoziție și specificați rolul, nivelul și contextul în care persoana ar lucra. Un rol senior de backend la o companie de plăți are un barometru diferit față de un rol senior de platformă la o companie media.
De asemenea, scrieți ce nu evaluați. Viteza de tastare, familiaritatea cu un anumit furnizor de cloud și capacitatea de a desena cu grijă pe o tablă albă partajată sunt criterii accidentale comune. Dacă nu fac parte din job, nu ar trebui să modifice scorul.
2. Alegeți o sarcină reprezentativă, nefamiliară
Alegeți o problemă care să fie un exemplu real al lucrării și pe care candidații nu o pot memora. O solicitare cunoscută pe scară largă („proiectați un instrument de scurtare a adreselor URL”) recompensează repetiția. Folosiți o problemă din domeniul dumneavoastră, fără detaliile sensibile, și rugați un inginer senior să o rezolve independent, astfel încât să știți cum ar trebui să existe o gamă rezonabilă de răspunsuri.
Acceptă faptul că o singură problemă de 45 de minute prezintă doar o parte din ceea ce face un inginer senior. Poate arăta cum gestionează cineva ambiguitatea, constrângerile și compromisurile. Nu poate arăta cum oferă mentorat, cum derulează o migrare pe parcursul a lunilor sau cum gestionează un incident lung. Menționează acest lucru în documentația de angajare, astfel încât nimeni să nu supraestimeze scorul.
3. Scrieți criterii și ancore observabile
Construiți criterii în jurul dovezilor pe care le puteți nota. Un set scurt și funcțional pentru o rundă de proiectare a sistemului pentru seniori:
| Criteriu | Dovezi observabile |
|---|---|
| Încadrarea problemei | Pune întrebări clarificatoare, enunță presupuneri și convine asupra domeniului de aplicare înainte de desen. |
| Raționament bazat pe compromisuri | Numește cel puțin două opțiuni pentru o decizie cheie, spune cât costă fiecare și alege o decizie justificată. |
| Adâncime | Aprofundează una sau două componente atunci când este solicitat, fără a pierde întregul design. |
| Gestionarea schimbării | Ajustează designul atunci când se adaugă o constrângere și explică ce este acum mai slab. |
| Comunicarea | Face designul inteligibil pentru un coleg care nu a fost prezent în cameră. |
Acordați un scor pentru fiecare criteriu de la 0 la 2: 0 înseamnă absent sau nejustificat, 1 înseamnă parțial cu omisiuni relevante, iar 2 înseamnă complet și justificat în raport cu criteriile convenite. Ancorele contează mai mult decât scala. Pentru raționamentul bazat pe compromisuri, de exemplu, un 0 înseamnă „denumește o tehnologie fără a spune de ce”, un 1 înseamnă „oferă un motiv, dar nu și costul alternativei”, iar un 2 înseamnă „compară opțiunile cu constrângerile menționate și spune la ce ar renunța”.
Definiți separat erorile critice, cum ar fi ignorarea unei cerințe de protecție a datelor enunțate de intervievator sau propunerea unui design care nu poate îndeplini o constrângere strictă menționată. Un scor mediu nu trebuie să ascundă niciodată o eroare critică. Evitați acordarea de scoruri în funcție de încredere sau viteză; un candidat tăcut care raționează cu atenție nu ar trebui penalizat pentru stil. Ghidul nostru de evaluare a judecății și a rezolvării problemelor acoperă modul de redactare a criteriilor pentru sarcinile de raționament.
4. Calibrarea evaluatorilor și derularea unui proiect pilot
O rubrică pe care două persoane o citesc diferit nu este încă o rubrică. Înainte de a o utiliza, verificați:
- Alegeți un exemplu. Folosește un design scris de un coleg care nu este în procesul de angajare sau o înregistrare simulată a unui interviu cu acordul persoanei respective.
- Scorează independent. Fiecare evaluator scrie dovezile pentru fiecare criteriu înainte de a vedea scorurile altcuiva.
- Compară dovezile. În cazul în care scorurile diferă cu mai mult de un punct, aflați dacă ancora a fost ambiguă sau dacă evaluatorii au observat lucruri diferite. Rescrieți ancora.
- Repetați la un al doilea exemplu. Oprește-te când dezacordurile sunt despre judecată, nu despre formulare.
Ghidul Google combină instruirea intervievatorilor cu calibrarea, astfel încât intervievatorii să fie consecvenți și încrezători în evaluările lor, ceea ce este aceeași idee. Rugați un specialist, cum ar fi un manager de inginerie dintr-o echipă vecină, să analizeze cazul și ancorele și rugați echipa dvs. de resurse umane să analizeze procesul pentru a verifica corectitudinea și cerințele legale din regiunile dvs. de angajare.
5. Lucrează printr-un exemplu realist
Ilustrativ. Un inginer senior ar trebui să valideze cazul și să răspundă la criterii înainte de utilizare.
Cazul. Candidații proiectează un serviciu de notificare pentru o aplicație de livrare: clienții primesc actualizări atunci când o comandă își schimbă starea. Scara este descrisă doar ca „câteva milioane de comenzi pe zi, mai ales la orele meselor”.
O primă încercare. „Aș pune o coadă de mesaje între serviciul de comenzi și un operator de notificări, aș stoca fiecare eveniment într-o bază de date și aș trimite notificări push.” Structura este rezonabilă, dar candidatul nu a întrebat ce canale sunt necesare, ce se întâmplă dacă o notificare întârzie sau este trimisă de două ori sau ce înseamnă vârful de sarcină pentru coadă.
Feedback din partea intervievatorului și reîncercare. Intervievatorul întreabă: „Ce este mai rău aici: o notificare târzie sau una duplicată?” Intervievatorii ar trebui să aibă o urmărire standard pentru fiecare criteriu, astfel încât fiecare candidat să aibă aceeași șansă de a demonstra abilitatea.
O încercare mai puternică. „O duplicată este mai rea pentru push, deoarece oamenii nu ar mai avea încredere în aplicație, așa că aș face trimiterea idempotentă cu o cheie de comandă și de stare. Pentru SMS-uri aș accepta duplicate ocazionale, deoarece costul contează mai mult. Încărcarea maximă la orele de masă înseamnă că coada ar trebui să absoarbă rafalele, iar lucrătorii ar trebui să se adapteze în funcție de adâncimea cozii. Nu sunt sigur cât de strictă este promisiunea privind timpul de livrare, așa că aș întreba proprietarul produsului înainte de a alege între o politică simplă de reîncercare și o bandă prioritară pentru actualizări critice în timp.”
Punctaj. Conform rubricii, acest răspuns primește un scor de 2 la raționament bazat pe compromisuri (două opțiuni, costuri, un motiv), 2 la formularea problemei (enunță presupuneri, pune o întrebare) și 1 la gestionarea schimbării până când intervievatorul adaugă o constrângere. Observați că intervievatorul punctează dovezile, nu potrivește designul candidatului cu cel preferat de el.
Unde ajută livrarea interactivă
Abilitatea pe care o dezvolți aici este destinată intervievatorilor, iar practica interactivă i se potrivește. Într-o sesiune de calibrare live, arată exemplul de design, roagă fiecare evaluator să noteze fiecare criteriu în privat și dezvăluie distribuția înainte de discuție. Oamenii se angajează să acorde un scor înainte de a auzi cea mai puternică voce din cameră, iar dezacordurile indică ancorele care trebuie rescrise. Același exemplu și aceeași rubrică pot fi rulate în ritmul propriu pentru noii intervievatori care se alătură mai târziu, cu o sesiune live pentru a discuta cazurile ambigue. AhaSlides susține învățarea interactivă și trecerea de la livrarea live la cea în ritmul propriu. Este un instrument de prezentare și învățare, nu o platformă de interviu sau un sistem de urmărire a candidaților, așa că păstrează date reale despre candidați în instrumentele tale de angajare. Verifică orice funcție specifică de creare, feedback sau raportare pe care intenționezi să te bazezi în raport cu propriul flux de lucru. Pentru ajutor în alegerea formatelor, consultă ghidul nostru despre când să utilizezi învățarea adaptivă, interactivă și live , iar pentru designul feedback-ului, consultă proiectarea practicii interactive cu feedback util.
Măsoară ce s-a schimbat
Decideți în avans ce anume ar demonstra că rubrica funcționează. Două măsuri sunt practice. În primul rând, acordul: pe același design înregistrat sau scris, intervievatorii independenți ajung mai aproape uniți după calibrare decât înainte? Definiți cine este inclus, numitorul și momentul. În al doilea rând, relevanța: după câteva luni, scorurile se referă la performanța noilor angajați în cadrul revizuirilor de design? În cazul unui număr mic de angajări, acesta va fi doar un semnal aproximativ, așa că tratați-l ca pe o îndemnare la revizuirea rubricii, nu ca pe o dovadă. Dacă rezultatele se îmbunătățesc, verificați ce s-a mai schimbat în același timp, cum ar fi o nouă definiție a rolului sau un canal de aprovizionare diferit, înainte de a acorda credit rubricii.
Constrângeri care pot rămâne
- Reprezentativitate. O problemă reprezintă o parte a locului de muncă. Asociați-o cu alte dovezi, cum ar fi un exemplu de lucru sau o conversație structurată despre deciziile anterioare.
- Corectitudine. O rubrică reduce variația, dar nu elimină prejudecățile în sine. Revizuiți cazul și ancorele pentru presupuneri despre context și verificați rezultatele în toate grupurile cu echipa dvs. de oameni.
- Timpul intervievatorului. Calibrarea durează ore întregi. Fără ea, rubrica este doar o formă mai lungă.
- Claritatea rolului. Dacă echipa nu este de acord cu privire la ce înseamnă „senior”, nicio rubrică nu va rezolva problema.
- Contextul juridic. Evaluarea angajărilor este reglementată diferit în funcție de loc. Verificați cerințele locale înainte de a modifica un proces.
Întrebări frecvente
Ce ar trebui să includă o rubrică de interviu pentru proiectarea unui sistem?
Trei până la cinci criterii, cum ar fi formularea problemei, raționamentul bazat pe compromisuri, profunzimea, gestionarea schimbării și comunicarea, un scor ancorat de la 0 la 2 pentru fiecare și o listă separată de erori critice.
Cum îi împiedici pe intervievatori să acorde un scor de încredere?
Puneți-i să scrie dovezile observabile pentru fiecare criteriu înainte de a acorda un scor și ancorați fiecare scor la un comportament, cum ar fi „compară două opțiuni și precizează costul celei nealese”.
Cât de lung ar trebui să fie un interviu pentru proiectarea unui sistem?
Interviurile sunt adesea programate pentru aproximativ o oră, dar durata potrivită este cea care permite candidatului să prezinte fiecare criteriu din rubrica ta. Testează-l cu un test pilot.
Poate o rubrică să obiectivizeze angajarea?
Acest lucru face procesul mai consecvent și mai ușor de auditat, dar judecata rămâne. Scopul este ca intervievatorii să fie de acord din aceleași motive, nu de a exclude oamenii din procesul decizional.
Unde să încep
Alegeți un rol disponibil și scrieți declarația de performanță într-o singură propoziție. Redactați trei criterii cu ancore și o scurtă listă de erori critice, apoi rugați un inginer senior să vă rezolve cazul independent. Desfășurați o sesiune de calibrare cu persoanele care vor fi intervievate, rescrieți ancorele care au cauzat dezacorduri și testați rubrica pe un număr mic de interviuri reale înainte de a o utiliza pe scară largă.
Pentru a vedea cum o sesiune de calibrare ar putea fi derulată live cu propriii tăi intervievatori și reutilizată ulterior în ritmul propriu, explorează AhaSlides.
