Dvaja kandidáti dostanú rovnakú výzvu: navrhnúť službu, ktorá umožňuje používateľom zdieľať krátke videoklipy. Prvý nakreslí prehľadný diagram za desať minút, pomenuje všetky populárne komponenty a hovorí s úplnou sebadôverou. Druhý začína pomalšie, pýta sa, kto sú používatelia, povie, ktorou časťou si nie je istý, a zvolí iný spôsob ukladania s jasným dôvodom. Anketárka A hodnotí prvého kandidáta ako „silného“. Anketárka B, ktorá sa zúčastnila tej istej konzultácie, hodnotí druhého ako „silného“. Ich poznámky sa sotva prekrývajú.
Toto je ilustratívny scenár, nie zdokumentovaný incident pri prijímaní do zamestnania. Je dostatočne bežný na to, aby ho väčšina inžinierskych tímov rozpozná. Oba návrhy boli obhájiteľné. Líšilo sa to, čo každý anketár hodnotil: plynulosť, rýchlosť, znalosť vlastnej preferovanej architektúry alebo kvalita argumentácie. Táto príručka je určená pre manažérov inžinierstva a vedúcich inžinierskych aktivít, ktorí potrebujú rubriku pre pohovor o návrhu systému, ktorá hodnotí vedúcich kandidátov na základe rovnakých dôkazov, aby dvaja anketári mohli dospieť k rovnakému záveru z rovnakých dôvodov. Každé nižšie uvedené kritérium by mal overiť vedúci inžinier a skontrolovať z hľadiska spravodlivosti predtým, ako ho použijete pri skutočnom rozhodovaní o prijímaní do zamestnania.
Čo je to rubrika pre pohovor o návrhu systému?
Rubrika pre pohovor o návrhu systému je bodovací sprievodca, ktorý uvádza, čo hľadáte, ako každé skóre vyzerá v pozorovateľnom správaní a ktoré chyby nemožno kompenzovať silnými stránkami inde. Nachádza sa vedľa otázky, takže každý anketár zhromažďuje dôkazy na základe rovnakých kritérií. Sprievodca štruktúrovanými pohovormi od spoločnosti Google nazýva tieto nástroje na hodnotenie „rubriky“ a poznamenáva, že výskumníci ich nazývajú „behaviorálne ukotvené hodnotiace škály“. Uvádza sa v ňom, že štruktúrované pohovory poskytujú vyššiu prediktívnu platnosť a menšie rozdiely medzi demografickými skupinami a že vopred pripravené otázky, sprievodcovia a rubriky šetria v priemere 40 minút na pohovor. Celý návod si môžete prečítať v dokumente Google re:Work: Sprievodca štruktúrovanými pohovormi.
Verejne dostupné príklady sa dajú ľahko nájsť a väčšina z nich je napísaná pre kandidátov. Táto príručka je určená pre opačnú stranu stola.
Rýchle fakty
| Otázka | Stručná odpoveď |
|---|---|
| Čo hodnotíš? | Ako kandidát uvažuje o probléme s otvorenou architektúrou, nie koľko komponentov vie pomenovať. |
| Čo sa zaraďuje do rubriky? | Kritériá, ukotvené skóre a zoznam kritických chýb. |
| Koľko kritérií? | Tri až päť. Menej kritérií sa ľahšie hodnotí a kalibruje; ponechajte si iba tie, ktoré môžete podložiť pozorovateľnými dôkazmi. |
| Kto to overuje? | Vedúci inžinier, ktorý vykonáva prácu, plus váš tím ľudí pre spravodlivosť. |
| Ako si to udržiavate konzistentné? | Najprv nezávisle vyhodnoťte a potom porovnajte dôkazy v kalibračnej relácii. |
| Čo rubrika nedokáže? | Opravte nejasnú rolu, nereprezentatívnu úlohu alebo anketárov, ktorí nie sú vyškolení na jej používanie. |
| Ako vieš, že to funguje? | Hodnotenia anketárov sa viac zhodujú na tej istej nahrávke alebo zápise a skóre sa zhodujú s neskorším výkonom. |
1. Definujte výkon, ktorý hodnotíte
Začnite s prácou, nie s témou. Pre seniorného inžiniera je relevantná úloha zvyčajne: pri nejednoznačnom probléme urobiť a obhájiť architektonické rozhodnutia a povedať, čo by ich zmenilo. Napíšte to ako jednu vetu a špecifikujte rolu, úroveň a kontext, v ktorom by daná osoba pracovala. Seniorská pozícia v oblasti backendu v platobnej spoločnosti má iné požiadavky ako seniorská pozícia v oblasti platformy v mediálnej spoločnosti.
Napíšte aj to, čo nehodnotíte. Rýchlosť písania, znalosť konkrétneho dodávateľa cloudových služieb a schopnosť úhľadne kresliť na zdieľanú tabuľu sú bežné kritériá, ktoré sa vyskytujú náhodne. Ak nie sú súčasťou práce, nemali by ovplyvniť skóre.
2. Vyberte si reprezentatívnu, neznámu úlohu
Vyberte si problém, ktorý je ukážkou skutočnej práce a ktorý si kandidáti nevedia zapamätať. Všeobecne známa výzva („navrhnite skracovač URL“) odmeňuje precvičovanie. Použite problém z vlastnej oblasti bez citlivých detailov a požiadajte vedúceho inžiniera, aby ho vyriešil samostatne, aby ste vedeli, ako vyzerá rozumný rozsah odpovedí.
Akceptujte, že jeden 45-minútový problém je len ukážkou časti toho, čo robí seniorný inžinier. Môže ukázať, ako niekto zvláda nejednoznačnosť, obmedzenia a kompromisy. Nemôže ukázať, ako mentoruje, vykonáva migráciu niekoľko mesiacov alebo rieši dlhý incident. Uveďte to v dokumentácii k náboru, aby nikto nepreceňoval skóre.
3. Napíšte pozorovateľné kritériá a kotvy
Vytvorte kritériá na základe dôkazov, ktoré si môžete zapísať. Krátky, funkčný súbor pre kolo návrhu systému na vrcholovej úrovni:
| kritérium | Pozorovateľné dôkazy |
|---|---|
| Rámovanie problému | Pred kreslením kladie objasňujúce otázky, uvádza predpoklady a odsúhlasuje rozsah. |
| Kompromisné uvažovanie | Uvedie aspoň dve možnosti kľúčového rozhodnutia, povie, koľko každá z nich stojí, a vyberie si ich s odôvodnením. |
| Hĺbka | Na požiadanie sa zaoberá jednou alebo dvoma komponentmi bez straty významu celého dizajnu. |
| Spracovanie zmien | Upraví návrh po pridaní obmedzenia a vysvetlí, čo je teraz slabšie. |
| Komunikácia | Vďaka tomu je dizajn zrozumiteľný aj pre kolegu, ktorý nebol v miestnosti. |
Každé kritérium ohodnoťte na stupnici od 0 do 2: 0 znamená chýbajúce alebo nepodložené, 1 znamená čiastočné s relevantnými opomenutiami a 2 znamená úplné a zdôvodnené podľa dohodnutých kritérií. Základné body sú dôležitejšie ako stupnica. Napríklad pri uvažovaní o kompromisoch 0 znamená „pomenuje technológiu bez udania dôvodu“, 1 znamená „uvádza dôvod, ale nie náklady na alternatívu“ a 2 znamená „porovnáva možnosti s uvedenými obmedzeniami a hovorí, čoho by sa vzdali“.
Kritické chyby definujte samostatne, napríklad ignorovanie požiadavky na ochranu údajov, ktorú uviedol anketár, alebo navrhnutie dizajnu, ktorý nespĺňa stanovené prísne obmedzenie. Priemerné skóre nesmie nikdy zakrývať kritickú chybu. Vyhnite sa bodovaniu na základe sebavedomia alebo rýchlosti; tichý kandidát, ktorý starostlivo uvažuje, by nemal byť penalizovaný za štýl. Náš sprievodca hodnotením úsudku a riešenia problémov sa zaoberá tým, ako písať kritériá pre úlohy uvažovania.
4. Kalibrujte hodnotiteľov a spustite pilotný projekt
Rubrika, ktorú dvaja ľudia čítajú odlišne, ešte nie je rubrikou. Predtým, ako ju použijete naživo:
- Vyberte príklad. Použite písomný návrh od kolegu, ktorý nie je v procese prijímania do zamestnania, alebo simulovaný záznam pohovoru so súhlasom danej osoby.
- Bodujte nezávisle. Každý hodnotiteľ najprv zapíše dôkazy pre každé kritérium predtým, ako uvidí skóre ostatných.
- Porovnajte dôkazy. Ak sa skóre líši o viac ako jeden bod, zistite, či bola kotva nejednoznačná alebo či si hodnotitelia všimli odlišné veci. Prepíšte kotvu.
- Zopakujte na druhom príklade. Prestaňte, keď sa nezhody týkajú úsudku, nie formulácií.
Sprievodca od spoločnosti Google spája školenie anketárov s kalibráciou, aby boli anketári konzistentní a sebavedomí vo svojich hodnoteniach, čo je tá istá myšlienka. Požiadajte špecialistu, napríklad technického manažéra zo susedného tímu, aby preskúmal prípad a kľúčové osobnosti, a požiadajte svoj personálny tím, aby preskúmal proces z hľadiska spravodlivosti a právnych požiadaviek vo vašich regiónoch prijímania do zamestnania.
5. Vypracujte realistický príklad
Ilustrácia. Vedúci inžinier by mal pred použitím overiť prípad a zodpovedať kritériá.
Prípadová štúdia. Kandidáti navrhnú notifikačnú službu pre donáškovú aplikáciu: zákazníci dostanú aktualizácie, keď sa stav objednávky zmení. Rozsah je opísaný iba ako „niekoľko miliónov objednávok denne, väčšinou v čase jedla“.
Prvý pokus. „Medzi objednávkovú službu a notifikačného pracovníka by som vložil front správ, každú udalosť by som uložil do databázy a odosielal push notifikácie.“ Štruktúra je rozumná, ale kandidát sa nepýtal, aké kanály sú potrebné, čo sa stane, ak sa notifikácia oneskorí alebo sa odošle dvakrát, alebo čo znamená špičkové zaťaženie pre front.
Spätná väzba od anketára a opakovaný pokus. Tazateľ sa pýta: „Čo je tu horšie: neskoré oznámenie alebo duplicitné?“ Tazatelia by mali mať štandardný postup pre každé kritérium, aby každý kandidát mal rovnakú šancu preukázať svoje zručnosti.
Dôraznejší pokus. „Duplikát je pre push správy horší, pretože ľudia by prestali dôverovať aplikácii, takže by som odosielanie urobil idempotentným s kľúčom objednávky a stavu. Pre SMS by som akceptoval občasné duplikáty, pretože náklady sú dôležitejšie. Špičkové zaťaženie v čase jedla znamená, že front by mal absorbovať výbuchy a pracovníci by sa mali škálovať podľa hĺbky frontu. Nie som si istý, aký prísny je prísľub dodacej doby, takže by som sa predtým, ako si vyberiem medzi jednoduchou politikou opakovaného pokusu a prioritným pruhom pre časovo kritické aktualizácie, opýtal produktového vlastníka.“
Bodovanie. Podľa kritérií táto odpoveď získava 2 body za kompromisné zdôvodnenie (dve možnosti, náklady, dôvod), 2 body za formulovanie problému (uvádza predpoklady, kladie otázku) a 1 bod za zvládnutie zmien, kým anketár nepridá obmedzenie. Všimnite si, že anketár hodnotí dôkazy, nie porovnáva kandidátov návrh s jeho vlastným preferovaným návrhom.
Kde pomáha interaktívne doručovanie
Zručnosť, ktorú si tu budujete, je určená pre anketárov a interaktívna prax sa k nej hodí. V rámci živej kalibračnej relácie ukážte vzorový návrh, požiadajte každého hodnotiteľa, aby súkromne ohodnotil každé kritérium a pred diskusiou odhaľte rozpätie. Ľudia sa zaviažu k hodnoteniu skôr, ako začujú najhlasnejší hlas v miestnosti, a nezhody poukazujú na kotvy, ktoré je potrebné prepísať. Ten istý príklad a rubrika môžu pre nových anketárov, ktorí sa pripoja neskôr, bežať vlastným tempom, pričom živá relácia sa bude zaoberať nejednoznačnými prípadmi. AhaSlides podporuje interaktívne učenie a prechod medzi živým a vlastným tempom. Je to prezentačný a vzdelávací nástroj, nie platforma na pohovory ani systém sledovania uchádzačov, preto si vo svojich náborových nástrojoch uchovávajte skutočné údaje o kandidátoch. Skontrolujte všetky konkrétne funkcie tvorby obsahu, spätnej väzby alebo reportovania, na ktoré sa plánujete spoľahnúť, v porovnaní s vaším vlastným pracovným postupom. Pomoc s výberom formátov nájdete v našom sprievodcovi, kedy používať adaptívne, interaktívne a živé učenie , a v prípade návrhu spätnej väzby si pozrite návrh interaktívnej praxe s užitočnou spätnou väzbou.
Zmerajte, čo sa zmenilo
Vopred sa rozhodnite, čo by ukázalo, že rubrika funguje. Praktické sú dve kritériá. Po prvé, zhoda: pri rovnakom zaznamenanom alebo písomnom návrhu sa nezávislí anketári po kalibrácii zhodujú bližšie ako predtým? Definujte, kto je zahrnutý, menovateľa a načasovanie. Po druhé, relevantnosť: súvisia skóre po niekoľkých mesiacoch s tým, ako si noví zamestnanci počínajú v kontrolách návrhov? Pri malom počte prijatých zamestnancov to bude len približný signál, preto to berte ako výzvu na prehodnotenie rubriky, nie ako dôkaz. Ak sa výsledky zlepšia, pred pripísaním rubrike skontrolujte, čo sa ešte zmenilo súčasne, napríklad nová definícia role alebo iný kanál získavania zdrojov.
Obmedzenia, ktoré môžu pretrvávať
- Reprezentatívnosť. Jeden problém je vzorkou časti práce. Spárujte ho s inými dôkazmi, ako je napríklad vzorka práce alebo štruktúrovaná konverzácia o minulých rozhodnutiach.
- Spravodlivosť. Rubrika znižuje variácie, ale sama o sebe neodstraňuje skreslenie. Preskúmajte prípad a ukotvenia, či existujú predpoklady týkajúce sa pozadia, a overte si výsledky v rámci skupín so svojím personálnym tímom.
- Čas anketára. Kalibrácia trvá hodiny. Bez nej je rubrika len dlhšou formou.
- Jasnosť rolí. Ak sa tím nezhodne na tom, čo znamená „senior“, žiadna rubrika to nevyrieši.
- Právny kontext. Hodnotenie prijímania do zamestnania je v rôznych krajinách regulované odlišne. Pred zmenou procesu si overte miestne požiadavky.
Často kladené otázky
Čo by mala obsahovať rubrika pohovoru o návrhu systému?
Tri až päť kritérií, ako je rámovanie problému, kompromisné zdôvodnenie, hĺbka, zvládnutie zmien a komunikácia, ukotvené skóre od 0 do 2 pre každé z nich a samostatný zoznam kritických chýb.
Ako zabránite anketárom v hodnotení na základe sebavedomia?
Nechajte ich napísať pozorovateľné dôkazy pre každé kritérium predtým, ako udelia skóre, a nech každé skóre ukotvujú v správaní, napríklad „porovnáva dve možnosti a uvádza náklady na tú, ktorú si nevybral“.
Ako dlho by mal trvať pohovor o návrhu systému?
Pohovory sú často naplánované na približne hodinu, ale správna dĺžka je taká, ktorá kandidátovi umožní prejaviť všetky kritériá vo vašej rubrike. Otestujte si to v pilotnom projekte.
Môže rubrika zabezpečiť, aby bol nábor objektívny?
Vďaka tomu je to konzistentnejšie a ľahšie sa kontroluje, ale úsudok zostáva relevantný. Cieľom je, aby sa anketári zhodli z rovnakých dôvodov, nie aby sa ľudia z rozhodovania vylúčili.
Kde začať
Vyberte si jednu voľnú pozíciu a napíšte jednovetné vyhlásenie o výkonnosti. Navrhnite tri kritériá s kotvami a krátkym zoznamom kritických chýb a potom nechajte seniorného inžiniera samostatne vyriešiť váš prípad. Uskutočnite jedno kalibračné stretnutie s ľuďmi, ktorí budú viesť pohovor, prepíšte kotvy, ktoré spôsobili nezhodu, a predtým, ako rubriku použijete vo veľkom, ju pilotne otestujte na malom počte skutočných pohovorov.
Ak chcete vidieť, ako by sa kalibračná relácia mohla uskutočniť naživo s vašimi vlastnými anketármi a následne ju znova použiť vlastným tempom, preskúmajte AhaSlides.
