Dva kandidáti dostanou stejnou výzvu: navrhnout službu, která uživatelům umožní sdílet krátké videoklipy. První nakreslí za deset minut přehledný diagram, pojmenuje všechny oblíbené komponenty a mluví s naprostou sebedůvěrou. Druhý začíná pomaleji, ptá se, kdo jsou uživatelé, říká, kterou částí si není jistý, a zvolí jiný způsob ukládání dat s jasným důvodem. Tazatel A hodnotí prvního kandidáta jako „silného“. Tazatel B, který se účastnil stejné konzultace, hodnotí druhého jako „silného“. Jejich poznámky se sotva překrývají.
Toto je ilustrativní scénář, nikoli zdokumentovaný incident při náboru. Je to natolik běžné, že si ho většina inženýrských týmů uvědomí. Oba návrhy byly obhajitelné. Lišilo se to, co každý tazatel hodnotil: plynulost, rychlost, znalost vlastní preferované architektury nebo kvalita argumentace. Tato příručka je určena pro manažery inženýrství a vedoucí inženýrských aktivit, kteří potřebují rubriku pro pohovory o návrhu systému, která hodnotí seniorní kandidáty na základě stejných důkazů, aby dva tazatelé mohli dospět ke stejnému závěru ze stejných důvodů. Každé níže uvedené kritérium by mělo být ověřeno seniorním inženýrem a zkontrolováno z hlediska spravedlnosti, než jej použijete při skutečném náborovém rozhodnutí.
Co je to rubrika pro pohovor o návrhu systému?
Rubrika pro pohovor o návrhu systému je bodovací průvodce, který uvádí, co hledáte, jak každé skóre vypadá v pozorovatelném chování a které chyby nelze kompenzovat silnými stránkami jinde. Je umístěn vedle otázky, takže každý tazatel shromažďuje důkazy podle stejných kritérií. Průvodce strukturovanými rozhovory od Googlu nazývá tyto nástroje pro hodnocení „rubriky“ a uvádí, že je vědci nazývají „behaviorálně ukotvené hodnotící škály“. Uvádí, že strukturované rozhovory poskytují vyšší prediktivní validitu a menší rozdíly mezi demografickými skupinami a že předem připravené otázky, průvodci a rubriky šetří v průměru 40 minut na pohovor. Celý návod si můžete přečíst v dokumentu Google re:Work: Průvodce strukturovanými rozhovory.
Veřejně dostupné příklady se snadno nacházejí a většina z nich je napsána pro kandidáty. Tato příručka je pro opačnou stranu stolu.
Rychlá fakta
| Otázka | Stručná odpověď |
|---|---|
| Co hodnotíte? | Jak kandidát uvažuje o problému s otevřenou architekturou, ne kolik komponent dokáže pojmenovat. |
| Co se zadává do rubriky? | Kritéria, ukotvená skóre a seznam kritických chyb. |
| Kolik kritérií? | Tři až pět. Méně kritérií se snáze hodnotí a kalibruje; ponechte si pouze ta, která můžete podložit pozorovatelnými důkazy. |
| Kdo to validuje? | Vedoucí inženýr, který práci vykonává, a váš tým pro zajištění spravedlnosti. |
| Jak si to udržujete konzistentní? | Nejprve proveďte nezávislé hodnocení a poté porovnejte důkazy v kalibračním sezení. |
| Co rubrika neumí? | Opravte nejasnou roli, nereprezentativní úkol nebo tazatele, kteří nejsou proškoleni k jejímu používání. |
| Jak víš, že to funguje? | Hodnocení tazatelů se více shodují na stejné nahrávce nebo zápisu a skóre se shoduje s pozdějším výkonem. |
1. Definujte výkon, který hodnotíte
Začněte s prací, ne s tématem. Pro seniorního inženýra je obvykle relevantním úkolem: při zadání nejednoznačného problému učinit a obhájit architektonická rozhodnutí a uvést, co by je změnilo. Napište to jako jednu větu a specifikujte roli, úroveň a kontext, ve kterém by daná osoba pracovala. Seniorní pozice v oblasti backendu v platební společnosti má jiné požadavky než seniorní pozice v oblasti platformy v mediální společnosti.
Také pište, co nehodnotíte. Rychlost psaní, znalost konkrétního cloudového dodavatele a schopnost úhledně kreslit na sdílenou tabuli jsou běžná kritéria pro náhodné hodnocení. Pokud nejsou součástí práce, neměly by ovlivnit skóre.
2. Vyberte si reprezentativní, neznámý úkol
Vyberte si problém, který je ukázkou skutečné práce a který si kandidáti nedokážou zapamatovat. Všeobecně známá výzva („navrhněte zkracovač URL“) odměňuje opakování. Použijte problém z vaší vlastní oblasti bez citlivých detailů a požádejte zkušeného inženýra, aby jej vyřešil samostatně, abyste věděli, jak vypadá rozumný rozsah odpovědí.
Přijměte fakt, že jeden 45minutový problém ukáže jen část toho, co dělá seniorní inženýr. Může ukázat, jak někdo zvládá nejednoznačnost, omezení a kompromisy. Nemůže ukázat, jak mentoruje, jak měsíce provádí migraci nebo jak řeší dlouhý incident. Uveďte to v dokumentaci k náboru, aby nikdo nepřeceňoval hodnocení.
3. Zapište pozorovatelná kritéria a kotvy
Vytvořte kritéria na základě důkazů, které si můžete zapsat. Krátký, funkční soubor pro kole návrhu systému na vrcholovém stupni:
| Kritérium | Pozorovatelné důkazy |
|---|---|
| Rámování problému | Klade upřesňující otázky, uvádí předpoklady a před zahájením kreslení odsouhlasí rozsah. |
| Kompromisní uvažování | Uvede alespoň dvě možnosti klíčového rozhodnutí, uvede, kolik každá z nich stojí, a zvolí si je s odůvodněním. |
| Hloubka | Na požádání se zaměří na jednu nebo dvě komponenty, aniž by ztratil důležitost celého návrhu. |
| Zvládání změn | Upraví návrh po přidání omezení a vysvětlí, co je nyní slabší. |
| Komunikace | Díky tomu je návrh srozumitelný i pro kolegu, který nebyl v místnosti. |
Každé kritérium ohodnoťte od 0 do 2: 0 znamená, že chybí nebo není podloženo, 1 znamená, že je částečné s relevantními opomenutími a 2 znamená, že je úplné a odůvodněné podle dohodnutých kritérií. Ukotvení je důležitější než stupnice. Například pro uvažování o kompromisech 0 znamená „pojmenovává technologii bez udání důvodu“, 1 znamená „uvádí důvod, ale ne náklady na alternativu“ a 2 znamená „porovnává možnosti s uvedenými omezeními a říká, čeho by se vzdali“.
Kritické chyby definujte samostatně, například ignorování požadavku na ochranu osobních údajů, který stanovil tazatel, nebo návrh designu, který nesplňuje stanovené tvrdé omezení. Průměrné skóre nesmí nikdy zakrývat kritickou chybu. Vyhněte se hodnocení sebevědomí nebo rychlosti; tichý kandidát, který pečlivě uvažuje, by neměl být penalizován za styl. Náš průvodce hodnocením úsudku a řešení problémů se zabývá tím, jak psát kritéria pro úkoly s uvažováním.
4. Kalibrace hodnotitelů a spuštění pilotního projektu
Rubrika, kterou dva lidé čtou odlišně, ještě není rubrikou. Než ji použijete naživo:
- Vyberte příklad. Použijte písemný návrh od kolegy, který se neúčastní náborového procesu, nebo simulovaný záznam pohovoru se souhlasem dané osoby.
- Bodujte samostatně. Každý hodnotitel nejprve zapíše důkazy pro každé kritérium, než si prohlédne skóre ostatních.
- Porovnejte důkazy. Pokud se skóre liší o více než jeden bod, zjistěte, zda byla kotva nejednoznačná, nebo zda si hodnotitelé všimli jiných věcí. Kotvu přepište.
- Opakujte na druhém příkladu. Zastavte se, když se neshody týkají úsudku, ne formulací.
Průvodce od Googlu spojuje školení tazatelů s kalibrací, aby tazatelé byli ve svých hodnoceních konzistentní a sebejistí, což je stejná myšlenka. Požádejte specialistu, například manažera technického oddělení ze sousedního týmu, aby zkontroloval případ a ukotvení, a požádejte svůj tým pro lidské zdroje, aby zkontroloval proces z hlediska spravedlnosti a právních požadavků ve vašich regionech, kde nábor probíhá.
5. Vypracujte realistický příklad
Ilustrativní příklad. Vedoucí inženýr by měl před použitím ověřit případ a zodpovědět kritéria.
Případová studie. Kandidáti navrhnou notifikační službu pro doručovací aplikaci: zákazníci dostávají aktualizace, když se změní stav objednávky. Rozsah je popsán pouze jako „několik milionů objednávek denně, většinou v době jídla“.
První pokus. „Mezi objednávkovou službu a notifikačního pracovníka bych vložil frontu zpráv, každou událost bych ukládal do databáze a odesílal push notifikace.“ Struktura je rozumná, ale kandidát se nezeptal, jaké kanály jsou potřeba, co se stane, když se notifikace zpozdí nebo je odeslána dvakrát, ani co znamená špičkové zatížení pro frontu.
Zpětná vazba od tazatele a opakování pokusu. Tazatel se ptá: „Co je horší: pozdní oznámení, nebo duplicitní?“ Tazatelé by měli mít pro každé kritérium standardní postup, aby každý kandidát měl stejnou šanci prokázat dané dovednosti.
Důraznější pokus. „Duplikát je pro push zprávy horší, protože by lidé přestali aplikaci důvěřovat, takže bych odesílání udělal idempotentním s klíčem objednávky a stavu. U SMS bych akceptoval občasné duplikáty, protože náklady jsou důležitější. Špičkové zatížení v době jídla znamená, že fronta by měla absorbovat výbuchy a pracovníci by se měli škálovat podle hloubky fronty. Nejsem si jistý, jak striktní je slib dodací lhůty, takže bych se před výběrem mezi jednoduchou politikou opakování a prioritní linií pro časově kritické aktualizace zeptal vlastníka produktu.“
Bodování. Podle zadané rubriky tato odpověď získává 2 body za kompromisní uvažování (dvě možnosti, náklady, důvod), 2 body za formulování problému (uvádí předpoklady, klade otázku) a 1 bod za zvládání změn, dokud tazatel nepřidá omezení. Všimněte si, že tazatel hodnotí důkazy, nikoli porovnává návrh kandidáta s jeho vlastním preferovaným.
Kde pomáhá interaktivní výuka
Dovednost, kterou si zde budujete, je určena pro tazatele a interaktivní praxe se k ní hodí. V živé kalibrační relaci ukažte vzorový návrh, požádejte každého hodnotitele, aby soukromě ohodnotil každé kritérium, a před diskusí odhalte rozpětí. Lidé se zavážou ke skóre dříve, než uslyší nejhlasitější hlas v místnosti, a neshody poukazují na kotvy, které je třeba přepsat. Stejný příklad a rubrika mohou probíhat vlastním tempem pro nové tazatele, kteří se připojí později, s živou relací k diskusi o nejednoznačných případech. AhaSlides podporuje interaktivní učení a přecházení mezi živým a vlastním tempem prezentace. Jedná se o nástroj pro prezentace a učení, nikoli platformu pro pohovory ani systém pro sledování uchazečů, proto ve svých náborových nástrojích uchovávejte skutečná data o kandidátech. Zkontrolujte všechny konkrétní funkce pro tvorbu obsahu, zpětnou vazbu nebo reporting, na které se chcete spolehnout, oproti vašemu vlastnímu pracovnímu postupu. Pomoc s výběrem formátů naleznete v našem průvodci, kdy používat adaptivní, interaktivní a živé učení , a pro návrh zpětné vazby se podívejte na návrh interaktivní praxe s užitečnou zpětnou vazbou.
Změřte, co se změnilo
Předem se rozhodněte, co by mělo prokázat, že rubrika funguje. Praktická jsou dvě měřítka. Zaprvé, shoda: Dostanou se nezávislí tazatelé po kalibraci do stejného zaznamenaného nebo písemného návrhu blíže k sobě než předtím? Definujte, kdo je zahrnut, jmenovatel a načasování. Zadruhé, relevance: Vztahují se skóre po několika měsících k tomu, jak si noví zaměstnanci vedou v kontrolách návrhů? U malého počtu přijatých se bude jednat pouze o přibližný signál, proto jej berte jako výzvu k přezkoumání rubriky, nikoli jako důkaz. Pokud se výsledky zlepší, předtím, než rubrice připíšete její hodnotu, zkontrolujte, co se ještě změnilo současně, například nová definice role nebo jiný kanál získávání zdrojů.
Omezení, která mohou přetrvávat
- Reprezentativnost. Jeden problém je vzorkem části práce. Spojte ho s dalšími důkazy, jako je například pracovní ukázka nebo strukturovaná konverzace o minulých rozhodnutích.
- Spravedlnost. Rubrika snižuje variabilitu, ale sama o sobě neodstraňuje zkreslení. Projděte si případ a uveďte předpoklady týkající se pozadí a ověřte si výsledky napříč skupinami se svým personálním týmem.
- Čas tazatele. Kalibrace trvá hodiny. Bez ní je rubrika jen delší formou.
- Jasnost rolí. Pokud se tým neshodne na tom, co znamená „senior“, žádná rubrika to nevyřeší.
- Právní kontext. Hodnocení přijímacích řízení je v různých místech regulováno odlišně. Před změnou procesu si ověřte místní požadavky.
Často kladené otázky
Co by měla obsahovat rubrika pro pohovor o návrhu systému?
Tři až pět kritérií, jako je rámování problému, kompromisní uvažování, hloubka, zvládání změn a komunikace, ukotvené skóre od 0 do 2 pro každé z nich a samostatný seznam kritických chyb.
Jak zabránit tazatelům v hodnocení na základě sebevědomí?
Nechte je zapsat pozorovatelné důkazy pro každé kritérium před udělením skóre a uveďte každé skóre k chování, například „porovná dvě možnosti a uvede náklady na tu, kterou nevybral“.
Jak dlouhý by měl být pohovor o návrhu systému?
Pohovory jsou často naplánovány na zhruba hodinu, ale správná délka je taková, která kandidátovi umožní prokázat všechna kritéria ve vaší rubrice. Vyzkoušejte to v pilotním projektu.
Může rubrika objektivizovat nábor?
Díky tomu je to konzistentnější a snadněji se prověřuje, ale úsudek zůstává na místě. Cílem je, aby se tazatelé shodli ze stejných důvodů, ne aby se lidé z rozhodování vylučovali.
Kde začít
Vyberte si jednu volnou pozici a napište jednověté prohlášení o výkonu. Navrhněte tři kritéria s kotvami a krátkým seznamem kritických chyb a poté nechte seniorního inženýra samostatně vyřešit váš případ. Proveďte jednu kalibrační schůzku s lidmi, kteří budou vést pohovor, přepište kotvy, které způsobily neshody, a otestujte rubriku na malém počtu skutečných pohovorů, než ji budete široce používat.
Chcete-li vidět, jak by kalibrační relace mohla probíhat živě s vašimi vlastními tazateli a následně by mohla být znovu použita vlastním tempem, prozkoumejte AhaSlides.
