Két jelölt ugyanazt a feladatot kapja: tervezzen egy szolgáltatást, amely lehetővé teszi a felhasználók számára rövid videoklipek megosztását. Az első tíz perc alatt letisztult diagramot rajzol, megnevezi az összes népszerű komponenst, és teljes magabiztossággal beszél. A második lassabban kezd, megkérdezi, hogy kik a felhasználók, megmondja, melyik résszel kapcsolatban nem biztos, és más tárolási módot választ, világos indoklással. Az „A” interjúztató az első jelöltet „erősnek” értékeli. A „B” interjúztató, aki ugyanazon az interjún vett részt, a másodikat „erősnek” értékeli. Jegyzeteik alig fedik át egymást.
Ez egy szemléltető forgatókönyv, nem egy dokumentált felvételi incidens. Elég gyakori ahhoz, hogy a legtöbb mérnökcsapat felismerje. Mindkét terv védhető volt. Ami különbözött, az az volt, hogy mit pontoztak az interjúztatók: folyékonyságot, gyorsaságot, a saját preferált architektúrájukkal való ismeretséget vagy az érvelés minőségét. Ez az útmutató mérnöki vezetőknek és mérnöki képzési vezetőknek szól, akiknek olyan rendszertervezési interjú rubrikára van szükségük, amely ugyanazon bizonyítékok alapján pontozza a vezető jelölteket, így két interjúztató ugyanazon okokból ugyanarra a következtetésre juthat. Az alábbi kritériumokat egy vezető mérnöknek kell validálnia, és a méltányosság szempontjából felül kell vizsgálnia, mielőtt egy valódi felvételi döntésben használná.
Mi az a rendszertervezési interjúrublika?
A rendszertervezési interjú rubrikája egy pontozási útmutató, amely felsorolja, hogy mit keresel, hogyan néz ki az egyes pontszámok a megfigyelhető viselkedésben, és mely hibákat nem lehet ellensúlyozni máshol található erősségekkel. A kérdés mellett található, így minden kérdező ugyanazon kritériumok alapján gyűjt bizonyítékokat. A Google strukturált interjúzásról szóló útmutatója ezeket a pontozási eszközöket „rubrikáknak” nevezi, és megjegyzi, hogy a kutatók „viselkedésfüggő értékelő skáláknak” nevezik őket. Az útmutató arról számol be, hogy a strukturált interjúk magasabb prediktív érvényességet és kisebb különbségeket biztosítanak a demográfiai csoportok között, valamint hogy az előre elkészített kérdések, útmutatók és rubrikák átlagosan 40 percet takarítanak meg interjúnként. A teljes útmutatót a Google re:Work: Útmutató a strukturált interjúzáshoz című útmutatóban olvashatod.
A nyilvános példák könnyen megtalálhatók, és a legtöbbjük jelöltek számára készült. Ez az útmutató a másik oldalra vonatkozik.
Gyors tények
| Kérdés | Rövid válasz |
|---|---|
| Mit értékelsz? | Hogyan érvel egy jelölt egy nyílt végű architektúraproblémáról, nem pedig az, hogy hány komponenst tud megnevezni. |
| Mi kerüljön egy rubrikába? | Kritériumok, rögzített pontszámok és a kritikus hibák listája. |
| Hány kritérium? | Háromtól ötig. Kevesebb kritériumot könnyebb pontozni és kalibrálni; csak azokat tartsd meg, amelyeket megfigyelhető bizonyítékokkal tudsz alátámasztani. |
| Ki igazolja azt? | Egy vezető mérnök, aki elvégzi a munkát, plusz a csapatod a korrektség kedvéért. |
| Hogyan tartod ezt következetesen? | Először függetlenül pontozzon, majd hasonlítsa össze a bizonyítékokat egy kalibrációs ülésen. |
| Mit nem tehet egy rubrika? | Javítsd ki a nem egyértelmű szerepköröket, a nem reprezentatív feladatokat, vagy azokat az interjúztatókat, akik nincsenek kiképezve ezek használatára. |
| Honnan tudod, hogy működik? | Az interjúztatók pontszámai jobban egyeznek ugyanazon a felvételen vagy leíráson, és az eredmények összhangban vannak a későbbi teljesítménnyel. |
1. Határozza meg az értékelt teljesítményt
Kezdd a munkával, ne a témával. Egy vezető mérnök számára a releváns feladat általában a következő: egy kétértelmű probléma esetén architekturális döntéseket kell hozni és megvédeni, és el kell mondani, hogy mi változtatná ezeket. Írd le ezt egyetlen mondatban, és határozd meg a szerepkört, a szintet és a kontextust, amelyben a személy dolgozna. Egy fizetési vállalatnál dolgozó vezető backend szerepkörnek más a feltételei, mint egy médiavállalatnál dolgozó vezető platform szerepkörnek.
Azt is írd le, hogy mit nem értékelsz. A gépelési sebesség, az adott felhőszolgáltatóval való ismeretség és a megosztott táblára való szép rajzolás képessége gyakori véletlen kritériumok. Ha ezek nem részei a munkának, akkor nem befolyásolhatják az pontszámot.
2. Válasszon egy reprezentatív, ismeretlen feladatot
Válassz egy olyan feladatot, amely a valódi munkát példázza, és amelyet a jelöltek nem tudnak kívülről megtanulni. Egy széles körben ismert feladat ("URL-rövidítő tervezése") jutalmazza a gyakorlást. Használj egy saját szakterületedről származó feladatot, amelyből eltávolítod a bizalmas részleteket, és kérj meg egy vezető mérnököt, hogy oldja meg önállóan, így tudhatod, hogy milyen válaszok lennének adhatók.
Fogadd el, hogy egyetlen 45 perces problémamegoldás csak egy részét mutatja be egy vezető mérnök munkájának. Megmutathatja, hogyan kezeli valaki a kétértelműséget, a korlátokat és a kompromisszumokat. Nem mutathatja meg, hogyan mentorál, hogyan futtat hónapokig tartó migrációt, vagy hogyan kezel egy hosszú incidenst. Ezt a felvételi dokumentációdban is említsd, hogy senki ne olvassa túl a pontszámot.
3. Írj megfigyelhető kritériumokat és horgonypontokat
Építsen fel kritériumokat olyan bizonyítékok alapján, amelyeket leírhat. Rövid, működőképes készlet egy vezető rendszertervezési fordulóhoz:
| Kritérium | Megfigyelhető bizonyítékok |
|---|---|
| Probléma keretezése | Tisztázó kérdéseket tesz fel, feltételezéseket fogalmaz meg, és a rajzolás előtt egyezteti a terjedelmet. |
| Kompromisszumos érvelés | Legalább két lehetőséget megnevez egy kulcsfontosságú döntéshez, megmondja, hogy mennyibe kerül mindegyik, és indoklással választ. |
| Mélység | Kérésre egy vagy két komponensre is mélyrehatóan kitér anélkül, hogy a teljes terv elveszne. |
| Változás kezelése | Módosítja a tervet, amikor egy kényszert adnak hozzá, és elmagyarázza, hogy mi a gyengébb. |
| Kommunikáció | Érthetővé teszi a dizájnt egy olyan kolléga számára is, aki nem volt a szobában. |
Értékeljen minden kritériumot 0-tól 2-ig: a 0 hiányzik vagy nem alátámasztott, az 1 részleges, releváns hiányosságokkal, a 2 pedig teljes és a megállapodott kritériumok alapján indokolt. A horgonypontok fontosabbak, mint a skála. Kompromisszumos érvelés esetén például a 0 azt jelenti, hogy „megnevezi a technológiát anélkül, hogy megmondaná, miért”, az 1 azt jelenti, hogy „indoklást ad, de nem az alternatíva költségét”, a 2 pedig azt jelenti, hogy „összehasonlítja a lehetőségeket a megadott korlátokkal, és megmondja, hogy miről mondanának le”.
A kritikus hibákat külön kell meghatározni, például a kérdező által meghatározott adatvédelmi követelmény figyelmen kívül hagyását, vagy olyan terv javaslatát, amely nem felel meg egy meghatározott szigorú korlátozásnak. Az átlagos pontszám soha nem rejthet el kritikus hibát. Kerülje a magabiztosság vagy a sebesség alapján történő pontozást; egy csendes, gondosan érvelő jelöltet nem szabad büntetni a stílusa miatt. Az ítélőképesség és a problémamegoldás értékeléséhez használt útmutatónk azt is ismerteti, hogyan kell kritériumokat megfogalmazni az érvelési feladatokhoz.
4. Értékelők kalibrálása és kísérleti projekt lebonyolítása
Egy olyan rubrika, amit két ember másképp olvas, még nem rubrika. Mielőtt élőben használnád:
- Válassz egy példát. Használj egy olyan kolléga írásos tervét, aki nem vesz részt a felvételi folyamatban, vagy egy szimulált interjúfelvételt a személy beleegyezésével.
- Pontozás függetlenül. Minden értékelő az egyes kritériumokhoz tartozó bizonyítékokat írja le, mielőtt bárki más pontszámát megnézné.
- Hasonlítsa össze a bizonyítékokat. Amennyiben az eredmények egy pontnál nagyobb mértékben térnek el egymástól, derítsd ki, hogy a horgonypont kétértelmű volt-e, vagy az értékelők eltérő dolgokat vettek-e észre. Írd át a horgonyt.
- Ismételd meg egy második példával. Állj meg, ha a nézeteltérések az ítélkezésről, nem pedig a megfogalmazásról szólnak.
A Google útmutatója az interjúztatók képzését kalibrációval párosítja, hogy az interjúztatók következetesek és magabiztosak legyenek az értékeléseikben, ami ugyanazt az elvet tükrözi. Kérj meg egy szakembert, például egy szomszédos csapat mérnöki vezetőjét, hogy tekintse át az esetet és a horgonypontokat, és kérd meg a személyzeti csapatodat, hogy tekintsék át a folyamatot a méltányosság és a felvételi régiókban érvényes jogi követelmények szempontjából.
5. Dolgozz ki egy valós példát
Szemléltető példa. Egy vezető mérnöknek validálnia kell az esetet és meg kell válaszolnia a kritériumokat használat előtt.
Az esettanulmány. A jelöltek egy értesítési szolgáltatást terveznek egy kézbesítő alkalmazáshoz: az ügyfelek frissítéseket kapnak, amikor egy rendelés állapota megváltozik. A mennyiséget csak "napi néhány millió rendelésként, többnyire étkezések idején" írják le.
Első próbálkozás. „Beállítanék egy üzenetsort a rendelési szolgáltatás és egy értesítési munkatárs közé, minden eseményt egy adatbázisban tárolnék, és push értesítéseket küldenék.” A struktúra ésszerű, de a jelölt nem kérdezte meg, hogy milyen csatornákra van szükség, mi történik, ha egy értesítés késik vagy kétszer kerül elküldésre, illetve mit jelent a csúcsterhelés a sor számára.
Interjúztató visszajelzése és újrapróbálkozás. Az interjúztató megkérdezi: „Mi a rosszabb: a kései értesítés vagy a duplikált?” Az interjúztatóknak minden kritériumhoz szabványos utólagos ellenőrzést kell végezniük, hogy minden jelölt ugyanannyi esélyt kapjon a készség bemutatására.
Egy erősebb próbálkozás. „A duplikátum rosszabb a push küldésnél, mert az emberek nem bíznának az alkalmazásban, ezért idempotens küldést tennék lehetővé egy rendelési és állapotkulccsal. SMS esetén elfogadnám az alkalmi duplikátumokat, mert a költség jobban számít. Az étkezési időkben a csúcsterhelés azt jelenti, hogy a sornak el kell nyelnie a löketeket, és a dolgozóknak a sor mélységéhez kell igazodniuk. Nem vagyok biztos benne, mennyire szigorú a kézbesítési idő ígérete, ezért megkérdezném a terméktulajdonost, mielőtt választanék egy egyszerű újrapróbálkozási szabályzat és egy prioritási sáv között az időkritikus frissítésekhez.”
Pontozás. A rubrika alapján ez a válasz 2 pontot kap a kompromisszumos érvelés (két lehetőség, költségek, indok), 2 pontot a probléma megfogalmazása (feltételezések megfogalmazása, kérdés feltevése) és 1 pontot a változás kezelése terén, amíg a kérdező meg nem határoz egy korlátozást. Figyeljük meg, hogy a kérdező bizonyítékokat pontoz, nem pedig a jelölt tervét illeszti a saját preferenciájához.
Ahol az interaktív közvetítés segít
Az itt fejlesztett készség az interjúztatóknak szól, és az interaktív gyakorlat megfelel ennek. Egy élő kalibrációs ülésen mutasd be a példaterv tervét, kérd meg az összes értékelőt, hogy négyszemközt pontozza az egyes kritériumokat, és a megbeszélés előtt fedd fel a különbséget. Az emberek már azelőtt elkötelezik magukat egy pontszám mellett, hogy meghallanák a leghangosabb hangot a teremben, és a nézeteltérések azokra a horgonypontokra mutatnak rá, amelyeket át kell írni. Ugyanez a példa és értékelőlap futtatható önálló tempóban az új interjúztatók számára, akik később csatlakoznak, egy élő üléssel a kétértelmű esetek megvitatására. Az AhaSlides támogatja az interaktív tanulást és az élő és az önálló tempójú előadás közötti váltást. Ez egy prezentációs és tanulási eszköz, nem interjúplatform vagy jelentkezőkövető rendszer, ezért tarts valós jelöltadatokat a toborzási eszközeidben. Ellenőrizd azokat a konkrét szerzői, visszajelzési vagy jelentési funkciókat, amelyekre a saját munkafolyamatoddal kapcsolatban támaszkodni tervezel. A formátumok kiválasztásához tekintsd meg az adaptív, interaktív és élő tanulás használatáról szóló útmutatónkat , a visszajelzések tervezéséhez pedig az interaktív gyakorlat tervezése hasznos visszajelzéssel című részt.
Mérd meg, mi változott
Előre döntsd el, mi mutatná a rubrika működését. Két mérőszám praktikus. Először is, az egyetértés: ugyanazon rögzített vagy írásos terv alapján a független kérdezők közelebb kerülnek-e egymáshoz a kalibráció után, mint korábban? Határozd meg, hogy kik szerepelnek, a nevezőt és az időzítést. Másodszor, a relevancia: néhány hónap elteltével a pontszámok összefüggésben állnak-e azzal, hogy az újonnan felvett személyek hogyan teljesítenek a tervfelülvizsgálatokon? Kis számú felvétel esetén ez csak egy durva jelzés lesz, ezért a rubrika áttekintésére való felszólításként kezeld, ne bizonyítékként. Ha az eredmények javulnak, a rubrika jóváírása előtt ellenőrizd, hogy mi változott még egyidejűleg, például új szerepkör-definíció vagy más forráscsatorna.
Maradhatnak korlátok
- Reprezentativitás. Az egyik probléma a munka egy részét veszi alapul. Párosítsa más bizonyítékokkal, például egy munkaköri mintával vagy egy strukturált beszélgetéssel a múltbeli döntésekről.
- Méltányosság. Egy értékelőlap csökkenti a variációt, de önmagában nem szünteti meg az elfogultságot. Tekintse át az esetet és a háttérrel kapcsolatos feltételezések alapját, és ellenőrizze az eredményeket a csoportok között a csapatával.
- Interjúztató ideje. A kalibrálás órákig tart. Enélkül a rubrika csak egy hosszabb űrlap.
- A szerepek egyértelműsége. Ha a csapat nem ért egyet abban, hogy mit jelent a „szakember”, akkor semmilyen rubrika nem fogja eldönteni.
- Jogi kontextus. A felvételi eljárás szabályozása különböző helyeken eltérő. A folyamat megváltoztatása előtt ellenőrizze a helyi előírásokat.
Gyakran Ismételt Kérdések
Mit kell tartalmaznia egy rendszertervezési interjú rubrikának?
Három-öt kritérium, mint például a problémameghatározás, a kompromisszumos érvelés, a mélység, a változáskezelés és a kommunikáció, mindegyikhez 0-tól 2-ig terjedő rögzített pontszám, valamint a kritikus hibák külön listája.
Hogyan akadályozhatod meg, hogy az interjúztatók a magabiztosságukon alapuljanak?
Kérd meg őket, hogy írják le az egyes kritériumokhoz tartozó megfigyelhető bizonyítékokat, mielőtt pontszámot adnának, és minden pontszámot kössenek viselkedéshez, például: „két lehetőséget összehasonlít, és megadja a nem választott költségét”.
Milyen hosszúnak kell lennie egy rendszertervezői interjúnak?
Az interjúk általában körülbelül egy órára ütemezhetők, de a megfelelő időtartam az, amely lehetővé teszi a jelölt számára, hogy a rubrikában szereplő összes kritériumot bemutassa. Teszteld egy próbainterjúval.
Lehet egy rubrika objektívvé tenni a toborzást?
Ezáltal következetesebbé és könnyebben auditálhatóvá válik, de az ítélőképesség megmarad. A cél az, hogy a kérdezők ugyanazon okokból egyezzenek meg, nem pedig az, hogy az embereket kivonják a döntéshozatalból.
Hol kezdjem
Válassz ki egy nyitott szerepkört, és írd meg az egymondatos teljesítményértékelést. Fogalmazz meg három kritériumot horgonypontokkal és egy rövid kritikus hibalistával, majd kérd meg egy vezető mérnököt, hogy önállóan oldja meg az esetet. Végezz el egy kalibrációs ülést azokkal az emberekkel, akik interjút fognak készíteni, írd át a nézeteltérést okozó horgonypontokat, és teszteld a rubrikát néhány valós interjún, mielőtt széles körben használnád.
Ha szeretné megtudni, hogyan lehet egy kalibrációs ülést élőben lebonyolítani a saját interjúztatóiddal, és hogyan lehet azt utána újra felhasználni saját tempóban, fedezze fel az AhaSlides-t.
