Kaks kandidaati saavad sama ülesande: kujundada teenus, mis võimaldab kasutajatel jagada lühikesi videoklippe. Esimene joonistab kümne minutiga selge diagrammi, nimetab kõik populaarsed komponendid ja räägib täie enesekindlusega. Teine alustab aeglasemalt, küsib, kes on kasutajad, ütleb, millises osas ta pole kindel, ja teeb salvestuskoha osas teistsuguse valiku, andes selge põhjenduse. Intervjueerija A hindab esimest kandidaati "tugevaks". Intervjueerija B, kes osales samal sessioonil, hindab teist "tugevaks". Nende märkmed vaevu kattuvad.
See on illustreeriv stsenaarium, mitte dokumenteeritud värbamisjuhtum. See on piisavalt levinud, et enamik insenerimeeskondi tunneb selle ära. Mõlemad disainilahendused olid õigustatud. Erinevus seisneb selles, mida iga intervjueerija hindas: sujuvust, kiirust, tuttavust oma eelistatud arhitektuuriga või arutluskäigu kvaliteeti. See juhend on mõeldud insenerijuhtidele ja insenerijuhtimise juhtidele, kes vajavad süsteemidisaini intervjuu rubriiki, mis hindab vanemaid kandidaate samade tõendite alusel, et kaks intervjueerijat saaksid samadel põhjustel jõuda samale järeldusele. Enne kui allolevaid kriteeriume tegeliku värbamisotsuse tegemisel kasutate, peaks neid valideerima vaneminsener ja need tuleks õigluse tagamiseks üle vaadata.
Mis on süsteemi kujundamise intervjuu rubriik?
Süsteemidisaini intervjuu rubriik on hindamisjuhend, mis loetleb, mida otsite, kuidas iga skoor vaadeldavas käitumises välja näeb ja milliseid vigu ei saa mujal olevate tugevustega kompenseerida. See asub küsimuse kõrval, nii et iga intervjueerija kogub tõendeid samade kriteeriumide alusel. Google'i struktureeritud intervjuude juhend nimetab neid hindamisvahendeid "rubriikateks" ja märgib, et teadlased nimetavad neid "käitumuslikult ankurdatud hindamisskaaladeks". See teatab, et struktureeritud intervjuud annavad suurema ennustusliku kehtivuse ja väiksemad erinevused demograafiliste rühmade vahel ning et eelnevalt koostatud küsimused, juhendid ja rubriigid säästavad keskmiselt 40 minutit intervjuu kohta. Täieliku juhendi saate lugeda Google'i juhendist re:Work: A guide to structured interviewing.
Avalikke näiteid on lihtne leida ja enamik neist on kirjutatud kandidaatidele. See juhend on mõeldud laua teisele poolele.
Quick faktid
| Küsimus | Lühike vastus |
|---|---|
| Mida sa hindad? | Kuidas kandidaat avatud arhitektuuriprobleemi üle arutleb, mitte mitu komponenti ta nimetada oskab. |
| Mis läheb rubriiki? | Kriteeriumid, ankurdatud hinded ja kriitiliste vigade loend. |
| Mitu kriteeriumi? | Kolm kuni viis. Väiksema kriteeriumi korral on lihtsam hinnata ja kalibreerida; säilita ainult need, mida saad vaadeldavate tõenditega siduda. |
| Kes seda kinnitab? | Vaneminsener, kes töö ära teeb, ja õigluse huvides ka teie meeskond. |
| Kuidas sa seda järjepidevana hoiad? | Esmalt hinnake iseseisvalt ja seejärel võrrelge tõendeid kalibreerimisseansi ajal. |
| Mida rubriik ei saa teha? | Paranda ebaselge roll, mitteesinduslik ülesanne või intervjueerijad, kes pole selleks koolitatud. |
| Kuidas sa tead, et see töötab? | Intervjueerijate tulemused on samal salvestisel või kirjutisel rohkem kooskõlas ning tulemused on hilisema esitusega kooskõlas. |
1. Määrake hinnatav tulemuslikkus
Alusta tööst, mitte teemast. Vaneminseneri jaoks on asjakohane ülesanne tavaliselt järgmine: mitmetähendusliku probleemi korral langetada ja kaitsta arhitektuurilisi otsuseid ning öelda, mis neid muudaks. Kirjuta see ühe lausena ja täpsusta rolli, taset ja konteksti, milles inimene töötaks. Makseettevõtte vanema taustasüsteemi rollil on teistsugused tingimused kui meediaettevõtte vanema platvormirollil.
Kirjuta ka see, mida sa ei hinda. Kirjutamiskiirus, konkreetse pilveteenuse pakkuja tundmine ja oskus jagatud tahvlile korralikult joonistada on tavalised juhuslikud kriteeriumid. Kui need ei ole töö osa, ei tohiks need skoori muuta.
2. Valige tüüpiline, harjumatu ülesanne
Vali ülesanne, mis on näidis päris tööst ja mida kandidaadid pole pähe õppinud. Laialdaselt tuntud ülesanne ("loo URL-i lühendaja") premeerib harjutamist. Kasuta oma valdkonnast pärit ülesannet, millest on eemaldatud tundlikud detailid, ja palu vaneminseneril see iseseisvalt lahendada, et teaksid, milline on mõistlik vastuste vahemik.
Lepi kokku, et üks 45-minutiline ülesanne annab vaid osa vaneminseneri tööst. See võib näidata, kuidas keegi toime tuleb ebaselguse, piirangute ja kompromissidega. See ei saa näidata, kuidas nad juhendavad, kuude kaupa migratsiooni läbi viivad või pikka intsidenti lahendavad. Maini seda oma värbamisdokumentides, et keegi punktisummat üle ei loeks.
3. Kirjutage jälgitavad kriteeriumid ja ankrud
Koostage kriteeriumid tõendite põhjal, mida saate kirja panna. Lühike ja toimiv ülesanne süsteemi kujundamise vooru jaoks:
| Kriteerium | Vaadeldavad tõendid |
|---|---|
| Probleemi raamistamine | Esitab selgitavaid küsimusi, esitab eeldused ja lepib enne joonistamist kokku ulatuse. |
| Kompromissipõhjendus | Nimetab olulise otsuse tegemiseks vähemalt kaks võimalust, ütleb iga variandi maksumuse ja valib koos põhjendusega. |
| Sügavus | Süveneb ühele või kahele komponendile, kui seda küsida, kaotamata seejuures kogu disaini. |
| Muutuste käsitlemine | Kohandab piirangu lisamisel disaini ja selgitab, mis on nüüd nõrgem. |
| KOMMUNIKATSIOON | Teeb kujunduse arusaadavaks kolleegile, kes ruumis ei viibinud. |
Hinnake iga kriteeriumi skaalal 0 kuni 2: 0 tähendab puudumist või põhjendamatut vastust, 1 on osalist vastust oluliste väljajätmistega ja 2 on täielikku vastust ning kokkulepitud kriteeriumide alusel põhjendatud vastust. Ankurkriteeriumid on olulisemad kui skaala. Näiteks kompromissmõtlemise puhul tähendab 0, et „nimetab tehnoloogiat ilma põhjust ütlemata“, 1 on „annab põhjuse, aga mitte alternatiivi maksumust“ ja 2 on „võrdleb valikuid kehtestatud piirangutega ja ütleb, millest loobutaks“.
Määrake kriitilised vead eraldi, näiteks intervjueerija poolt nimetatud andmekaitsenõude eiramine või sellise kujunduse pakkumine, mis ei vasta kehtestatud rangele piirangule. Keskmine punktisumma ei tohi kunagi varjata kriitilist viga. Vältige enesekindluse või kiiruse põhjal punktisumma andmist; vaikset kandidaati, kes arutleb hoolikalt, ei tohiks stiili pärast karistada. Meie otsustusvõime ja probleemide lahendamise hindamise juhend hõlmab arutlusülesannete kriteeriumide kirjutamist.
4. Kalibreerige hindajad ja käivitage pilootprojekt
Rubriik, mida kaks inimest loevad erinevalt, ei ole veel rubriik. Enne kui seda reaalajas kasutate:
- Valige näide. Kasutage kolleegi, kes ei ole värbamisprotsessis, kirjalikku kujundust või inimese nõusolekul tehtud näidisvestluse salvestust.
- Hinda iseseisvalt. Iga hindaja kirjutab iga kriteeriumi kohta tõendid enne kellegi teise hinnete nägemist.
- Võrdle tõendeid. Kui hinded erinevad rohkem kui ühe punkti võrra, uurige, kas ankur oli mitmetähenduslik või märkasid hindajad erinevaid asju. Kirjutage ankur ümber.
- Korda teise näitega. Lõpetage siis, kui lahkarvamused puudutavad hinnangut, mitte sõnastust.
Google'i juhend seob intervjueerijate koolituse kalibreerimisega, et intervjueerijad oleksid oma hinnangutes järjepidevad ja enesekindlad, mis on sama idee. Paluge spetsialistil, näiteks naabermeeskonna insenerijuhil, juhtum ja ankrud üle vaadata ning paluge oma personalimeeskonnal üle vaadata protsess õigluse ja teie värbamispiirkondade juriidiliste nõuete osas.
5. Töötage läbi realistlik näide
Illustreeriv. Vaneminsener peaks enne kasutamist juhtumi valideerima ja kriteeriumidele vastama.
Juhtum. Kandidaadid disainivad kullerrakenduse teavitusteenust: kliendid saavad värskendusi, kui tellimuse olek muutub. Mahtu kirjeldatakse vaid kui "mõned miljonid tellimused päevas, enamasti söögiaegadel".
Esimene katse. „Ma paneksin tellimusteenuse ja teavitustöötaja vahele sõnumijärjekorra, salvestaksin iga sündmuse andmebaasi ja saadaksin tõuketeateid.“ Struktuur on mõistlik, kuid kandidaat ei küsinud, milliseid kanaleid on vaja, mis juhtub, kui teade hilineb või saadetakse kaks korda või mida tippkoormus järjekorra jaoks tähendab.
Intervjueerija tagasiside ja uuesti proovimine. Intervjueerija küsib: „Mis on siin hullem: hilinenud teade või topeltteade?“ Intervjueerijatel peaks iga kriteeriumi kohta olema standardne järelkontroll, et igal kandidaadil oleks võrdne võimalus oskust näidata.
Tugevam katse. "Duplikaat on push-sõnumite puhul halvem, sest inimesed lakkaksid rakendust usaldamast, seega muudaksin saatmise idempotentseks koos tellimuse ja olekuvõtmega. SMS-ide puhul aktsepteeriksin aeg-ajalt duplikaate, sest hind on olulisem. Tippkoormus söögiaegadel tähendab, et järjekord peaks purskeid absorbeerima ja töötajad peaksid järjekorra sügavuse järgi skaaluma. Ma pole kindel, kui range on tarneaja lubadus, seega küsiksin tooteomanikult enne lihtsa uuesti proovimise poliitika ja ajakriitiliste värskenduste prioriteetse rea vahel valimist."
Hindamine. Rubriigi alusel saab see vastus 2 punkti kompromissmeetodi (kaks võimalust, kulud, põhjus) eest, 2 punkti probleemi püstitamise (eelduste esitamine, küsimuse esitamine) ja 1 punkti muudatuste käsitlemise eest, kuni intervjueerija lisab piirangu. Pange tähele, et intervjueerija hindab tõendeid, mitte ei sobita kandidaadi ülesehitust oma eelistatudga.
Kus interaktiivne edastamine aitab
Siin arendatav oskus on mõeldud intervjueerijatele ja interaktiivne praktika sobib sellele. Näidake reaalajas kalibreerimisseansil näidisdisaini, paluge igal hindajal iga kriteeriumi privaatselt hinnata ja avaldage enne arutelu tulemuste jaotus. Inimesed võtavad hinde endale enne, kui nad ruumis kõige valjemat häält kuulevad, ja lahkarvamused osutavad ümberkirjutamist vajavatele alustele. Sama näidet ja rubriiki saab hiljem liituvate uute intervjueerijate jaoks iseseisvalt kasutada, kusjuures mitmetähenduslike juhtumite arutamiseks on reaalajas seanss. AhaSlides toetab interaktiivset õppimist ja liikumist reaalajas ja iseseisvalt õppimise vahel. See on esitlus- ja õppevahend, mitte intervjuuplatvorm ega kandidaatide jälgimissüsteem, seega hoidke oma värbamistööriistades tegelikke kandidaatide andmeid. Kontrollige kõiki konkreetseid autoriseerimis-, tagasiside- või aruandlusfunktsioone, millele kavatsete oma töövoo suhtes tugineda. Vormingute valimisel abi saamiseks vaadake meie juhendit adaptiivse, interaktiivse ja reaalajas õppimise kasutamise kohta ning tagasiside kujundamise kohta vaadake interaktiivse praktika kujundamist kasuliku tagasiside abil.
Mõõda, mis muutus
Otsusta eelnevalt, mis näitaks rubriigi toimimist. Praktilisi mõõdikuid on kaks. Esiteks, kokkulepe: kas sama salvestatud või kirjaliku kavandi puhul jõuavad sõltumatud intervjueerijad pärast kalibreerimist üksteisele lähemale kui varem? Määrake, kes on kaasatud, nimetaja ja ajastus. Teiseks, asjakohasus: kas mõne kuu pärast on tulemused seotud sellega, kuidas uued töötajad disainiülevaadetes esinevad? Väikese arvu töölevõetud töötajate puhul on see vaid ligikaudne signaal, seega käsitle seda kui märku rubriigi ülevaatamiseks, mitte tõendina. Kui tulemused paranevad, kontrolli enne rubriigi tunnustamist, mis veel samal ajal muutus, näiteks uus rollimääratlus või erinev hankimiskanal.
Piirangud, mis võivad jääda
- Esinduslikkus. Üks probleem on näidistöö osast. Seo see muude tõenditega, näiteks töönäidisega või struktureeritud vestlusega varasemate otsuste kohta.
- Õiglus. Rubriik vähendab varieeruvust, kuid see iseenesest ei kõrvalda eelarvamusi. Vaadake juhtum ja taustaga seotud eelduste alused üle ning kontrollige tulemusi rühmade lõikes oma meeskonnaga.
- Intervjueerija aeg. Kalibreerimine võtab tunde. Ilma selleta on rubriik lihtsalt pikem vorm.
- Rollide selgus. Kui meeskond ei jõua kokkuleppele, mida "vanem" tähendab, siis ükski rubriik seda ei lahenda.
- Õiguslik kontekst. Töölevõtmise hindamine on eri kohtades erinevalt reguleeritud. Enne protsessi muutmist kontrollige kohalikke nõudeid.
Korduma kippuvad küsimused
Mida peaks süsteemi kujundamise intervjuu rubriik sisaldama?
Kolm kuni viis kriteeriumit, näiteks probleemi raamistamine, kompromisside leidmine, sügavus, muutustega toimetulek ja suhtlemine, igaühe kohta 0–2 ankurdatud punktisumma ja eraldi kriitiliste vigade loetelu.
Kuidas takistada intervjueerijatel enesekindluse põhjal punkte kogumast?
Paluge neil enne hinde andmist iga kriteeriumi kohta vaadeldavad tõendid kirja panna ja siduda iga hinne käitumisega, näiteks „võrdleb kahte varianti ja märgib valimata jätmise maksumuse“.
Kui pikk peaks süsteemidisaini intervjuu olema?
Intervjuud planeeritakse sageli umbes tunni pikkuseks, kuid õige pikkus on selline, mis võimaldab kandidaadil näidata kõiki teie rubriigis esitatud kriteeriume. Testige seda pilootprojektiga.
Kas rubriik saab muuta värbamise eesmärgiks?
See muudab selle järjepidevamaks ja auditeeritavamaks, kuid otsustusvõime jääb alles. Eesmärk on, et intervjueerijad nõustuksid samadel põhjustel, mitte et inimesi otsuse langetamisest kõrvaldada.
Kust alustada
Vali üks vaba roll ja kirjuta üheslauseline tulemuslikkuse avaldus. Koosta kolm kriteeriumi koos aluspõhimõtted ja lühikese kriitiliste vigade loendiga ning seejärel lase vaneminseneril sinu juhtum iseseisvalt lahendada. Vii läbi üks kalibreerimisseanss intervjueeritavate inimestega, kirjuta ümber lahkarvamusi tekitanud aluspõhimõtted ja katseta rubriiki väikese arvu reaalsete intervjuude peal, enne kui seda laialdaselt kasutad.
Et näha, kuidas kalibreerimisseanss saaks teie enda intervjueerijatega otseülekandes toimuda ja kuidas seda hiljem iseseisvalt uuesti kasutada, uurige AhaSlides'i.
