Dva kandidata dobivaju isti zadatak: osmisliti uslugu koja korisnicima omogućuje dijeljenje kratkih videoisječaka. Prvi crta jasan dijagram za deset minuta, imenuje svaku popularnu komponentu i govori s potpunim samopouzdanjem. Drugi počinje sporije, pita tko su korisnici, kaže oko kojeg dijela nije sigurna i donosi drugačiji izbor za pohranu, navodeći jasan razlog. Anketar A ocjenjuje prvog kandidata "jakim". Anketar B, koji je prisustvovao istoj sesiji, ocjenjuje drugog "jakim". Njihove se bilješke jedva preklapaju.
Ovo je ilustrativan scenarij, a ne dokumentirani incident zapošljavanja. Dovoljno je uobičajen da će ga većina inženjerskih timova prepoznati. Oba su dizajna bila obranjiva. Ono što se razlikovalo bilo je ono što je svaki ispitivač ocjenjivao: tečnost, brzinu, poznavanje vlastite preferirane arhitekture ili kvalitetu obrazloženja. Ovaj vodič namijenjen je inženjerskim menadžerima i voditeljima inženjerskog osposobljavanja kojima je potrebna rubrika za intervju za dizajn sustava koja ocjenjuje starije kandidate na temelju istih dokaza, tako da dva ispitivača mogu doći do istog zaključka iz istih razloga. Svaki kriterij u nastavku trebao bi potvrditi stariji inženjer i pregledati ga radi pravednosti prije nego što ga upotrijebite u stvarnoj odluci o zapošljavanju.
Što je rubrika za intervju o dizajnu sustava?
Rubrika za intervju o dizajnu sustava je vodič za bodovanje koji navodi što tražite, kako svaki rezultat izgleda u uočljivom ponašanju i koje se pogreške ne mogu nadoknaditi snagama negdje drugdje. Nalazi se pored pitanja, tako da svaki ispitivač prikuplja dokaze prema istim kriterijima. Googleov vodič za strukturirano intervjuiranje naziva ove alate za bodovanje "rubrikama" i napominje da ih istraživači nazivaju "ljestvicama ocjenjivanja utemeljenima na ponašanju". Izvještava da strukturirani intervjui daju veću prediktivnu valjanost i manje razlike između demografskih skupina te da unaprijed pripremljena pitanja, vodiči i rubrike uštede u prosjeku 40 minuta po intervjuu. Cijeli vodič možete pročitati u Google re:Work: Vodič za strukturirano intervjuiranje.
Javne primjere je lako pronaći, a većina je napisana za kandidate. Ovaj vodič je za drugu stranu stola.
Brze činjenice
| Pitanje | Kratak odgovor |
|---|---|
| Što procjenjuješ? | Kako kandidat obrazlaže problem otvorene arhitekture, a ne koliko komponenti može imenovati. |
| Što se nalazi u rubrici? | Kriteriji, usidreni rezultati i popis kritičnih pogrešaka. |
| Koliko kriterija? | Tri do pet. Manje kriterija je lakše bodovati i kalibrirati; zadržite samo one koje možete potkrijepiti vidljivim dokazima. |
| Tko to potvrđuje? | Viši inženjer koji obavlja posao, plus vaš tim ljudi radi pravednosti. |
| Kako uspijevate to održavati dosljednim? | Prvo neovisno ocjenjujte, a zatim usporedite dokaze u kalibracijskoj sesiji. |
| Što rubrika ne može učiniti? | Ispravite nejasnu ulogu, nereprezentativan zadatak ili ispitivače koji nisu obučeni za njegovo korištenje. |
| Kako znaš da djeluje? | Ocjene ispitivača se više slažu na istoj snimci ili zapisu, a ocjene se poklapaju s kasnijom izvedbom. |
1. Definirajte performanse koje procjenjujete
Započnite s poslom, a ne s temom. Za višeg inženjera, relevantni zadatak je obično: zadan dvosmislen problem, donijeti i braniti arhitektonske odluke te reći što bi ih promijenilo. Napišite to kao jednu rečenicu i navedite ulogu, razinu i kontekst u kojem bi osoba radila. Uloga višeg backenda u tvrtki za plaćanja ima drugačije uvjete od uloge višeg platformskog inženjera u medijskoj tvrtki.
Također napišite što ne procjenjujete. Brzina tipkanja, poznavanje određenog dobavljača usluga u oblaku i sposobnost uredno crtanje na zajedničkoj ploči uobičajeni su slučajni kriteriji. Ako nisu dio posla, ne bi trebali utjecati na rezultat.
2. Odaberite reprezentativan, nepoznat zadatak
Odaberite problem koji predstavlja uzorak stvarnog rada i koji kandidati nisu mogli zapamtiti. Općepoznati zadatak ("dizajnirajte skraćivač URL-ova") nagrađuje probu. Koristite problem iz vlastite domene bez osjetljivih detalja i zamolite starijeg inženjera da ga samostalno riješi kako biste znali kako izgleda razuman raspon odgovora.
Prihvatite da jedan 45-minutni problem prikazuje samo dio onoga što radi viši inženjer. Može pokazati kako netko rješava dvosmislenost, ograničenja i kompromise. Ne može pokazati kako mentorira, provodi migraciju mjesecima ili rješava dugi incident. Navedite to u dokumentaciji o zapošljavanju kako nitko ne bi precijenio ocjenu.
3. Napišite uočljive kriterije i sidra
Izradite kriterije oko dokaza koje možete zapisati. Kratak, izvediv skup za rundu dizajniranja sustava na višim razinama:
| Kriterij | Vidljivi dokazi |
|---|---|
| Uokviravanje problema | Postavlja pojašnjavajuća pitanja, iznosi pretpostavke i dogovara se o opsegu prije crtanja. |
| Kompromisno zaključivanje | Navodi barem dvije mogućnosti za ključnu odluku, kaže koliko svaka košta i bira s razlogom. |
| Dubina | Duboko se bavi jednom ili dvije komponente kada se to zatraži, bez gubitka cijelog dizajna. |
| Obrada promjena | Prilagođava dizajn kada se doda ograničenje i objašnjava što je sada slabije. |
| komunikacija | Čini dizajn razumljivim kolegi koji nije bio u prostoriji. |
Ocijenite svaki kriterij od 0 do 2: 0 je odsutan ili nije potkrijepljen, 1 je djelomičan s relevantnim izostavkama, a 2 je potpun i opravdan u odnosu na dogovorene kriterije. Sidra su važnija od skale. Za kompromisno zaključivanje, na primjer, 0 je „imenuje tehnologiju bez navođenja zašto“, 1 je „daje razlog, ali ne i cijenu alternative“, a 2 je „uspoređuje opcije s navedenim ograničenjima i kaže čega bi se odrekli“.
Kritične pogreške definirajte zasebno, poput ignoriranja zahtjeva za zaštitu podataka koje je naveo ispitivač ili predlaganja dizajna koji ne može zadovoljiti navedeno čvrsto ograničenje. Prosječna ocjena nikada ne smije skrivati kritičnu pogrešku. Izbjegavajte ocjenjivanje samopouzdanja ili brzine; tihi kandidat koji pažljivo rasuđuje ne bi trebao biti kažnjen zbog stila. Naš vodič za procjenu prosudbe i rješavanja problema pokriva kako napisati kriterije za zadatke rasuđivanja.
4. Kalibrirajte procjenitelje i provedite pilotni projekt
Rubrika koju dvije osobe različito čitaju još nije rubrika. Prije nego što je upotrijebite uživo:
- Odaberite primjer. Koristite pisani dizajn od kolege koji nije u procesu zapošljavanja ili probnu snimku intervjua uz pristanak osobe.
- Bodujte samostalno. Svaki ocjenjivač piše dokaze za svaki kriterij prije nego što vidi ocjene drugih.
- Usporedite dokaze. Tamo gdje se rezultati razlikuju za više od jednog boda, utvrdite je li sidro bilo dvosmisleno ili su procjenitelji primijetili različite stvari. Prepišite sidro.
- Ponovite na drugom primjeru. Prestanite kada se neslaganja odnose na prosuđivanje, a ne na formulacije.
Googleov vodič spaja obuku ispitivača s kalibracijom kako bi ispitivači bili dosljedni i sigurni u svojim procjenama, što je ista ideja. Zamolite stručnjaka, poput voditelja inženjerstva iz susjednog tima, da pregleda slučaj i sidra te zamolite svoj tim za ljudske resurse da pregleda proces radi pravednosti i zakonskih zahtjeva u vašim regijama zapošljavanja.
5. Razradite realističan primjer
Ilustracija. Viši inženjer trebao bi validirati slučaj i odgovoriti na kriterije prije upotrebe.
Slučaj. Kandidati osmišljavaju uslugu obavještavanja za aplikaciju za dostavu: kupci dobivaju ažuriranja kada se status narudžbe promijeni. Opseg je opisan samo kao "nekoliko milijuna narudžbi dnevno, uglavnom za vrijeme obroka".
Prvi pokušaj. „Postavio bih red poruka između servisa za narudžbe i sustava za obavještavanje, pohranio svaki događaj u bazu podataka i slao push obavijesti.“ Struktura je razumna, ali kandidat nije pitao koji su kanali potrebni, što se događa ako obavijest kasni ili se pošalje dvaput ili što vršno opterećenje znači za red.
Povratne informacije ispitivača i ponovni pokušaj. Ispitivač pita: "Što je ovdje gore: zakašnjela obavijest ili duplicirana?" Ispitivači bi trebali imati standardno praćenje za svaki kriterij, tako da svaki kandidat dobije istu priliku pokazati vještinu.
Jači pokušaj. "Duplikat je gori za push, jer bi ljudi prestali vjerovati aplikaciji, pa bih slanje učinio idempotentnim s ključem narudžbe i statusa. Za SMS bih prihvatio povremene duplikate jer je trošak važniji. Vršno opterećenje za vrijeme obroka znači da red treba apsorbirati nalete, a radnici bi se trebali skalirati prema dubini reda. Nisam siguran koliko je strogo obećanje vremena isporuke, pa bih pitao vlasnika proizvoda prije nego što odaberem između jednostavne politike ponovnog pokušaja i prioritetne trake za vremenski kritična ažuriranja."
Bodovanje. U odnosu na rubriku, ovaj odgovor nosi 2 boda za kompromisno zaključivanje (dvije opcije, troškovi, razlog), 2 za oblikovanje problema (navodi pretpostavke, postavlja pitanje) i 1 za rješavanje promjena dok ispitivač ne doda ograničenje. Imajte na umu da ispitivač boduje dokaze, a ne usklađuje kandidatov dizajn s vlastitim preferiranim.
Gdje interaktivna dostava pomaže
Vještina koju ovdje gradite namijenjena je ispitivačima, a interaktivna praksa joj odgovara. U sesiji kalibracije uživo prikažite primjer dizajna, zamolite svakog procjenitelja da privatno ocijeni svaki kriterij i otkrijte raspon prije rasprave. Ljudi se obvezuju na ocjenu prije nego što čuju najglasniji glas u prostoriji, a neslaganja upućuju na sidra koja je potrebno prepisati. Isti primjer i rubrika mogu se izvoditi vlastitim tempom za nove ispitivače koji se pridruže kasnije, uz sesiju uživo za raspravu o dvosmislenim slučajevima. AhaSlides podržava interaktivno učenje i prelazak između izvođenja uživo i izvođenja vlastitim tempom. To je alat za prezentacije i učenje, a ne platforma za intervjue ili sustav za praćenje kandidata, stoga u svojim alatima za zapošljavanje čuvajte stvarne podatke o kandidatima. Provjerite sve specifične funkcije autorstva, povratnih informacija ili izvještavanja na koje se planirate osloniti u odnosu na vlastiti tijek rada. Za pomoć pri odabiru formata pogledajte naš vodič o tome kada koristiti adaptivno, interaktivno i učenje uživo , a za dizajn povratnih informacija pogledajte dizajniranje interaktivne prakse s korisnim povratnim informacijama.
Mjeri što se promijenilo
Unaprijed odlučite što bi pokazalo da rubrika funkcionira. Dvije su praktične mjere. Prvo, slaganje: na istom snimljenom ili pisanom dizajnu, jesu li neovisni anketari bliže jedni drugima nakon kalibracije nego prije? Definirajte tko je uključen, nazivnik i vrijeme. Drugo, relevantnost: nakon nekoliko mjeseci, odnose li se rezultati na to kako novozaposleni postižu rezultate u pregledima dizajna? S malim brojem zaposlenih ovo će biti samo okvirni signal, stoga to tretirajte kao poticaj za pregled rubrike, a ne kao dokaz. Ako se rezultati poboljšaju, provjerite što se još promijenilo u isto vrijeme, poput nove definicije uloge ili drugog kanala nabave, prije nego što rubrici pripišete zasluge.
Ograničenja koja mogu ostati
- Reprezentativnost. Jedan problem predstavlja uzorak dijela posla. Spojite ga s drugim dokazima kao što je uzorak rada ili strukturirani razgovor o prošlim odlukama.
- Poštenje. Rubrika smanjuje varijacije, ali sama po sebi ne uklanja pristranost. Pregledajte slučaj i uporišta za pretpostavke o pozadini te provjerite ishode u svim grupama sa svojim timom za ljudske resurse.
- Vrijeme za intervjuera. Kalibracija traje satima. Bez nje, rubrika je samo duži oblik.
- Jasnoća uloge. Ako se tim ne slaže oko značenja pojma "senior", nikakva rubrika to neće riješiti.
- Pravni kontekst. Procjena zapošljavanja regulirana je različito na različitim mjestima. Provjerite lokalne zahtjeve prije nego što promijenite proces.
Često postavljana pitanja
Što bi trebala sadržavati rubrika za intervju o dizajnu sustava?
Tri do pet kriterija kao što su okvir problema, kompromisno obrazloženje, dubina, rješavanje promjena i komunikacija, usidreni rezultat od 0 do 2 za svaki i zaseban popis kritičnih pogrešaka.
Kako spriječiti anketare da ocjenjuju na temelju samopouzdanja?
Neka napišu vidljive dokaze za svaki kriterij prije davanja ocjene i povežu svaku ocjenu s ponašanjem, poput „uspoređuje dvije opcije i navodi cijenu one koja nije odabrana“.
Koliko bi trebao trajati razgovor za dizajn sustava?
Intervjui su često zakazani za oko sat vremena, ali prava duljina je ona koja kandidatu omogućuje da pokaže svaki kriterij u vašoj rubrici. Testirajte to s pilotnim projektom.
Može li rubrika učiniti zapošljavanje objektivnim?
To ga čini dosljednijim i lakšim za reviziju, ali procjena ostaje. Cilj je da se ispitivači slože iz istih razloga, a ne da se ljudi isključe iz odluke.
Gdje započeti
Odaberite jednu otvorenu radnu poziciju i napišite izjavu o učinku od jedne rečenice. Napravite tri kriterija s uporištima i kratkim popisom kritičnih pogrešaka, a zatim neka viši inženjer samostalno riješi vaš slučaj. Provedite jednu kalibracijsku sesiju s ljudima koji će intervjuirati, prepišite uporišta koja su uzrokovala neslaganje i isprobajte rubriku na malom broju stvarnih intervjua prije nego što je široko koristite.
Da biste vidjeli kako bi se kalibracijska sesija mogla odvijati uživo s vašim anketarima i ponovno koristiti vlastitim tempom nakon toga, istražite AhaSlides.
