To kandidater får samme spørsmål: design en tjeneste som lar brukere dele korte videoklipp. Den første tegner et rent diagram på ti minutter, navngir alle populære komponenter og snakker med full selvtillit. Den andre starter saktere, spør hvem brukerne er, sier hvilken del hun er usikker på og tar et annet valg for lagring, med en klar grunn. Intervjuer A vurderer den første kandidaten som «sterk». Intervjuer B, som var med på samme økt, vurderer den andre som «sterk». Notatene deres overlapper knapt.
Dette er et illustrerende scenario, ikke en dokumentert ansettelseshendelse. Det er vanlig nok til at de fleste ingeniørteam vil gjenkjenne det. Begge designene var forsvarlige. Det som var forskjellig var hva hver intervjuer scoret: flyt, hastighet, kjennskap til sin egen foretrukne arkitektur, eller kvaliteten på resonnementet. Denne veiledningen er for ingeniørledere og ledere for ingeniørstøtte som trenger en intervju-rubrikk for systemdesign som scorer seniorkandidater på samme bevis, slik at to intervjuere kan komme til samme konklusjon av samme grunner. Hvert kriterium nedenfor bør valideres av en senioringeniør og gjennomgås for rettferdighet før du bruker det i en reell ansettelsesbeslutning.
Hva er en intervjurubrik for et systemdesign?
En intervjurubrikk for systemdesign er en poengsumguide som viser hva du ser etter, hvordan hver poengsum ser ut i observerbar atferd, og hvilke feil som ikke kan oppveies av styrker andre steder. Den står ved siden av spørsmålet, slik at hver intervjuer samler bevis mot de samme kriteriene. Googles guide til strukturert intervju kaller disse poengsumverktøyene for «rubrikker» og bemerker at forskere kaller dem «atferdsforankrede vurderingsskalaer». Den rapporterer at strukturerte intervjuer gir høyere prediktiv validitet og mindre forskjeller mellom demografiske grupper, og at forhåndslagde spørsmål, guider og rubrikker sparer gjennomsnittlig 40 minutter per intervju. Du kan lese hele veiledningen i Google re:Work: A guide to structured interviewing.
Offentlige eksempler er enkle å finne, og de fleste er skrevet for kandidater. Denne veiledningen er for den andre siden av bordet.
Kjappe fakta
| Spørsmål | Kort svar |
|---|---|
| Hva vurderer du? | Hvordan en kandidat resonnerer om et åpent arkitekturproblem, ikke hvor mange komponenter de kan navngi. |
| Hva skal inn i en rubrikk? | Kriterier, forankrede poengsummer og en liste over kritiske feil. |
| Hvor mange kriterier? | Tre til fem. Færre kriterier er enklere å score og kalibrere; behold bare de du kan forankre med observerbare bevis. |
| Hvem validerer det? | En senioringeniør som gjør jobben, pluss ditt folketeam for rettferdighet. |
| Hvordan holder du det konsekvent? | Poengsett først uavhengig, og sammenlign deretter bevisene i en kalibreringsøkt. |
| Hva kan en rubrikk ikke gjøre? | Fiks en uklar rolle, en urepresentativ oppgave eller intervjuere som ikke er opplært til å bruke den. |
| Hvordan vet du at det fungerer? | Intervjuernes poengsummer stemmer mer overens på samme opptak eller beskrivelse, og poengsummene stemmer overens med senere resultater. |
1. Definer ytelsen du vurderer
Start med arbeidet, ikke emnet. For en senioringeniør er den relevante oppgaven vanligvis: gitt et tvetydig problem, ta og forsvar arkitektoniske beslutninger, og si hva som ville endret dem. Skriv det som én setning, og spesifiser rollen, nivået og konteksten personen ville jobbe i. En senior backend-rolle i et betalingsselskap har andre krav enn en senior plattformrolle i et medieselskap.
Skriv også ned det du ikke vurderer. Skrivehastighet, kjennskap til en bestemt skyleverandør og evnen til å tegne pent på en delt tavle er vanlige tilfeldige kriterier. Hvis de ikke er en del av jobben, bør de ikke endre poengsummen.
2. Velg en representativ, ukjent oppgave
Velg et problem som er et eksempel på det virkelige arbeidet, og som kandidatene ikke kan ha memorert. En allment kjent prompt («design en URL-forkorter») belønner repetisjon. Bruk et problem fra ditt eget domene uten sensitive detaljer, og be en senioringeniør om å løse det uavhengig, slik at du vet hvordan et rimelig utvalg av svar ser ut.
Aksepter at et enkelt 45-minutters problem bare er et eksempel på en del av hva en senioringeniør gjør. Det kan vise hvordan noen håndterer tvetydighet, begrensninger og avveininger. Det kan ikke vise hvordan de veileder, kjører en migrering over måneder eller håndterer en langvarig hendelse. Si det i ansettelsesdokumentasjonen din, slik at ingen overleser poengsummen.
3. Skriv observerbare kriterier og ankere
Bygg kriterier rundt bevis du kan skrive ned. Et kort, brukbart sett for en runde med systemdesign for seniorer:
| Criterion | Observerbare bevis |
|---|---|
| Problemrammeverk | Stiller oppklarende spørsmål, oppgir antagelser og blir enig om omfanget før tegning. |
| Avveiningsresonnement | Nevn minst to alternativer for en nøkkelbeslutning, sier hva hvert alternativ koster og velger med en begrunnelse. |
| Dybde | Går dypt inn på én eller to komponenter når man blir spurt, uten å miste hele designet. |
| Håndtering av endringer | Justerer designet når en begrensning legges til og forklarer hva som nå er svakere. |
| Kommunikasjon | Gjør designet forståelig for en kollega som ikke var i rommet. |
Poengsett hvert kriterium fra 0 til 2: 0 er fraværende eller ikke støttet, 1 er delvis med relevante utelatelser, og 2 er fullstendig og begrunnet mot de avtalte kriteriene. Ankerpunktene er viktigere enn skalaen. For avveiningsresonnement, for eksempel, er en 0 "navngir en teknologi uten å si hvorfor", en 1 er "gir en grunn, men ikke kostnaden for alternativet", og en 2 er "sammenligner alternativer mot de oppgitte begrensningene og sier hva de ville gitt opp".
Definer kritiske feil separat, for eksempel å ignorere et databeskyttelseskrav som intervjueren har oppgitt, eller foreslå et design som ikke kan oppfylle en oppgitt hard begrensning. En gjennomsnittlig poengsum må aldri skjule en kritisk feil. Unngå å gi poeng på selvtillit eller hastighet; en stille kandidat som resonnerer nøye, bør ikke straffes for stil. Vår veiledning for å vurdere dømmekraft og problemløsning dekker hvordan man skriver kriterier for resonneringsoppgaver.
4. Kalibrer vurderingspersoner og kjør et pilotprosjekt
En rubrikk som to personer leser forskjellig er ikke en rubrikk ennå. Før du bruker den live:
- Velg et eksempel. Bruk et skriftlig design fra en kollega som ikke er i ansettelsesprosessen, eller et opptak av et prøveintervju med personens samtykke.
- Poeng uavhengig. Hver vurderer skriver bevisene for hvert kriterium før de ser noen andres poengsummer.
- Sammenlign bevis. Der poengsummene avviker med mer enn ett poeng, finn ut om ankeret var tvetydig eller om vurdererne la merke til forskjellige ting. Skriv ankeret på nytt.
- Gjenta på et annet eksempel. Stopp når uenigheter handler om vurdering, ikke formuleringer.
Googles veiledning kombinerer intervjueropplæring med kalibrering slik at intervjuerne er konsistente og trygge i vurderingene sine, noe som er den samme ideen. Be en spesialist, for eksempel en ingeniørsjef fra et nærliggende team, om å gjennomgå saken og ankerne, og be personalteamet ditt om å gjennomgå prosessen for rettferdighet og juridiske krav i ansettelsesregionene dine.
5. Arbeid deg gjennom et realistisk eksempel
Illustrativt. En senioringeniør bør validere tilfellet og svare på kriteriene før bruk.
Tilfellet. Kandidater designer en varslingstjeneste for en leveringsapp: kunder får oppdateringer når en bestilling endrer status. Skala beskrives kun som «noen få millioner bestillinger om dagen, hovedsakelig ved måltider».
Et første forsøk. «Jeg ville ha satt en meldingskø mellom ordretjenesten og en varslingsarbeider, lagret alle hendelser i en database og sendt push-varsler.» Strukturen er rimelig, men kandidaten spurte ikke hvilke kanaler som trengs, hva som skjer hvis et varsel er forsinket eller sendes to ganger, eller hva toppbelastningen betyr for køen.
Tilbakemelding fra intervjueren og nytt forsøk. Intervjueren spør: «Hva er verst her: en sen varsling eller en duplikat?» Intervjuere bør ha en standard oppfølging for hvert kriterium, slik at alle kandidatene får samme sjanse til å vise frem ferdighetene sine.
Et sterkere forsøk. «En duplikat er verre for push, fordi folk ville slutte å stole på appen, så jeg ville gjort sending idempotent med en ordre- og statusnøkkel. For SMS ville jeg akseptert sporadiske duplikater fordi kostnaden betyr mer. Toppbelastning ved måltider betyr at køen bør absorbere brudd, og arbeidere bør skalere etter kødybde. Jeg er usikker på hvor streng leveringstidsløftet er, så jeg ville spurt produkteieren før jeg velger mellom en enkel policy for nye forsøk og en prioritert fil for tidskritiske oppdateringer.»
Poengsum. I henhold til rubrikken gir dette svaret en poengsum på 2 på avveiningsresonnement (to alternativer, kostnader, en begrunnelse), 2 på problemformulering (angir antagelser, stiller et spørsmål) og 1 på håndtering av endringer inntil intervjueren legger til en begrensning. Legg merke til at intervjueren gir poeng til bevisene, og ikke matcher kandidatens design med sitt eget foretrukne design.
Der interaktiv levering hjelper
Ferdigheten du bygger her er for intervjuere, og interaktiv praksis passer til det. I en live kalibreringsøkt, vis eksempeldesignet, be alle vurderere om å score hvert kriterium privat, og avslør spredningen før diskusjonen. Folk forplikter seg til en poengsum før de hører den høyeste stemmen i rommet, og uenighetene peker på ankerpunktene som må omskrives. Det samme eksemplet og rubrikken kan kjøres i eget tempo for nye intervjuere som blir med senere, med en live-økt for å diskutere de tvetydige sakene. AhaSlides støtter interaktiv læring og bevegelse mellom live og selvstyrt levering. Det er et presentasjons- og læringsverktøy, ikke en intervjuplattform eller et søkersporingssystem, så hold ekte kandidatdata i ansettelsesverktøyene dine. Sjekk eventuelle spesifikke redigerings-, tilbakemeldings- eller rapporteringsfunksjoner du planlegger å stole på mot din egen arbeidsflyt. For hjelp med å velge formater, se vår veiledning for når du skal bruke adaptiv, interaktiv og live læring , og for tilbakemeldingsdesign, se utforming av interaktiv praksis med nyttig tilbakemelding.
Mål hva som endret seg
Bestem på forhånd hva som vil vise at rubrikken fungerer. To tiltak er praktiske. For det første, enighet: Ender uavhengige intervjuere tettere sammen etter kalibrering enn før, basert på samme innspilte eller skriftlige design? Definer hvem som er inkludert, nevneren og timingen. For det andre, relevans: Er poengsummene relatert til hvordan nyansatte presterer i designvurderinger etter noen måneder? Med et lite antall ansettelser vil dette bare være et grovt signal, så betrakt det som en oppfordring til å gjennomgå rubrikken, ikke som bevis. Hvis resultatene forbedres, sjekk hva annet som endret seg samtidig, for eksempel en ny rolledefinisjon eller en annen sourcing-kanal, før du krediterer rubrikken.
Begrensninger som kan gjenstå
- Representativitet. Ett problem er et eksempel på en del av jobben. Kombiner det med andre bevis, for eksempel et arbeidseksempel eller en strukturert samtale om tidligere avgjørelser.
- Rettferdighet. En rubrikk reduserer variasjon, men den fjerner ikke skjevheter i seg selv. Gå gjennom casestudien og ankerpunktene for antagelser om bakgrunn, og sjekk resultatene på tvers av gruppene med personalteamet ditt.
- Tid for intervjueren. Kalibrering tar timer. Uten den er rubrikken bare en lengre versjon.
- Rolleklarhet. Hvis teamet ikke er enige om hva «senior» betyr, vil ingen rubrikk avgjøre det.
- Juridisk kontekst. Ansettelsesvurdering er regulert ulikt på forskjellige steder. Sjekk lokale krav før du endrer en prosess.
Ofte stilte spørsmål
Hva bør en intervjurubrik for et systemdesigner inneholde?
Tre til fem kriterier som problemformulering, avveiningsresonnement, dybde, håndtering av endring og kommunikasjon, en forankret poengsum fra 0 til 2 for hvert, og en separat liste over kritiske feil.
Hvordan hindrer man intervjuere i å score på selvtillit?
Få dem til å skrive ned de observerbare bevisene for hvert kriterium før de gir en poengsum, og forankre hver poengsum til atferd, for eksempel «sammenligner to alternativer og oppgir kostnaden for det som ikke er valgt».
Hvor langt bør et systemdesignintervju være?
Intervjuer er ofte planlagt å vare rundt en time, men riktig lengde er det som lar en kandidat vise alle kriteriene i rubrikken din. Test det med en pilot.
Kan en rubrikk gjøre ansettelser objektive?
Det gjør det mer konsistent og enklere å revidere, men vurderingsevnen forblir. Målet er at intervjuerne er enige av de samme grunnene, ikke å fjerne folk fra avgjørelsen.
Hvor skal jeg starte
Velg én ledig rolle og skriv en ytelseserklæring på én setning. Utarbeid tre kriterier med ankere og en kort liste over kritiske feil, og la deretter en senioringeniør løse saken din uavhengig. Kjør én kalibreringsøkt med personene som skal intervjue, skriv om ankere som forårsaket uenighet, og test rubrikken på et lite antall virkelige intervjuer før du bruker den mye.
For å se hvordan en kalibreringsøkt kan kjøres live med dine egne intervjuere, og brukes om igjen i ditt eget tempo etterpå, kan du utforske AhaSlides.
