Två kandidater får samma uppmaning: designa en tjänst som låter användare dela korta videoklipp. Den första ritar ett tydligt diagram på tio minuter, namnger varje populär komponent och talar med fullständig självsäkerhet. Den andra börjar långsammare, frågar vilka användarna är, säger vilken del hon är osäker på och gör ett annat val för lagring, med en tydlig anledning. Intervjuare A betygsätter den första kandidaten som "stark". Intervjuare B, som deltog i samma session, betygsätter den andra som "stark". Deras anteckningar överlappar knappt varandra.
Detta är ett illustrativt scenario, inte en dokumenterad anställningsincident. Det är tillräckligt vanligt för att de flesta ingenjörsteam kommer att känna igen det. Båda designerna var försvarbara. Det som skilde sig var vad varje intervjuare poängsatte: flyt, hastighet, förtrogenhet med sin egen föredragna arkitektur eller kvaliteten på resonemanget. Den här guiden är för ingenjörschefer och ansvariga för tekniska möjliggörare som behöver en intervjumatris för systemdesign som poängsätter seniora kandidater utifrån samma bevis, så att två intervjuare kan komma till samma slutsats av samma skäl. Varje kriterium nedan bör valideras av en senior ingenjör och granskas för rättvisa innan du använder det i ett verkligt anställningsbeslut.
Vad är en intervjumatris för systemdesign?
En intervjumatris för systemdesign är en poängsättningsguide som listar vad du letar efter, hur varje poäng ser ut i observerbart beteende och vilka misstag som inte kan kompenseras av styrkor någon annanstans. Den placeras bredvid frågan, så varje intervjuare samlar in bevis mot samma kriterier. Googles guide till strukturerad intervjuning kallar dessa poängsättningsverktyg för "matriser" och noterar att forskare kallar dem "beteendeförankrade betygsskalor". Den rapporterar att strukturerade intervjuer ger högre prediktiv validitet och mindre skillnader mellan demografiska grupper, och att färdiga frågor, guider och matriser sparar i genomsnitt 40 minuter per intervju. Du kan läsa hela vägledningen i Google re:Work: En guide till strukturerad intervjuning.
Offentliga exempel är lätta att hitta, och de flesta är skrivna för kandidater. Den här guiden är för den andra sidan bordet.
Snabb fakta
| Fråga | Kort svar |
|---|---|
| Vad bedömer du? | Hur en kandidat resonerar kring ett öppet arkitekturproblem, inte hur många komponenter de kan namnge. |
| Vad ska in i en rubrik? | Kriterier, förankrade poäng och en lista över kritiska fel. |
| Hur många kriterier? | Tre till fem. Färre kriterier är lättare att poängsätta och kalibrera; behåll bara de du kan förankra med observerbara bevis. |
| Vem validerar det? | En senior ingenjör som gör jobbet, plus ditt team för rättvisa. |
| Hur håller du det konsekvent? | Poängsätt först självständigt och jämför sedan bevisen i en kalibreringssession. |
| Vad kan en rubrik inte göra? | Åtgärda en otydlig roll, en orepresentativ uppgift eller intervjuare som inte är utbildade för att använda den. |
| Hur vet du att det fungerar? | Intervjuarnas poäng överensstämmer mer på samma inspelning eller sammanfattning, och poängen stämmer överens med senare prestationer. |
1. Definiera den prestation du bedömer
Börja med arbetet, inte ämnet. För en senior ingenjör är den relevanta uppgiften vanligtvis: givet ett tvetydigt problem, fatta och försvara arkitektoniska beslut, och ange vad som skulle förändra dem. Skriv det som en mening och specificera rollen, nivån och det sammanhang som personen skulle arbeta i. En senior backend-roll på ett betalningsföretag har andra krav än en senior plattformsroll på ett medieföretag.
Skriv också ner det du inte bedömer. Skrivhastighet, förtrogenhet med en viss molnleverantör och förmågan att rita snyggt på en delad whiteboard är vanliga kriterier som påverkar resultatet. Om de inte ingår i jobbet bör de inte påverka poängen.
2. Välj en representativ, obekant uppgift
Välj ett problem som är ett exempel på det verkliga arbetet och som kandidaterna inte kan memorera. En allmänt känd prompt ("designa en URL-förkortare") belönar repetition. Använd ett problem från din egen domän utan känsliga detaljer och be en senior ingenjör att lösa det självständigt så att du vet hur ett rimligt utbud av svar ser ut.
Acceptera att ett enda 45-minutersproblem bara är ett exempel på en del av vad en senior ingenjör gör. Det kan visa hur någon hanterar tvetydighet, begränsningar och avvägningar. Det kan inte visa hur de är mentorer, driver en migrering under månader eller hanterar en lång incident. Säg det i din anställningsdokumentation så att ingen överläser poängen.
3. Skriv observerbara kriterier och ankare
Bygg kriterier kring bevis som du kan skriva ner. En kort, fungerande uppsättning för en systemdesignrunda för seniorer:
| Kriterium | Observerbara bevis |
|---|---|
| Problemramning | Ställer förtydligande frågor, anger antaganden och kommer överens om omfattningen innan ritning. |
| Avvägningsresonemang | Nämner minst två alternativ för ett viktigt beslut, anger vad varje alternativ kostar och väljer med en motivering. |
| Djup | Går djupt in på en eller två komponenter när det efterfrågas, utan att förlora hela designen. |
| Hantera förändring | Justerar designen när en begränsning läggs till och förklarar vad som nu är svagare. |
| Kommunikation | Gör designen begriplig för en kollega som inte var i rummet. |
Poängsätt varje kriterium från 0 till 2: 0 är frånvarande eller ounderbyggt, 1 är ofullständigt med relevanta utelämnanden, och 2 är fullständigt och motiverat mot de överenskomna kriterierna. Ankarpunkterna är viktigare än skalan. För avvägningsresonemang, till exempel, är en 0 "namnger en teknik utan att säga varför", en 1 är "ger en anledning men inte kostnaden för alternativet", och en 2 är "jämför alternativ med de angivna begränsningarna och säger vad de skulle ge upp".
Definiera kritiska fel separat, såsom att ignorera ett dataskyddskrav som intervjuaren angav eller föreslå en design som inte kan uppfylla en angiven hård begränsning. Ett genomsnittligt resultat får aldrig dölja ett kritiskt fel. Undvik att poängsätta på självförtroende eller hastighet; en tyst kandidat som resonerar noggrant bör inte straffas för stil. Vår guide för att bedöma omdöme och problemlösning behandlar hur man skriver kriterier för resonemangsuppgifter.
4. Kalibrera bedömare och genomför ett pilotprojekt
En bedömningsmatris som två personer läser på olika sätt är ännu inte en bedömningsmatris. Innan du använder den live:
- Välj ett exempel. Använd en skriftlig design från en kollega som inte är i anställningsprocessen, eller en inspelning av en låtsasintervju med personens samtycke.
- Poängsätt oberoende. Varje bedömare skriver bevisen för varje kriterium innan de ser någon annans poäng.
- Jämför bevis. Om poängen skiljer sig åt med mer än en poäng, ta reda på om ankaret var tvetydigt eller om bedömarna lade märke till olika saker. Skriv om ankaret.
- Upprepa på ett andra exempel. Sluta när meningsskiljaktigheter handlar om bedömning, inte formuleringar.
Googles guide kombinerar intervjuarutbildning med kalibrering så att intervjuarna är konsekventa och säkra i sina bedömningar, vilket är samma idé. Be en specialist, till exempel en teknisk chef från ett närliggande team, att granska ärendet och ankarna, och be ert personalteam att granska processen för rättvisa och juridiska krav i era anställningsregioner.
5. Arbeta igenom ett realistiskt exempel
Illustrativt. En senioringenjör bör validera fallet och besvara kriterierna före användning.
Fallet. Kandidater utformar en aviseringstjänst för en leveransapp: kunder får uppdateringar när en beställning ändrar status. Skala beskrivs endast som "några miljoner beställningar per dag, mestadels vid måltider".
Ett första försök. ”Jag skulle placera en meddelandekö mellan ordertjänsten och en aviseringsarbetare, lagra varje händelse i en databas och skicka push-meddelanden.” Strukturen är rimlig, men kandidaten frågade inte vilka kanaler som behövs, vad som händer om en avisering är sen eller skickas två gånger, eller vad toppbelastningen innebär för kön.
Intervjuarens feedback och ett nytt försök. Intervjuaren frågar: "Vad är värst här: en sen anmälan eller en dubbel anmälan?" Intervjuare bör ha en standardiserad uppföljning för varje kriterium, så att varje kandidat får samma chans att visa upp sin kompetens.
Ett starkare försök. ”En duplikat är sämre för push, eftersom folk skulle sluta lita på appen, så jag skulle göra sändningen idempotent med en order- och statusnyckel. För SMS skulle jag acceptera enstaka dubbletter eftersom kostnaden spelar större roll. Högbelastning vid måltider innebär att kön bör absorbera skurar och arbetare bör skala upp beroende på ködjup. Jag är osäker på hur strikt löftet om leveranstid är, så jag skulle fråga produktägaren innan jag väljer mellan en enkel policy för återförsök och en prioriterad fil för tidskritiska uppdateringar.”
Poängsättning. Enligt bedömningsmåttet får detta svar 2 poäng på avvägningsresonemang (två alternativ, kostnader, en anledning), 2 på problemformulering (ange antaganden, ställer en fråga) och 1 poäng på hantering av förändring tills intervjuaren lägger till en begränsning. Observera att intervjuaren poängsätter bevis, inte matchar kandidatens design med sin egen föredragna.
Där interaktiv leverans hjälper
Färdigheten du bygger upp här är för intervjuare, och interaktiv övning passar den. I en livekalibreringssession, visa exempeldesignen, be varje bedömare att poängsätta varje kriterium privat och avslöja spridningen före diskussionen. Människor förbinder sig till en poäng innan de hör den högljudda rösten i rummet, och oenigheterna pekar på de ankarpunkter som behöver skrivas om. Samma exempel och matris kan köras i självständigt tempo för nya intervjuare som ansluter sig senare, med en livesession för att diskutera de tvetydiga fallen. AhaSlides stöder interaktivt lärande och att växla mellan live och självständigt lärande. Det är ett presentations- och inlärningsverktyg, inte en intervjuplattform eller ett system för sökandespårning, så behåll verklig kandidatdata i dina anställningsverktyg. Kontrollera eventuella specifika författar-, feedback- eller rapporteringsfunktioner som du planerar att förlita dig på mot ditt eget arbetsflöde. För hjälp med att välja format, se vår guide till när du ska använda adaptiv, interaktiv och liveinlärning , och för feedbackdesign, se utforma interaktiv övning med användbar feedback.
Mät vad som förändrats
Bestäm i förväg vad som skulle visa att matrisen fungerar. Två mått är praktiska. För det första, enighet: hamnar oberoende intervjuare närmare varandra efter kalibrering än tidigare, baserat på samma inspelade eller skriftliga design? Definiera vem som ingår, nämnaren och tidpunkten. För det andra, relevans: relaterar poängen efter några månader till hur nyanställda presterar i designgranskningar? Med ett litet antal anställningar kommer detta bara att vara en grov signal, så betrakta det som en uppmaning att granska matrisen, inte som ett bevis. Om resultaten förbättras, kontrollera vad mer som ändrades samtidigt, till exempel en ny rolldefinition eller en annan sourcingkanal, innan du tillskriver matrisen.
Begränsningar som kan finnas kvar
- Representativitet. Ett problem är ett exempel på en del av jobbet. Kombinera det med andra bevis, såsom ett arbetsprov eller en strukturerad konversation om tidigare beslut.
- Rättvisa. En matris minskar variation, men den tar inte bort partiskhet i sig själv. Granska fallet och ankarpunkterna för antaganden om bakgrund, och kontrollera resultaten över grupperna med ditt personalteam.
- Tid för intervjuaren. Kalibrering tar timmar. Utan den är bedömningsmatrisen bara en längre form.
- Rolltydlighet. Om teamet inte är överens om vad "senior" betyder, kommer ingen bedömningsmatris att avgöra det.
- Rättsligt sammanhang. Anställningsbedömning regleras olika på olika platser. Kontrollera lokala krav innan du ändrar en process.
Vanliga frågor och svar
Vad bör en intervjumatris för systemdesign innehålla?
Tre till fem kriterier såsom problemformulering, avvägningsresonemang, djup, hantering av förändring och kommunikation, en förankrad poäng på 0 till 2 för varje, och en separat lista över kritiska fel.
Hur hindrar man intervjuare från att poängsätta på självförtroende?
Låt dem skriva ner de observerbara bevisen för varje kriterium innan de ger en poäng, och förankra varje poäng till beteende, till exempel "jämför två alternativ och anger kostnaden för det alternativ som inte valts".
Hur lång bör en systemdesignintervju vara?
Intervjuer är ofta schemalagda till ungefär en timme, men rätt längd är den som gör det möjligt för en kandidat att visa alla kriterier i din bedömningsmatris. Testa det med en pilot.
Kan en bedömningsmatris göra anställningen objektiv?
Det gör det mer konsekvent och lättare att granska, men bedömningen kvarstår. Målet är att intervjuarna ska vara överens av samma skäl, inte att utesluta personer från beslutet.
Var ska man börja
Välj en ledig roll och skriv ett prestationsutlåtande på en mening. Skriv tre kriterier med ankare och en kort lista över kritiska fel, och låt sedan en senior ingenjör lösa ditt fall självständigt. Kör en kalibreringssession med de personer som ska intervjua, skriv om ankare som orsakade oenighet och testa bedömningsmatrisen på ett litet antal riktiga intervjuer innan du använder den i stor utsträckning.
För att se hur en kalibreringssession kan köras live med dina egna intervjuare och återanvändas i din egen takt efteråt, utforska AhaSlides.
