Kaksi ehdokasta saa saman tehtävän: suunnittele palvelu, jonka avulla käyttäjät voivat jakaa lyhyitä videoleikkeitä. Ensimmäinen piirtää selkeän kaavion kymmenessä minuutissa, nimeää kaikki suositut komponentit ja puhuu täysin itsevarmasti. Toinen aloittaa hitaammin, kysyy keitä käyttäjät ovat, kertoo, mistä osasta hän on epävarma, ja tekee erilaisen tallennusvaihtoehdon antaen selkeän syyn. Haastattelija A arvioi ensimmäisen ehdokkaan "vahvaksi". Haastattelija B, joka osallistui samaan sessioon, arvioi toisen "vahvaksi". Heidän muistiinpanonsa ovat tuskin päällekkäisiä.
Tämä on havainnollistava skenaario, ei dokumentoitu rekrytointitapaus. Se on riittävän yleinen, että useimmat suunnittelutiimit tunnistavat sen. Molemmat mallit olivat puolustettavissa. Eroa oli siinä, mitä kukin haastattelija pisteytti: sujuvuutta, nopeutta, perehtyneisyyttä omaan ensisijaiseen arkkitehtuuriinsa tai päättelyn laatua. Tämä opas on tarkoitettu suunnittelupäälliköille ja suunnittelun mahdollistajille, jotka tarvitsevat järjestelmäsuunnittelun haastattelurubriikin, joka pisteyttää kokeneet ehdokkaat samojen todisteiden perusteella, jotta kaksi haastattelijaa voi päätyä samaan johtopäätökseen samoista syistä. Kokeneen insinöörin tulisi validoida jokainen alla oleva kriteeri ja tarkistaa se oikeudenmukaisuuden varmistamiseksi, ennen kuin sitä käytetään todellisessa rekrytointipäätöksessä.
Mikä on järjestelmäsuunnittelun haastattelurubriikki?
Järjestelmäsuunnitteluhaastattelun arviointimatriisi on pisteytysopas, joka listaa, mitä etsit, miltä kukin pistemäärä näyttää havaittavassa käyttäytymisessä ja mitä virheitä ei voida kompensoida muilla vahvuuksilla. Se sijaitsee kysymyksen vieressä, joten jokainen haastattelija kerää todisteita samojen kriteerien perusteella. Googlen strukturoidun haastattelun oppaassa näitä pisteytystyökaluja kutsutaan "arvioinneiksi" ja todetaan, että tutkijat kutsuvat niitä "käyttäytymiseen ankkuroituiksi arviointiasteikoiksi". Siinä todetaan, että strukturoidut haastattelut antavat korkeamman ennustearvon ja pienemmät erot väestöryhmien välillä, ja että valmiiksi tehdyt kysymykset, oppaat ja arviointimatriisit säästävät keskimäärin 40 minuuttia haastattelua kohden. Voit lukea täydelliset ohjeet Google re:Work: A guide to structured interviewing -oppaasta.
Julkisia esimerkkejä on helppo löytää, ja useimmat on kirjoitettu ehdokkaille. Tämä opas on tarkoitettu pöydän toiselle puolelle.
Nopeita faktoja
| Kysymys | Lyhyt vastaus |
|---|---|
| Mitä arvioit? | Miten ehdokas perustelee avointa arkkitehtuuriongelmaa, ei sitä, kuinka monta komponenttia hän osaa nimetä. |
| Mitä rubriikkiin laitetaan? | Kriteerit, ankkuroitu pisteytys ja luettelo kriittisistä virheistä. |
| Kuinka monta kriteeriä? | Kolmesta viiteen. Vähemmän kriteerejä on helpompi pisteyttää ja kalibroida; pidä mielessä vain ne, jotka voit liittää havaittavaan näyttöön. |
| Kuka sen vahvistaa? | Vanhempi insinööri, joka tekee työn, sekä tiimisi tasapuolisuuden takaamiseksi. |
| Miten pidät sen johdonmukaisena? | Pisteytä ensin itsenäisesti ja vertaa sitten näyttöä kalibrointisession aikana. |
| Mitä rubriikilla ei voi tehdä? | Korjaa epäselvä rooli, epäedustava tehtävä tai haastattelijat, joita ei ole koulutettu käyttämään sitä. |
| Mistä tiedät, että se toimii? | Haastattelijoiden pisteet ovat paremmin yhtä mieltä samasta tallenteesta tai kirjoituksesta, ja pisteet vastaavat myöhempää suoritusta. |
1. Määrittele arvioimasi suorituskyky
Aloita työstä, älä aiheesta. Vanhemmalle insinöörille olennainen tehtävä on yleensä: jos on annettu epäselvä ongelma, tee ja puolusta arkkitehtuuripäätöksiä ja kerro, mikä muuttaisi niitä. Kirjoita tämä yhdeksi lauseeksi ja määrittele rooli, taso ja konteksti, jossa henkilö työskentelisi. Maksuyrityksen vanhemman taustapään roolissa on eri kriteerit kuin mediayrityksen vanhemman alustapään roolissa.
Kirjoita myös, mitä et arvioi. Kirjoitusnopeus, tietyn pilvipalvelutoimittajan tuntemus ja kyky piirtää siististi jaetulle valkotaululle ovat yleisiä vahingossa tehtäviä kriteerejä. Jos ne eivät kuulu työhön, niiden ei pitäisi vaikuttaa pisteisiin.
2. Valitse edustava, tuntematon tehtävä
Valitse tehtävä, joka on esimerkki todellisesta työstä ja jota ehdokkaat eivät ole opetelleet ulkoa. Laajalti tunnettu kehote ("suunnittele URL-lyhentäjä") palkitsee harjoittelua. Käytä omalta alaltasi löytyvää tehtävää, josta on poistettu arkaluontoiset tiedot, ja pyydä vanhempaa insinööriä ratkaisemaan se itsenäisesti, jotta tiedät, miltä kohtuullinen valikoima vastauksia näyttää.
Hyväksy, että yksi 45 minuutin ongelma on vain osa vanhemman insinöörin työstä. Se voi osoittaa, miten joku käsittelee epäselvyyksiä, rajoituksia ja kompromisseja. Se ei voi osoittaa, miten he mentoroivat, suorittavat kuukausien mittaisen migraation tai käsittelevät pitkää ongelmaa. Mainitse tämä rekrytointidokumentaatiossasi, jotta kukaan ei liioittele pisteitä.
3. Kirjoita havaittavat kriteerit ja ankkurit
Rakenna kriteerit kirjallisen näytön ympärille. Lyhyt ja toimiva sääntö seniorijärjestelmän suunnittelukierrokselle:
| Kriteeri | Havaittavissa oleva näyttö |
|---|---|
| Ongelman rajaaminen | Esittää tarkentavia kysymyksiä, esittää oletuksia ja sopii piirtämisen laajuudesta ennen piirtämistä. |
| Kompromissiperustelu | Nimeää vähintään kaksi vaihtoehtoa tärkeälle päätökselle, kertoo kunkin kustannukset ja valitsee perustellen ne. |
| Syvyys | Perehtyy pyydettäessä yhteen tai kahteen komponenttiin menettämättä koko suunnittelua. |
| Muutoksen käsittely | Muokkaa suunnittelua, kun rajoite lisätään, ja selittää, mikä on nyt heikompaa. |
| Viestintä | Tekee suunnittelusta ymmärrettävää kollegalle, joka ei ollut huoneessa. |
Arvioi jokainen kriteeri asteikolla 0–2: 0 tarkoittaa, että se puuttuu tai sitä ei tueta, 1 on osittainen ja siinä on olennaisia puutteita, ja 2 on täydellinen ja perusteltu sovittujen kriteerien perusteella. Ankkurit ovat tärkeämpiä kuin asteikko. Esimerkiksi kompromissiperusteluissa 0 tarkoittaa, että "nimeää teknologian sanomatta miksi", 1 tarkoittaa, että "antaa syyn, mutta ei vaihtoehdon kustannuksia", ja 2 tarkoittaa, että "vertaa vaihtoehtoja ilmoitettuihin rajoituksiin ja kertoo, mistä ne luopuisivat".
Määrittele kriittiset virheet erikseen, kuten haastattelijan ilmoittaman tietosuojavaatimuksen laiminlyönti tai sellaisen suunnittelusuunnitelman ehdottaminen, joka ei pysty täyttämään ilmoitettua tiukkaa rajoitetta. Keskimääräinen pistemäärä ei saa koskaan peittää kriittistä virhettä. Vältä pisteyttämistä itsevarmuuden tai nopeuden perusteella; hiljaista ehdokasta, joka perustelee huolellisesti, ei pitäisi rangaista tyylistään. Oppaamme harkintakyvyn ja ongelmanratkaisun arviointiin käsittelee päättelytehtävien kriteerien kirjoittamista.
4. Kalibroi arvioijat ja suorita pilottihanke
Rubriikki, jonka kaksi ihmistä lukee eri tavalla, ei ole vielä rubriikki. Ennen kuin käytät sitä verkossa:
- Valitse esimerkki. Käytä työtoverin, joka ei ole mukana rekrytointiprosessissa, kirjoittamaa suunnitelmaa tai simuloitua haastattelutallennetta henkilön suostumuksella.
- Pisteytä itsenäisesti. Jokainen arvioija kirjoittaa todisteet kullekin kriteerille ennen kuin näkee kenenkään muun pisteet.
- Vertaile todisteita. Jos pisteet eroavat toisistaan yli pisteen, selvitä, oliko ankkuri monitulkintainen vai huomasivatko arvioijat erilaisia asioita. Kirjoita ankkuri uudelleen.
- Toista toisessa esimerkissä. Lopeta, kun erimielisyydet koskevat arviointia, eivät sanamuotoa.
Googlen opas yhdistää haastattelijoiden koulutuksen kalibrointiin, jotta haastattelijat ovat johdonmukaisia ja varmoja arvioinneissaan, mikä on sama idea. Pyydä asiantuntijaa, kuten viereisen tiimin teknistä päällikköä, tarkistamaan tapaus ja ankkurit, ja pyydä henkilöstötiimiäsi tarkistamaan prosessin oikeudenmukaisuus ja lakisääteiset vaatimukset rekrytointialueillasi.
5. Käytä realistista esimerkkiä
Havainnollistava. Vanhemman insinöörin tulisi validoida tapaus ja vastata kriteereihin ennen käyttöä.
Tapaus. Ehdokkaat suunnittelevat ilmoituspalvelun toimitussovellukselle: asiakkaat saavat päivityksiä, kun tilauksen tila muuttuu. Laajuutta kuvataan vain "muutamalla miljoonalla tilauksella päivässä, enimmäkseen aterioiden aikaan".
Ensimmäinen yritys. "Laitoisin viestijonon tilauspalvelun ja ilmoitustyöntekijän väliin, tallentaisin jokaisen tapahtuman tietokantaan ja lähettäisin push-ilmoituksia." Rakenne on kohtuullinen, mutta ehdokas ei kysynyt, mitä kanavia tarvitaan, mitä tapahtuu, jos ilmoitus on myöhässä tai lähetetään kahdesti, tai mitä huippukuormitus tarkoittaa jonolle.
Haastattelijan palaute ja uusi yritys. Haastattelija kysyy: "Kumpi tässä on pahempaa: myöhästynyt ilmoitus vai kaksoisilmoitus?" Haastattelijoilla tulisi olla vakioseuranta jokaiselle kriteerille, jotta jokaisella ehdokkaalla on sama mahdollisuus osoittaa taitonsa.
Vahvempi yritys. "Kaksoiskopio on huonompi push-lähetyksille, koska ihmiset lakkaisivat luottamasta sovellukseen, joten tekisin lähetyksestä idempotentin tilaus- ja tila-avaimella. Tekstiviestien osalta hyväksyisin satunnaiset kaksoiskappaleet, koska kustannuksilla on enemmän merkitystä. Ruuhka-aikoina jonon tulisi vaimentaa kuormituspurskeita ja työntekijöiden tulisi skaalata jonon syvyyden mukaan. En ole varma, kuinka tiukka toimitusaikalupaus on, joten kysyisin tuotteen omistajalta ennen kuin valitsen yksinkertaisen uudelleenyrityskäytännön ja prioriteettikaistan välillä aikakriittisille päivityksille."
Pisteytys. Vertailuarviointia vasten tämä vastaus saa 2 pistettä kompromissiperustelusta (kaksi vaihtoehtoa, kustannukset, syy), 2 pistettä ongelman asettelusta (oletusten esittäminen, kysymyksen esittäminen) ja 1 pistettä muutoksen käsittelystä, kunnes haastattelija lisää rajoitteen. Huomaa, että haastattelija pisteyttää todisteita eikä sovita ehdokkaan suunnittelua omaan ensisijaiseen suunnitelmaansa.
Missä interaktiivinen toimitus auttaa
Tässä kehittämäsi taito on tarkoitettu haastattelijoille, ja interaktiivinen harjoittelu sopii siihen. Näytä esimerkkisuunnitelma live-kalibrointisessiossa, pyydä jokaista arvioijaa pisteyttämään jokainen kriteeri yksityisesti ja paljasta hajonta ennen keskustelua. Ihmiset sitoutuvat pisteytykseen ennen kuin he kuulevat huoneen kovimman äänen, ja erimielisyydet osoittavat uudelleenkirjoitettavia ankkuripisteitä. Sama esimerkki ja arviointimatriisi voivat toimia omaan tahtiin uusille haastattelijoille, jotka liittyvät myöhemmin, ja live-sessiossa keskustellaan epäselvistä tapauksista. AhaSlides tukee interaktiivista oppimista ja siirtymistä live- ja omaan tahtiin tapahtuvan esityksen välillä. Se on esitys- ja oppimistyökalu, ei haastattelualusta tai hakijoiden seurantajärjestelmä, joten säilytä rekrytointityökaluissasi aitoja ehdokastietoja. Tarkista kaikki erityiset kirjoitus-, palaute- tai raportointitoiminnot, joihin aiot luottaa omassa työnkulussasi. Apua formaattien valintaan saat oppaastamme siitä, milloin käyttää adaptiivista, interaktiivista ja live-oppimista , ja palautteen suunnittelusta katso interaktiivisen käytännön suunnittelu hyödyllisen palautteen avulla.
Mittaa, mikä muuttui
Päätä etukäteen, mikä osoittaisi arviointimatriisin toimivuuden. Kaksi mittaria on käytännöllisiä. Ensinnäkin, yksimielisyys: päätyvätkö riippumattomat haastattelijat samasta tallennetusta tai kirjoitetusta suunnittelusta lähemmäksi toisiaan kalibroinnin jälkeen kuin ennen? Määrittele, ketkä ovat mukana, nimittäjä ja ajoitus. Toiseksi, relevanssi: liittyvätkö pisteet muutaman kuukauden kuluttua siihen, miten uudet työntekijät suoriutuvat suunnittelun tarkasteluissa? Pienellä palkkausmäärällä tämä on vain karkea signaali, joten pidä sitä kehotuksena tarkistaa arviointimatriisi, älä todisteena. Jos tulokset paranevat, tarkista, mitä muuta on muuttunut samaan aikaan, kuten uusi roolimääritelmä tai eri hankintakanava, ennen kuin annat arviointimatriisille tunnustusta.
Rajoitukset, jotka saattavat jäädä
- Edustavuus. Yksi ongelma on esimerkki osasta työtä. Yhdistä se muihin todisteisiin, kuten työesimerkkiin tai strukturoituun keskusteluun aiemmista päätöksistä.
- Oikeudenmukaisuus. Rubriikki vähentää vaihtelua, mutta se ei itsessään poista vinoumia. Käy läpi tapaus ja taustaoletusten perusteet ja tarkista tulokset eri ryhmissä tiimisi kanssa.
- Haastattelijan aika. Kalibrointi vie tunteja. Ilman sitä arviointimatriisi on vain pidempi lomake.
- Roolien selkeys. Jos tiimi ei ole yhtä mieltä siitä, mitä "senior" tarkoittaa, mikään arviointiperuste ei ratkaise asiaa.
- Oikeudellinen konteksti. Rekrytointiarviointia säännellään eri tavoin eri paikoissa. Tarkista paikalliset vaatimukset ennen prosessin muuttamista.
Usein kysyttyjä kysymyksiä
Mitä järjestelmäsuunnittelun haastatteluohjeeseen tulisi sisällyttää?
Kolmesta viiteen kriteeriä, kuten ongelman rajaaminen, kompromissien tekeminen, syvyys, muutosten käsittely ja viestintä, kullekin 0–2 ankkuroitu pisteytys ja erillinen luettelo kriittisistä virheistä.
Miten estät haastattelijoiden pisteiden keräämisen itseluottamuksen perusteella?
Pyydä heitä kirjoittamaan havaittavissa oleva näyttö kullekin kriteerille ennen pisteytyksen antamista ja ankkuroi jokainen pisteytys käyttäytymiseen, kuten "vertaa kahta vaihtoehtoa ja ilmoittaa valitsematta jätetyn vaihtoehdon kustannukset".
Kuinka pitkä järjestelmäsuunnitteluhaastattelun tulisi olla?
Haastattelut ajoitetaan usein noin tunnin mittaisiksi, mutta oikea pituus on sellainen, jonka aikana ehdokas voi osoittaa kaikki arviointimatriisissasi mainitut kriteerit. Testaa sitä pilottivaiheessa.
Voiko arviointimatriisi tehdä rekrytoinnista tavoitetta?
Se tekee siitä johdonmukaisemman ja helpommin auditoitavan, mutta harkintakyky säilyy. Tavoitteena on, että haastattelijat ovat samaa mieltä samoista syistä, ei sulkea ihmisiä pois päätöksenteosta.
Mistä aloittaa
Valitse yksi avoin rooli ja kirjoita yhden lauseen mittainen suoritusarviointi. Laadi kolme kriteeriä, jotka sisältävät ankkuripisteet ja lyhyen luettelon kriittisistä virheistä, ja pyydä sitten vanhempaa insinööriä ratkaisemaan tapauksesi itsenäisesti. Suorita yksi kalibrointisessio haastattelijoiden kanssa, kirjoita uudelleen erimielisyyttä aiheuttaneet ankkuripisteet ja kokeile arviointimatriisia pienellä määrällä oikeita haastatteluja ennen kuin käytät sitä laajasti.
Jos haluat nähdä, kuinka kalibrointisessio voisi toimia livenä omien haastattelijoiden kanssa ja kuinka sitä voitaisiin käyttää uudelleen omaan tahtiin jälkikäteen, tutustu AhaSlides-sivustoon.
