Divi kandidāti saņem vienu un to pašu uzdevumu: izstrādāt pakalpojumu, kas ļauj lietotājiem kopīgot īsus videoklipus. Pirmais desmit minūtēs uzzīmē skaidru diagrammu, nosauc visas populārākās komponentes un runā ar pilnīgu pārliecību. Otrais sāk lēnāk, jautā, kas ir lietotāji, pasaka, par kuru daļu viņa nav pārliecināta, un izvēlas citu glabāšanas vietu, sniedzot skaidru iemeslu. Intervētājs A novērtē pirmo kandidātu kā "spēcīgu". Intervētājs B, kurš piedalījās tajā pašā sesijā, novērtē otro kā "spēcīgu". Viņu piezīmes tik tikko pārklājas.
Šis ir ilustratīvs scenārijs, nevis dokumentēts pieņemšanas darbā incidents. Tas ir pietiekami izplatīts, lai lielākā daļa inženieru komandu to atpazītu. Abi dizaini bija aizstāvami. Atšķīrās tikai tas, ko katrs intervētājs vērtēja: intervēšanas plūdumu, ātrumu, pārzināšanu ar savu vēlamo arhitektūru vai spriešanas kvalitāti. Šī rokasgrāmata ir paredzēta inženiertehniskajiem vadītājiem un inženiertehnisko iespēju vadītājiem, kuriem nepieciešama sistēmas dizaina intervijas rubrika, kas vērtē vecākos kandidātus, pamatojoties uz vieniem un tiem pašiem pierādījumiem, lai divi intervētāji varētu nonākt pie viena un tā paša secinājuma vienu un to pašu iemeslu dēļ. Katrs tālāk minētais kritērijs ir jāapstiprina vecākajam inženierim un jāpārskata tā taisnīguma ziņā, pirms to izmantojat reālā pieņemšanas lēmumā.
Kas ir sistēmas dizaina intervijas rubrika?
Sistēmas dizaina intervijas rubrika ir vērtēšanas ceļvedis, kurā uzskaitīts, ko jūs meklējat, kā katrs vērtējums izskatās novērojamā uzvedībā un kuras kļūdas nevar kompensēt ar stiprajām pusēm citur. Tā atrodas blakus jautājumam, lai katrs intervētājs apkopotu pierādījumus atbilstoši vieniem un tiem pašiem kritērijiem. Google strukturētās intervēšanas ceļvedī šie vērtēšanas rīki tiek saukti par "rubrikām" un norādīts, ka pētnieki tos sauc par "uzvedības ziņā noenkurotām vērtēšanas skalām". Tajā ziņots, ka strukturētas intervijas nodrošina augstāku paredzamo derīgumu un mazākas atšķirības starp demogrāfiskajām grupām, un ka iepriekš sagatavoti jautājumi, ceļveži un rubrikas ietaupa vidēji 40 minūtes katrā intervijā. Pilnus norādījumus varat izlasīt Google re:Work: Strukturētas intervēšanas ceļvedis.
Publiskus piemērus ir viegli atrast, un lielākā daļa no tiem ir rakstīti kandidātiem. Šis ceļvedis ir paredzēts otrai pusei.
Īsi fakti
| jautājums | Īsā atbilde |
|---|---|
| Ko jūs vērtējat? | Kā kandidāts spriež par atvērta tipa arhitektūras problēmu, nevis cik komponentu viņš var nosaukt. |
| Kas ietilpst rubrikā? | Kritēriji, piesaistītie rādītāji un kritisko kļūdu saraksts. |
| Cik kritēriju? | Trīs līdz pieci. Mazāk kritēriju ir vieglāk novērtēt un kalibrēt; saglabājiet tikai tos, kurus varat pamatot ar novērojamiem pierādījumiem. |
| Kas to apstiprina? | Vecākais inženieris, kas veic darbu, kā arī jūsu komanda taisnīguma labad. |
| Kā jūs to saglabājat konsekvenci? | Vispirms vērtējiet neatkarīgi, pēc tam salīdziniet pierādījumus kalibrēšanas sesijā. |
| Ko rubrika nevar darīt? | Novērsiet neskaidru lomu, nereprezentatīvu uzdevumu vai intervētājus, kuri nav apmācīti to izmantot. |
| Kā tu zini, ka tas darbojas? | Intervētāju rezultāti vairāk saskan vienā ierakstā vai aprakstā, un rezultāti saskan ar vēlāku sniegumu. |
1. Definējiet vērtējamo sniegumu
Sāciet ar darbu, nevis tēmu. Vecākajam inženierim atbilstošais uzdevums parasti ir šāds: ņemot vērā neskaidru problēmu, pieņemt un aizstāvēt arhitektūras lēmumus un pateikt, kas tos mainītu. Uzrakstiet to vienā teikumā, norādot lomu, līmeni un kontekstu, kurā persona strādātu. Vecākā serveru inženiera amatam maksājumu uzņēmumā ir atšķirīgi kritēriji nekā vecākā platformas inženiera amatam mediju uzņēmumā.
Uzrakstiet arī to, ko nevērtējat. Rakstīšanas ātrums, pārzināšana ar konkrētu mākoņpakalpojumu sniedzēju un spēja glīti zīmēt uz koplietojamas tāfeles ir bieži sastopami nejaušas atlases kritēriji. Ja tie nav darba sastāvdaļa, tiem nevajadzētu ietekmēt vērtējumu.
2. Izvēlieties reprezentatīvu, nepazīstamu uzdevumu
Izvēlieties uzdevumu, kas atbilst reālajam darbam un ko kandidāti nevar iegaumēt no galvas. Plaši pazīstama tēma ("izveidojiet URL saīsinātāju") atalgo mēģinājumu. Izmantojiet uzdevumu no savas jomas, noņemot sensitīvās detaļas, un palūdziet vecākajam inženierim to atrisināt patstāvīgi, lai jūs zinātu, kāds ir saprātīgs atbilžu klāsts.
Pieņemiet, ka viena 45 minūšu ilga problēma ir tikai daļa no tā, ko dara vecākais inženieris. Tā var parādīt, kā kāds tiek galā ar neskaidrībām, ierobežojumiem un kompromisiem. Tā nevar parādīt, kā viņš/viņa konsultē, veic migrāciju mēnešiem ilgi vai tiek galā ar ilgu incidentu. Norādiet to savā pieņemšanas darbā dokumentācijā, lai neviens nepārvērtētu vērtējumu.
3. Uzrakstiet novērojamus kritērijus un pamatprincipus
Veidojiet kritērijus, balstoties uz pierādījumiem, kurus varat pierakstīt. Īss, praktiski īstenojams kopums vecākajam sistēmu izstrādes posmam:
| Kritērijs | Novērojami pierādījumi |
|---|---|
| Problēmas formulēšana | Uzdod skaidrojošus jautājumus, izsaka pieņēmumus un vienojas par apjomu pirms zīmēšanas. |
| Kompromisa argumentācija | Nosauc vismaz divas iespējas svarīga lēmuma pieņemšanai, norāda katras izmaksas un izvēlas ar iemeslu. |
| Dziļums | Pēc pieprasījuma padziļināti aplūko vienu vai divus komponentus, nezaudējot visu dizainu. |
| Apstrādes izmaiņas | Pielāgo dizainu, pievienojot ierobežojumu, un paskaidro, kas tagad ir vājāks. |
| Sakari | Padara dizainu saprotamu kolēģim, kurš nebija telpā. |
Vērtējiet katru kritēriju no 0 līdz 2: 0 nozīmē, ka tas nav iekļauts vai nav pamatots, 1 nozīmē daļēju ar būtiskiem izlaidumiem, un 2 nozīmē, ka tas ir pilnīgs un pamatots atbilstoši saskaņotajiem kritērijiem. Pamatprincipi ir svarīgāki par skalu. Piemēram, kompromisa spriešanas gadījumā 0 nozīmē "nosauc tehnoloģiju, nepaskaidrojot, kāpēc", 1 nozīmē "sniedz iemeslu, bet ne alternatīvas izmaksas", un 2 nozīmē "salīdzina iespējas ar noteiktajiem ierobežojumiem un norāda, no kā tās atteiktos".
Atsevišķi definējiet kritiskas kļūdas, piemēram, intervētāja norādītās datu aizsardzības prasības ignorēšanu vai tāda dizaina piedāvāšanu, kas neatbilst noteiktam stingram ierobežojumam. Vidējais vērtējums nekad nedrīkst slēpt kritisku kļūdu. Izvairieties no vērtēšanas, pamatojoties uz pārliecību vai ātrumu; kluss kandidāts, kurš rūpīgi spried, nedrīkst tikt sodīts par stilu. Mūsu sprieduma un problēmu risināšanas novērtēšanas ceļvedis aptver, kā formulēt kritērijus spriešanas uzdevumiem.
4. Kalibrējiet vērtētājus un veiciet izmēģinājuma projektu
Rubrika, ko divi cilvēki lasa atšķirīgi, vēl nav rubrika. Pirms tās izmantošanas tiešsaistē:
- Izvēlieties piemēru. Izmantojiet kolēģa, kurš nepiedalās pieņemšanas darbā procesā, rakstisku dizainu vai imitētu intervijas ierakstu ar personas piekrišanu.
- Vērtējums tiek vērtēts neatkarīgi. Katrs vērtētājs uzraksta pierādījumus par katru kritēriju, pirms redz citu vērtējumus.
- Salīdziniet pierādījumus. Ja rezultāti atšķiras par vairāk nekā vienu punktu, noskaidrojiet, vai enkurs bija neskaidrs vai vērtētāji pamanīja atšķirīgas lietas. Pārrakstiet enkuru.
- Atkārtojiet ar otro piemēru. Apstājieties, ja domstarpības ir par spriedumu, nevis formulējumu.
Google ceļvedī intervētāju apmācība ir apvienota ar kalibrēšanu, lai intervētāji savos vērtējumos būtu konsekventi un pārliecināti, kas ir viena un tā pati ideja. Palūdziet speciālistam, piemēram, inženiertehniskajam vadītājam no blakus esošās komandas, pārskatīt lietu un galvenos faktorus, un lūdziet savai personāla komandai pārskatīt procesu, lai nodrošinātu taisnīgumu un juridiskās prasības jūsu pieņemšanas darbā reģionos.
5. Izstrādājiet reālistisku piemēru
Ilustratīvi. Vecākajam inženierim pirms lietošanas ir jāapstiprina gadījums un jāatbild uz kritērijiem.
Lieta. Kandidāti izstrādā paziņojumu pakalpojumu piegādes lietotnei: klienti saņem atjauninājumus, kad mainās pasūtījuma statuss. Mērogs tiek raksturots tikai kā "daži miljoni pasūtījumu dienā, galvenokārt ēdienreižu laikā".
Pirmais mēģinājums. "Es izveidotu ziņojumu rindu starp pasūtījumu pakalpojumu un paziņojumu darbinieku, saglabātu katru notikumu datubāzē un nosūtītu push paziņojumus." Struktūra ir saprātīga, taču kandidāts nejautāja, kādi kanāli ir nepieciešami, kas notiek, ja paziņojums kavējas vai tiek nosūtīts divreiz, vai ko rindai nozīmē maksimālā slodze.
Intervētāja atsauksmes un atkārtots mēģinājums. Intervētājs jautā: "Kas šeit ir sliktāk: novēlots paziņojums vai dublējošs paziņojums?" Intervētājiem katram kritērijam jābūt standarta turpmākajai uzraudzībai, lai katram kandidātam būtu vienāda iespēja parādīt prasmi.
Spēcīgāks mēģinājums. "Dublikāts ir sliktāks push sūtījumiem, jo cilvēki pārstātu uzticēties lietotnei, tāpēc es padarītu sūtīšanu idempotentu ar pasūtījuma un statusa atslēgu. Īsziņu gadījumā es pieņemtu neregulārus dublikātus, jo izmaksas ir svarīgākas. Maksimālā slodze ēdienreižu laikā nozīmē, ka rindai vajadzētu absorbēt pārslodzes, un darbiniekiem vajadzētu pielāgoties rindas dziļumam. Es neesmu pārliecināts, cik stingrs ir piegādes laika solījums, tāpēc pirms izvēles starp vienkāršu atkārtotas mēģināšanas politiku un prioritāro joslu laika ziņā kritiskiem atjauninājumiem es pajautātu produkta īpašniekam."
Vērtēšana. Saskaņā ar rubriku šī atbilde saņem 2 punktus par kompromisa spriešanu (divas iespējas, izmaksas, iemesls), 2 punktus par problēmas formulēšanu (izsaka pieņēmumus, uzdod jautājumu) un 1 punktus par izmaiņu apstrādi, līdz intervētājs pievieno ierobežojumu. Ievērojiet, ka intervētājs vērtē pierādījumus, nevis saskaņo kandidāta ieceri ar savu vēlamo.
Kur palīdz interaktīva piegāde
Šeit veidotā prasme ir paredzēta intervētājiem, un interaktīvā prakse tai ir piemērota. Tiešraides kalibrēšanas sesijā parādiet piemēra dizainu, palūdziet katram vērtētājam privāti novērtēt katru kritēriju un pirms diskusijas atklājiet rezultātu starpību. Cilvēki piekrīt vērtējumam, pirms dzird skaļāko balsi telpā, un domstarpības norāda uz pamatprincipiem, kas jāpārraksta. To pašu piemēru un rubriku var izmantot patstāvīgi jauniem intervētājiem, kuri pievienojas vēlāk, ar tiešraides sesiju, lai apspriestu neskaidros gadījumus. AhaSlides atbalsta interaktīvu mācīšanos un pāreju starp tiešraides un patstāvīgu mācīšanos. Tas ir prezentāciju un mācību rīks, nevis interviju platforma vai pretendentu izsekošanas sistēma, tāpēc savos pieņemšanas darbā rīkos saglabājiet reālus kandidātu datus. Pārbaudiet visas konkrētās autorēšanas, atsauksmju vai ziņošanas funkcijas, uz kurām plānojat paļauties savā darbplūsmā. Lai saņemtu palīdzību formātu izvēlē, skatiet mūsu ceļvedi par adaptīvās, interaktīvās un tiešraides mācīšanās izmantošanu , bet par atsauksmju dizainu skatiet interaktīvas prakses izstrāde ar noderīgām atsauksmēm.
Izmēriet izmaiņas
Iepriekš izlemiet, kas parādītu, ka rubrika darbojas. Ir divi praktiski rādītāji. Pirmkārt, vienošanās: vai neatkarīgie intervētāji pēc kalibrēšanas, pamatojoties uz to pašu ierakstīto vai rakstisko dizainu, pēc kalibrēšanas nonāk tuvāk vienam otram nekā iepriekš? Definējiet, kas ir iekļauts, saucēju un laiku. Otrkārt, atbilstība: vai pēc dažiem mēnešiem rezultāti ir saistīti ar to, kā jaunie darbinieki darbojas dizaina pārskatos? Ar nelielu skaitu pieņemto darbinieku tas būs tikai aptuvens signāls, tāpēc uztveriet to kā pamudinājumu pārskatīt rubriku, nevis kā pierādījumu. Ja rezultāti uzlabojas, pirms rubrikas piešķiršanas pārbaudiet, kas vēl mainījās vienlaikus, piemēram, jauna lomas definīcija vai cits ieguves kanāls.
Ierobežojumi, kas var palikt
- Reprezentativitāte. Viena problēma ir daļa no darba parauga. Savienojiet to ar citiem pierādījumiem, piemēram, darba paraugu vai strukturētu sarunu par iepriekšējiem lēmumiem.
- Taisnīgums. Rubrika samazina variācijas, taču tā pati par sevi nenovērš aizspriedumus. Pārskatiet gadījumu un pamatojumu pieņēmumiem par pieredzi un pārbaudiet rezultātus dažādās grupās ar savu komandu.
- Intervētāja laiks. Kalibrēšana aizņem stundas. Bez tās rubrika ir tikai garāka veidlapa.
- Lomas skaidrība. Ja komanda nevar vienoties par to, ko nozīmē vārds "vecākais", nekāda rubrika to neatrisinās.
- Juridiskais konteksts. Darbinieku novērtēšana dažādās vietās tiek regulēta atšķirīgi. Pirms procesa maiņas pārbaudiet vietējās prasības.
Biežāk uzdotie jautājumi
Kas jāiekļauj sistēmas dizaina intervijas rubrikā?
Trīs līdz pieci kritēriji, piemēram, problēmas formulēšana, kompromisu spriešana, dziļums, pārmaiņu apstrāde un komunikācija, katram kritērijam piešķirts fiksēts vērtējums no 0 līdz 2 un atsevišķs kritisko kļūdu saraksts.
Kā neļaut intervētājiem vērtēt pēc pārliecības?
Pirms vērtējuma piešķiršanas lieciet viņiem uzrakstīt novērojamos pierādījumus katram kritērijam un sasaistīt katru vērtējumu ar uzvedību, piemēram, "salīdzina divas iespējas un norāda neizvēlētās iespējas izmaksas".
Cik ilgam jābūt sistēmas dizaina intervijai?
Intervijas bieži tiek plānotas apmēram stundas garumā, taču pareizais ilgums ir tāds, kas ļauj kandidātam parādīt visus jūsu rubrikā norādītos kritērijus. Pārbaudiet to ar pilotprojektu.
Vai rubrika var padarīt pieņemšanu darbā objektīvu?
Tas padara to konsekventāku un vieglāk auditējamu, taču sprieduma brīvība saglabājas. Mērķis ir panākt, lai intervētāji vienotos vienu un to pašu iemeslu dēļ, nevis izslēgt cilvēkus no lēmuma pieņemšanas.
Kur sākt
Izvēlieties vienu brīvu lomu un uzrakstiet viena teikuma snieguma pārskatu. Izstrādājiet trīs kritērijus ar pamatprincipiem un īsu kritisko kļūdu sarakstu, pēc tam uzdodiet vecākajam inženierim patstāvīgi atrisināt jūsu gadījumu. Veiciet vienu kalibrēšanas sesiju ar cilvēkiem, kuri veiks intervijas, pārrakstiet pamatprincipus, kas izraisīja domstarpības, un pirms plašas izmantošanas izmēģiniet rubriku nelielā skaitā reālu interviju.
Lai redzētu, kā kalibrēšanas sesija varētu notikt tiešraidē ar jūsu pašu intervētājiem un pēc tam tikt atkārtoti izmantota patstāvīgi, izpētiet AhaSlides.
