Du kandidatai gauna tą pačią užduotį: sukurti paslaugą, leidžiančią vartotojams dalytis trumpais vaizdo įrašais. Pirmasis per dešimt minučių nubraižo aiškią diagramą, įvardija kiekvieną populiarų komponentą ir kalba visiškai užtikrintai. Antrasis pradeda lėčiau, klausia, kas yra vartotojai, pasako, dėl kurios dalies ji abejoja, ir pasirenka kitą saugojimo vietą, pateikdamas aiškią priežastį. Interviuotojas A pirmąjį kandidatą vertina kaip „stiprų“. Interviuotojas B, kuris dalyvavo toje pačioje sesijoje, antrąjį vertina kaip „stiprų“. Jų užrašai vos sutampa.
Tai iliustracinis scenarijus, o ne dokumentuotas įdarbinimo incidentas. Jis pakankamai dažnas, kad dauguma inžinierių komandų jį atpažintų. Abu modeliai buvo pateisinami. Skirtumas buvo tas, ką kiekvienas interviu vedėjas vertino: sklandumą, greitį, susipažinimą su savo pageidaujama architektūra arba samprotavimo kokybę. Šis vadovas skirtas inžinerijos vadovams ir inžinerijos įgūdžių vadovams, kuriems reikia sistemos projektavimo pokalbio rubrikos, pagal kurią vyresnio amžiaus kandidatai vertinami remiantis tais pačiais įrodymais, kad du interviu vedėjai galėtų prieiti prie tos pačios išvados dėl tų pačių priežasčių. Kiekvieną toliau pateiktą kriterijų turėtų patvirtinti vyresnysis inžinierius ir peržiūrėti dėl teisingumo, prieš jį naudojant priimant realų sprendimą dėl įdarbinimo.
Kas yra sistemos projektavimo pokalbio rubrika?
Sisteminio projektavimo interviu vertinimo kriterijai yra vertinimo vadovas, kuriame išvardijama, ko ieškote, kaip kiekvienas balas atrodo stebimame elgesyje ir kurių klaidų negalima atsverti kitų sričių stiprybėmis. Jie pateikiami šalia klausimo, kad kiekvienas apklausėjas rinktų įrodymus pagal tuos pačius kriterijus. „Google“ struktūrizuotų interviu vadove šie vertinimo įrankiai vadinami „kriterijomis“ ir pažymima, kad tyrėjai juos vadina „elgesio pagrindu pagrįstomis vertinimo skalėmis“. Jame teigiama, kad struktūrizuoti interviu suteikia didesnį prognozavimo pagrįstumą ir mažesnius skirtumus tarp demografinių grupių, o iš anksto parengti klausimai, vadovai ir vertinimo kriterijai sutaupo vidutiniškai 40 minučių vienam interviu. Visas gaires galite perskaityti „Google re:Work: Struktūrizuotų interviu vadovas“.
Viešų pavyzdžių lengva rasti, ir dauguma jų yra skirti kandidatams. Šis vadovas skirtas kitai stalo pusei.
Greiti faktai
| klausimas | Trumpas atsakymas |
|---|---|
| Ką vertinate? | Kaip kandidatas samprotauja apie atvirojo tipo architektūros problemą, o ne kiek komponentų jis gali įvardyti. |
| Kas patenka į rubriką? | Kriterijai, fiksuoti balai ir kritinių klaidų sąrašas. |
| Kiek kriterijų? | Nuo trijų iki penkių. Mažiau kriterijų lengviau įvertinti ir sukalibruoti; palikite tik tuos, kuriuos galite pagrįsti stebimais įrodymais. |
| Kas tai patvirtina? | Vyresnysis inžinierius, kuris atlieka darbą, ir jūsų komanda, siekiant sąžiningumo. |
| Kaip išlaikyti nuoseklumą? | Pirmiausia įvertinkite savarankiškai, tada palyginkite įrodymus kalibravimo sesijos metu. |
| Ko negali padaryti rubrika? | Ištaisykite neaiškų vaidmenį, nereprezentatyvią užduotį arba apklausėjus, kurie nėra apmokyti jomis naudotis. |
| Iš kur žinai, kad veikia? | Interviuotojų balai labiau sutampa tame pačiame įraše ar aprašyme, o balai sutampa su vėlesniu atlikimu. |
1. Apibrėžkite vertinamą našumą
Pradėkite nuo darbo, o ne nuo temos. Vyresniajam inžinieriui aktuali užduotis paprastai yra tokia: gavus dviprasmišką problemą, priimti ir apginti architektūrinius sprendimus ir pasakyti, kas juos pakeistų. Parašykite tai vienu sakiniu, nurodydami pareigas, lygį ir kontekstą, kuriame asmuo dirbtų. Vyresniojo serverio specialisto pareigos mokėjimų įmonėje skiriasi nuo vyresniojo platformos specialisto pareigų žiniasklaidos įmonėje.
Taip pat užsirašykite, ko nevertinate. Dažni atsitiktiniai kriterijai yra spausdinimo greitis, konkretaus debesijos tiekėjo išmanymas ir gebėjimas tvarkingai piešti ant bendros baltos lentos. Jei jie nėra darbo dalis, jie neturėtų turėti įtakos balui.
2. Pasirinkite reprezentatyvią, nepažįstamą užduotį
Pasirinkite uždavinį, kuris atitiktų realų darbą ir kurio kandidatai negalėtų įsiminti. Plačiai žinoma užduotis („sukurkite URL trumpiklį“) apdovanoja už pakartotinį darbą. Naudokite savo srities uždavinį, pašalinę jautrias detales, ir paprašykite vyresniojo inžinieriaus jį išspręsti savarankiškai, kad žinotumėte, kaip atrodo pagrįsti atsakymų variantai.
Susitaikykite su mintimi, kad viena 45 minučių trukmės problema yra tik dalis vyresniojo inžinieriaus darbo. Ji gali parodyti, kaip asmuo susidoroja su dviprasmybėmis, apribojimais ir kompromisais. Ji negali parodyti, kaip asmuo konsultuoja, vykdo migraciją kelis mėnesius ar tvarkosi su ilgu incidentu. Nurodykite tai savo įdarbinimo dokumentuose, kad niekas nepervertintų balų.
3. Užrašykite stebimus kriterijus ir priedus
Sudarykite kriterijus, pagrįstus įrodymais, kuriuos galite užsirašyti. Trumpas, tinkamas taikyti rinkinys vyresniųjų sistemų projektavimo etapui:
| kriterijus | Stebimi įrodymai |
|---|---|
| Problemos įrėminimas | Užduoda patikslinančius klausimus, išdėsto prielaidas ir suderina apimtį prieš piešdamas. |
| Kompromisinis samprotavimas | Įvardija bent du svarbaus sprendimo variantus, nurodo kiekvieno kainą ir pasirenka pagrįstą pasirinkimą. |
| Gylis | Paprašius, gilinasi į vieną ar du komponentus, neprarasdamas viso dizaino. |
| Tvarkymo pokyčiai | Koreguoja dizainą, kai pridedamas apribojimas, ir paaiškina, kas dabar yra silpniau. |
| Bendravimas | Padaro dizainą suprantamą kolegai, kuris nebuvo kambaryje. |
Įvertinkite kiekvieną kriterijų nuo 0 iki 2: 0 reiškia, kad kriterijaus nėra arba jis nepagrįstas, 1 – dalinis su atitinkamais trūkumais, o 2 – išsamus ir pagrįstas pagal sutartus kriterijus. Svarbiau yra pagrindiniai kriterijai nei skalė. Pavyzdžiui, kompromisinio samprotavimo atveju 0 reiškia „įvardija technologiją nenurodant priežasties“, 1 – „pateikia priežastį, bet ne alternatyvos kainą“, o 2 – „palygina galimybes su nurodytais apribojimais ir nurodo, ko jos atsisakytų“.
Atskirai apibrėžkite kritines klaidas, pvz., apklausėjo nurodyto duomenų apsaugos reikalavimo ignoravimą arba dizaino, kuris negali atitikti nurodyto griežto apribojimo, pasiūlymą. Vidutinis balas niekada neturi paslėpti kritinės klaidos. Venkite vertinti pagal pasitikėjimą savimi ar greitį; tylus kandidatas, kuris kruopščiai samprotauja, neturėtų būti baudžiamas už stilių. Mūsų sprendimų priėmimo ir problemų sprendimo vertinimo vadovas apima tai, kaip suformuluoti samprotavimo užduočių kriterijus.
4. Vertintojų kalibravimas ir bandomojo projekto vykdymas
Rubrika, kurią du žmonės skaito skirtingai, dar nėra rubrika. Prieš naudodami ją tiesiogiai:
- Pasirinkite pavyzdį. Naudokite kolegos, nedalyvaujančio įdarbinimo procese, rašytinį dizainą arba imitacinį pokalbio įrašą su asmens sutikimu.
- Įvertinkite savarankiškai. Kiekvienas vertintojas parašo įrodymus pagal kiekvieną kriterijų prieš pamatydamas kitų vertinimų rezultatus.
- Palyginkite įrodymus. Jei balai skiriasi daugiau nei vienu tašku, išsiaiškinkite, ar pagrindinis teiginys buvo dviprasmiškas, ar vertintojai pastebėjo skirtingus dalykus. Perrašykite pagrindinį teiginį.
- Pakartokite su antru pavyzdžiu. Liaukitės, kai nesutarimai kyla dėl vertinimo, o ne dėl formuluotės.
„Google“ vadove interviu vedėjų mokymai derinami su kalibravimu, kad interviu vedėjai galėtų nuosekliai ir užtikrintai vertinti – tai tas pats principas. Paprašykite specialisto, pavyzdžiui, kaimyninės komandos inžinerijos vadovo, peržiūrėti atvejį ir pagrindinius kandidatus, o savo darbuotojų komandos paprašykite peržiūrėti procesą, siekiant užtikrinti sąžiningumą ir teisinius reikalavimus jūsų įdarbinimo regionuose.
5. Pateikite realų pavyzdį
Iliustracinis pavyzdys. Vyresnysis inžinierius prieš naudojimą turėtų patvirtinti atvejį ir atsakyti į kriterijus.
Atvejis. Kandidatai kuria pranešimų paslaugą pristatymo programėlei: klientai gauna atnaujinimus, kai pasikeičia užsakymo būsena. Apibūdinamas tik „keli milijonai užsakymų per dieną, dažniausiai valgio metu“.
Pirmas bandymas. „Sukurčiau pranešimų eilę tarp užsakymų tarnybos ir pranešimų tvarkytojo, saugočiau kiekvieną įvykį duomenų bazėje ir siųsčiau tiesioginius pranešimus.“ Struktūra pagrįsta, tačiau kandidatas neklausė, kokių kanalų reikia, kas nutinka, jei pranešimas vėluoja arba siunčiamas du kartus, ir ką eilei reiškia didžiausias krūvis.
Interviuotojo atsiliepimai ir pakartotinis bandymas. Interviuotojas klausia: „Kas čia blogiau: pavėluotas pranešimas ar pasikartojantis?“ Interviuotojai turėtų turėti standartinį kiekvieno kriterijaus stebėjimą, kad kiekvienas kandidatas turėtų tokią pačią galimybę parodyti įgūdį.
Stipresnis bandymas. „Dublikatas yra blogiau tiesioginiams siuntimams, nes žmonės nustotų pasitikėti programėle, todėl siuntimą padaryčiau idempotentinį su užsakymo ir būsenos raktu. SMS žinutėms priimčiau retkarčiais siunčiamus dublikatus, nes kaina yra svarbesnė. Didžiausias krūvis valgymo metu reiškia, kad eilė turėtų sugerti apkrovą, o darbuotojai turėtų prisitaikyti prie eilės gylio. Nesu tikras, koks griežtas yra pristatymo laiko pažadas, todėl prieš rinkdamasis tarp paprastos pakartotinio bandymo politikos ir prioritetinės juostos laiko atžvilgiu svarbiems atnaujinimams, paklausčiau produkto savininko.“
Taškų skaičiavimas. Pagal vertinimo kriterijus šis atsakymas vertinamas 2 balais už kompromisinį samprotavimą (du variantai, sąnaudos, priežastis), 2 balais už problemos formulavimą (nurodomos prielaidos, užduodamas klausimas) ir 1 balu už pokyčių valdymą, kol apklausėjas neprideda apribojimo. Atkreipkite dėmesį, kad apklausėjas vertina įrodymus, o ne derina kandidato planą su savo pageidaujamu.
Kur padeda interaktyvus pristatymas
Čia ugdomas įgūdis skirtas apklausėjams, ir interaktyvi praktika jam tinka. Tiesioginės kalibravimo sesijos metu parodykite pavyzdinį projektą, paprašykite kiekvieno vertintojo privačiai įvertinti kiekvieną kriterijų ir prieš diskusiją atskleiskite skirtumą. Žmonės įsipareigoja dėl balo dar neišgirdę garsiausio balso kambaryje, o nesutarimai nurodo esminius aspektus, kuriuos reikia perrašyti. Tas pats pavyzdys ir vertinimo kriterijai gali būti pateikiami savarankišku tempu naujiems apklausėjams, kurie prisijungia vėliau, o tiesioginė sesija skirta dviprasmiškiems atvejams aptarti. „AhaSlides“ palaiko interaktyvų mokymąsi ir perėjimą tarp tiesioginio ir savarankiško pateikimo. Tai pristatymo ir mokymosi priemonė, o ne pokalbių platforma ar kandidatų stebėjimo sistema, todėl savo įdarbinimo įrankiuose saugokite tikrus kandidatų duomenis. Patikrinkite visas konkrečias kūrimo, atsiliepimų ar ataskaitų teikimo funkcijas, kuriomis planuojate remtis savo darbo eigoje. Jei reikia pagalbos renkantis formatus, žr. mūsų vadovą, kada naudoti adaptyvų, interaktyvų ir tiesioginį mokymąsi , o apie grįžtamojo ryšio dizainą žr. interaktyvios praktikos kūrimas naudojant naudingą grįžtamąjį ryšį.
Išmatuokite, kas pasikeitė
Iš anksto nuspręskite, kas parodytų, kad vertinimo skalė veikia. Praktiškos yra dvi priemonės. Pirma, sutarimas: ar nepriklausomi apklausėjai, remdamiesi tuo pačiu įrašytu ar rašytiniu dizainu, po kalibravimo pasiekia artimesnį rezultatą nei anksčiau? Apibrėžkite, kas įtraukiami, vardiklį ir laiką. Antra, aktualumas: ar po kelių mėnesių balai yra susiję su tuo, kaip naujai įdarbinti asmenys pasirodo dizaino peržiūrose? Esant nedideliam įdarbintų darbuotojų skaičiui, tai bus tik apytikslis signalas, todėl laikykite tai raginimu peržiūrėti vertinimo skalę, o ne įrodymu. Jei rezultatai pagerėja, prieš priskirdami vertinimo skalei įvertinimą, patikrinkite, kas dar pasikeitė tuo pačiu metu, pavyzdžiui, naujas vaidmens apibrėžimas ar kitas tiekimo kanalas.
Apribojimai, kurie gali likti
- Reprezentatyvumas. Viena problema yra darbo dalies pavyzdys. Sujunkite ją su kitais įrodymais, pavyzdžiui, darbo pavyzdžiu arba struktūrizuotu pokalbiu apie ankstesnius sprendimus.
- Sąžiningumas. Rubrika sumažina variaciją, bet pati savaime šališkumo nepašalina. Peržiūrėkite atvejį ir pagrindinius prielaidų apie kilmę pagrindus pagrindimus ir patikrinkite rezultatus skirtingose grupėse su savo žmonių komanda.
- Interviuotojo laikas. Kalibravimas trunka valandas. Be jo vertinimo skalė tėra ilgesnė forma.
- Vaidmenų aiškumas. Jei komanda nesutaria, ką reiškia „vyresnysis“, jokia vertinimo komisija problemos neišspręs.
- Teisinis kontekstas. Įdarbinimo vertinimas skirtingose vietose reglamentuojamas skirtingai. Prieš keisdami procesą, patikrinkite vietos reikalavimus.
Dažnai užduodami klausimai
Ką turėtų apimti sistemos projektavimo pokalbio rubrika?
Trys–penki kriterijai, tokie kaip problemos formulavimas, kompromisų samprotavimas, gylis, pokyčių valdymas ir komunikacija, kiekvienam iš jų skiriamas nuo 0 iki 2 balų ir atskiras kritinių klaidų sąrašas.
Kaip neleisti pašnekovams vertinti savo pasitikėjimo savimi?
Prieš skiriant balą, paprašykite jų užrašyti kiekvieno kriterijaus stebimus įrodymus ir susiekite kiekvieną balą su elgesiu, pavyzdžiui, „palygina du variantus ir nurodo nepasirinkto varianto kainą“.
Kiek laiko turėtų trukti sistemos projektavimo pokalbis?
Pokalbiai dažnai planuojami maždaug valandai, tačiau tinkama trukmė yra tokia, kad kandidatas galėtų parodyti visus jūsų vertinimo kriterijus. Išbandykite bandomąjį projektą.
Ar vertinimo kriterijai gali padėti siekti tikslo įdarbinant?
Tai leidžia nuosekliau ir lengviau audituoti, tačiau išlieka sprendimų priėmimas. Tikslas yra, kad apklausėjai sutiktų dėl tų pačių priežasčių, o ne pašalinti žmones nuo sprendimo priėmimo.
Kur pradėti
Pasirinkite vieną laisvą vaidmenį ir parašykite vieno sakinio veiklos ataskaitą. Parengkite tris kriterijus su pagrindiniais kriterijais ir trumpu kritinių klaidų sąrašu, tada paprašykite vyresniojo inžinieriaus savarankiškai išspręsti jūsų atvejį. Atlikite vieną kalibravimo sesiją su asmenimis, kurie atliks pokalbius, perrašykite pagrindinius kriterijus, dėl kurių kilo nesutarimų, ir prieš plačiai naudodami vertinimo kriterijus, išbandykite juos su nedideliu skaičiumi realių pokalbių.
Norėdami sužinoti, kaip kalibravimo sesija galėtų vykti tiesiogiai su jūsų pačių pašnekovais ir vėliau būti pakartotinai naudojama savarankiškai, tyrinėkite „AhaSlides“.
