Dalawang kandidato ang makakatanggap ng parehong prompt: magdisenyo ng serbisyo na nagbibigay-daan sa mga user na magbahagi ng maiikling video clip. Ang una ay guguhit ng isang malinis na diagram sa loob ng sampung minuto, babanggitin ang bawat sikat na bahagi at magsasalita nang may lubos na kumpiyansa. Ang pangalawa ay magsisimula nang mas mabagal, magtatanong kung sino ang mga user, sasabihin kung aling bahagi ang hindi niya sigurado at gagawa ng ibang pagpipilian para sa imbakan, na nagbibigay ng malinaw na dahilan. Binigyan ng rating ng Tagapanayam A ang unang kandidato ng "malakas". Si Tagapanayam B, na nakibahagi sa parehong sesyon, ay nagbigay ng rating ng "malakas" sa pangalawa. Halos hindi magkakapatong ang kanilang mga tala.
Ito ay isang naglalarawang senaryo, hindi isang dokumentadong insidente ng pagkuha ng empleyado. Karaniwan na ito kaya't kinikilala ito ng karamihan sa mga pangkat ng inhinyero. Parehong disenyo ay maipagtatanggol. Ang magkaiba ay ang itinaas ng bawat tagapanayam: kahusayan, bilis, pamilyaridad sa kanilang sariling ginustong arkitektura, o ang kalidad ng pangangatwiran. Ang gabay na ito ay para sa mga tagapamahala ng inhinyero at mga lead ng pagpapagana ng inhinyero na nangangailangan ng rubric sa panayam sa disenyo ng sistema na nagbibigay ng marka sa mga senior na kandidato batay sa parehong ebidensya, upang ang dalawang tagapanayam ay maaaring makarating sa parehong konklusyon para sa parehong mga dahilan. Ang bawat pamantayan sa ibaba ay dapat na patunayan ng isang senior engineer at suriin para sa pagiging patas bago mo ito gamitin sa isang tunay na desisyon sa pagkuha ng empleyado.
Ano ang rubric ng panayam sa disenyo ng sistema?
Ang rubric sa panayam sa disenyo ng sistema ay isang gabay sa pagmamarka na naglilista ng iyong hinahanap, kung ano ang hitsura ng bawat marka sa naoobserbahang pag-uugali, at kung aling mga pagkakamali ang hindi maaaring mabawi ng mga kalakasan sa ibang lugar. Ito ay nasa tabi ng tanong, kaya ang bawat tagapanayam ay nangongolekta ng ebidensya laban sa parehong pamantayan. Tinatawag ng gabay ng Google sa nakabalangkas na panayam ang mga tool sa pagmamarka na "rubrics" at binabanggit na tinatawag ito ng mga mananaliksik na "behaviorally-anchored rating scales". Iniuulat nito na ang mga nakabalangkas na panayam ay nagbibigay ng mas mataas na predictive validity at mas maliliit na pagkakaiba sa pagitan ng mga demograpikong grupo, at ang mga paunang ginawang tanong, gabay, at rubric ay nakakatipid ng average na 40 minuto bawat panayam. Mababasa mo ang buong gabay sa Google re:Work: A guide to structured interviewing.
Madaling mahanap ang mga pampublikong halimbawa, at karamihan ay isinulat para sa mga kandidato. Ang gabay na ito ay para sa kabilang panig ng talahanayan.
Mabilis na katotohanan
| Tanong | Maikling sagot |
|---|---|
| Ano ang iyong sinusuri? | Paano nangangatuwiran ang isang kandidato tungkol sa isang open-ended na problema sa arkitektura, hindi kung gaano karaming mga bahagi ang maaari nilang pangalanan. |
| Ano ang mga nakapaloob sa isang rubric? | Mga pamantayan, mga nakaangkla na marka, at isang listahan ng mga kritikal na pagkakamali. |
| Ilang pamantayan? | Tatlo hanggang lima. Mas kaunting pamantayan ang mas madaling bigyan ng marka at i-calibrate; panatilihin lamang ang mga maaari mong pagtibayin gamit ang naobserbahang ebidensya. |
| Sino ang nagpapatunay nito? | Isang senior engineer na gumagawa ng trabaho, kasama ang iyong people team para sa patas na pakikitungo. |
| Paano mo ito pinapanatiling pare-pareho? | Magbigay muna ng puntos nang mag-isa, pagkatapos ay ihambing ang ebidensya sa isang sesyon ng pagkakalibrate. |
| Ano ang hindi kayang gawin ng isang rubric? | Ayusin ang isang hindi malinaw na tungkulin, isang gawaing walang representasyon, o mga tagapanayam na hindi sinanay para gamitin ito. |
| Paano mo malalaman na gumagana ito? | Mas nagkakasundo ang mga iskor ng mga tagapanayam sa iisang recording o sulatin, at ang mga iskor ay naaayon sa susunod na pagganap. |
1. Tukuyin ang pagganap na iyong tinatasa
Magsimula sa trabaho, hindi sa paksa. Para sa isang senior engineer, ang mahalagang gawain ay karaniwang: bibigyan ng isang malabong problema, gumawa at ipagtanggol ang mga desisyon sa arkitektura, at sabihin kung ano ang magpapabago sa mga ito. Isulat iyon bilang isang pangungusap, at tukuyin ang tungkulin, antas, at konteksto na gagawan ng tao ng trabaho. Ang isang senior backend role sa isang kumpanya ng pagbabayad ay may ibang pamantayan kumpara sa isang senior platform role sa isang kumpanya ng media.
Isulat din ang hindi mo sinusuri. Ang bilis ng pagta-type, pamilyar sa isang partikular na cloud vendor at ang kakayahang gumuhit nang maayos sa isang nakabahaging whiteboard ay karaniwang mga hindi sinasadyang pamantayan. Kung hindi ito bahagi ng trabaho, hindi nito dapat ilipat ang iskor.
2. Pumili ng isang kinatawan at hindi pamilyar na gawain
Pumili ng problemang sumasalamin sa totoong gawain at hindi kayang kabisaduhin ng mga kandidato. Ang isang kilalang prompt ("magdisenyo ng URL shortener") ay nagbibigay ng gantimpala sa pag-eensayo. Gumamit ng problema mula sa sarili mong domain na tinanggal ang sensitibong detalye, at hilingin sa isang senior engineer na lutasin ito nang mag-isa upang malaman mo kung ano ang hitsura ng makatwirang hanay ng mga sagot.
Tanggapin na ang isang 45-minutong problema ay nagpapakita lamang ng bahagi ng ginagawa ng isang senior engineer. Maipapakita nito kung paano hinahawakan ng isang tao ang kalabuan, mga limitasyon, at mga kompromiso. Hindi nito maipapakita kung paano sila nagme-mentor, nagpapatakbo ng isang migration sa loob ng ilang buwan, o humahawak ng isang mahabang insidente. Sabihin iyan sa iyong dokumentasyon sa pagkuha ng empleyado para walang sinuman ang makabasa nang labis sa iskor.
3. Sumulat ng mga naoobserbahang pamantayan at mga angkla
Bumuo ng mga pamantayan batay sa ebidensyang maaari mong isulat. Isang maikli at praktikal na hanay para sa isang round ng disenyo ng senior system:
| Saligan | Napapansing ebidensya |
|---|---|
| Pagbabalangkas ng problema | Nagtatanong ng mga tanong na nagbibigay-linaw, nagsasaad ng mga palagay, at sumasang-ayon sa saklaw bago gumuhit. |
| Pangangatwiran na may kapalit | Nakapagbabanggit ng kahit dalawang opsyon para sa isang mahalagang desisyon, sinasabi ang halaga ng bawat isa, at pumipili nang may dahilan. |
| Lalim | Pumapalalim sa isa o dalawang bahagi kapag hiniling, nang hindi nawawala ang buong disenyo. |
| Paghawak ng pagbabago | Inaayos ang disenyo kapag may idinagdag na constraint at ipinapaliwanag kung ano ang mas mahina na ngayon. |
| Pakikipag-usap | Ginagawang madaling maintindihan ang disenyo ng isang kasamahan na wala sa silid. |
Markahan ang bawat kriterya mula 0 hanggang 2: 0 ang wala o hindi sinusuportahan, 1 ang bahagyang may mga kaugnay na kakulangan, at 2 ang kumpleto at makatwiran laban sa napagkasunduang pamantayan. Mas mahalaga ang mga anchor kaysa sa iskala. Para sa trade-off reasoning, halimbawa, ang 0 ay "nagpapangalan ng isang teknolohiya nang hindi sinasabi kung bakit", ang 1 ay "nagbibigay ng dahilan ngunit hindi ang halaga ng alternatibo", at ang 2 ay "naghahambing ng mga opsyon laban sa nakasaad na mga limitasyon at nagsasabi kung ano ang kanilang isusuko".
Tukuyin nang hiwalay ang mga kritikal na pagkakamali, tulad ng pagbalewala sa isang kinakailangan sa proteksyon ng datos na ipinahayag ng tagapanayam o pagmumungkahi ng isang disenyo na hindi makakatugon sa isang nakasaad na mahigpit na limitasyon. Ang isang average na iskor ay hindi dapat magtago ng isang kritikal na pagkakamali. Iwasan ang pag-iskor batay sa kumpiyansa o bilis; ang isang tahimik na kandidato na maingat na nangangatwiran ay hindi dapat parusahan dahil sa istilo. Ang aming gabay sa pagtatasa ng paghatol at paglutas ng problema ay sumasaklaw sa kung paano sumulat ng pamantayan para sa mga gawain sa pangangatwiran.
4. I-calibrate ang mga assessor at magpatakbo ng isang pilot
Ang isang rubric na binabasa ng dalawang tao nang magkaiba ay hindi pa rubric. Bago mo ito gamitin, basahin ito nang live:
- Pumili ng isang halimbawa. Gumamit ng nakasulat na disenyo mula sa isang kasamahan na wala sa proseso ng pagkuha ng empleyado, o isang kunwaring rekord ng panayam na may pahintulot ng tao.
- Mag-iskor nang mag-isa. Isinusulat ng bawat tagatasa ang ebidensya para sa bawat pamantayan bago makita ang mga marka ng iba.
- Paghambingin ang ebidensya. Kung saan ang mga iskor ay nagkakaiba nang higit sa isang punto, alamin kung ang anchor ay hindi malinaw o kung ang mga tagasuri ay may ibang napansin. Isulat muli ang anchor.
- Ulitin sa pangalawang halimbawa. Itigil kapag ang mga hindi pagkakasundo ay tungkol sa paghuhusga, hindi sa mga salita.
Pinagsasama ng gabay ng Google ang pagsasanay sa tagapanayam at ang kalibrasyon upang ang mga tagapanayam ay maging pare-pareho at may kumpiyansa sa kanilang mga pagtatasa, na siyang parehong ideya. Humingi ng tulong sa isang espesyalista, tulad ng isang engineering manager mula sa isang kalapit na team, upang suriin ang kaso at ang mga anchor, at hilingin sa iyong people team na suriin ang proseso para sa pagiging patas at mga legal na kinakailangan sa iyong mga rehiyon ng pagkuha ng empleyado.
5. Gumawa ng isang makatotohanang halimbawa
Paglalarawan. Dapat patunayan ng isang senior engineer ang kaso at sagutin ang mga pamantayan bago gamitin.
Ang kaso. Nagdidisenyo ang mga kandidato ng serbisyo ng abiso para sa isang delivery app: nakakatanggap ang mga customer ng mga update kapag nagbago ang status ng isang order. Ang iskala ay inilalarawan lamang bilang "ilang milyong order sa isang araw, karamihan ay sa mga oras ng pagkain".
Isang unang pagsubok. "Maglalagay ako ng message queue sa pagitan ng order service at ng notification worker, itatago ang bawat event sa isang database at magpapadala ng mga push notification." Makatwiran ang istruktura, ngunit hindi tinanong ng kandidato kung anong mga channel ang kailangan, ano ang mangyayari kung ang isang notification ay nahuli o naipadala nang dalawang beses, o ano ang ibig sabihin ng peak load para sa queue.
Magbibigay ng feedback ang tagapanayam at susubukan muli. Itatanong ng tagapanayam, "Ano ang mas malala rito: ang nahuling abiso o ang duplikado?" Dapat magkaroon ng karaniwang follow-up ang mga tagapanayam para sa bawat pamantayan, para magkaroon ng parehong pagkakataon ang bawat kandidato na maipakita ang kanilang kasanayan.
Isang mas malakas na pagtatangka. "Mas malala ang duplicate para sa push, dahil hindi na magtitiwala ang mga tao sa app, kaya gagawin kong idempotent ang pagpapadala gamit ang order at status key. Para sa SMS, tatanggapin ko ang paminsan-minsang mga duplicate dahil mas mahalaga ang gastos. Ang peak load sa oras ng pagkain ay nangangahulugan na dapat na ma-absorb ng pila ang mga burst at dapat na i-adjust ng mga manggagawa ang lalim ng pila. Hindi ako sigurado kung gaano kahigpit ang pangako sa oras ng paghahatid, kaya tatanungin ko muna ang may-ari ng produkto bago pumili sa pagitan ng isang simpleng patakaran sa muling pagsubok at isang priority lane para sa mga update na kritikal sa oras."
Pagbibigay ng Iskor. Laban sa rubric, ang sagot na ito ay nakakuha ng 2 puntos sa trade-off reasoning (dalawang opsyon, gastos, isang dahilan), 2 sa problem framing (naglalahad ng mga palagay, nagtatanong), at 1 sa paghawak ng pagbabago hanggang sa magdagdag ang tagapanayam ng isang constraint. Pansinin na ang tagapanayam ay nagbibigay ng marka sa ebidensya, hindi itinutugma ang disenyo ng kandidato sa sarili nilang gusto.
Kung saan nakakatulong ang interactive na paghahatid
Ang kasanayang iyong binubuo rito ay para sa mga tagapanayam, at angkop dito ang interactive na pagsasanay. Sa isang live na sesyon ng pagkakalibrate, ipakita ang halimbawang disenyo, hilingin sa bawat tagasuri na bigyan ng pribadong marka ang bawat pamantayan, at ibunyag ang pagkakalat bago ang talakayan. Ang mga tao ay nangangako ng isang marka bago nila marinig ang pinakamalakas na boses sa silid, at ang mga hindi pagkakasundo ay tumutukoy sa mga anchor na kailangang muling isulat. Ang parehong halimbawa at rubric ay maaaring tumakbo nang mag-isa para sa mga bagong tagapanayam na sasali mamaya, na may live na sesyon upang talakayin ang mga hindi malinaw na kaso. Sinusuportahan ng AhaSlides ang interactive na pag-aaral at paglipat sa pagitan ng live at self-paced na paghahatid. Ito ay isang tool sa presentasyon at pag-aaral, hindi isang platform ng panayam o isang sistema ng pagsubaybay sa aplikante, kaya panatilihin ang totoong datos ng kandidato sa iyong mga tool sa pag-hire. Suriin ang anumang partikular na function ng pag-author, feedback o pag-uulat na plano mong umasa laban sa iyong sariling daloy ng trabaho. Para sa tulong sa pagpili ng mga format, tingnan ang aming gabay kung kailan gagamit ng adaptive, interactive at live learning , at para sa disenyo ng feedback, tingnan ang pagdidisenyo ng interactive na kasanayan na may kapaki-pakinabang na feedback.
Sukatin kung ano ang nagbago
Magpasya nang maaga kung ano ang magpapakita na gumagana ang rubric. Dalawang praktikal na sukatan ang magagamit. Una, kasunduan: sa parehong naitala o nakasulat na disenyo, mas magkakalapit ba ang pagkakatugma ng mga independiyenteng tagapanayam pagkatapos ng kalibrasyon kaysa dati? Tukuyin kung sino ang kasama, ang denominator at ang tiyempo. Pangalawa, kaugnayan: pagkatapos ng ilang buwan, nauugnay ba ang mga marka sa kung paano gumaganap ang mga bagong empleyado sa mga pagsusuri ng disenyo? Sa maliit na bilang ng mga empleyado, ito ay magiging isang magaspang na senyales lamang, kaya ituring ito bilang isang prompt upang repasuhin ang rubric, hindi bilang patunay. Kung bumuti ang mga resulta, suriin kung ano pa ang nagbago nang sabay, tulad ng isang bagong kahulugan ng tungkulin o ibang sourcing channel, bago bigyan ng kredito ang rubric.
Mga limitasyon na maaaring manatili
- Pagkakatawan. Ang isang halimbawa ng problema ay bahagi ng trabaho. Ipares ito sa iba pang ebidensya tulad ng isang halimbawa ng trabaho o isang nakabalangkas na pag-uusap tungkol sa mga nakaraang desisyon.
- Pagkamakatarungan. Binabawasan ng rubric ang pagkakaiba-iba, ngunit hindi nito inaalis ang bias nang kusa. Suriin ang kaso at mga angkla para sa mga pagpapalagay tungkol sa background, at suriin ang mga resulta sa iba't ibang grupo kasama ang iyong pangkat ng mga tao.
- Oras ng tagapanayam. Ang kalibrasyon ay inaabot ng ilang oras. Kung wala ito, ang rubric ay isa lamang mahabang anyo.
- Kalinawan ng tungkulin. Kung hindi magkasundo ang pangkat sa ibig sabihin ng "senior," walang rubric ang makapagbibigay ng solusyon.
- Kontekstong legal. Iba-iba ang regulasyon sa hiring assessment sa iba't ibang lugar. Suriin ang mga lokal na kinakailangan bago mo baguhin ang isang proseso.
Mga madalas itanong
Ano ang dapat kasama sa rubric ng panayam sa disenyo ng sistema?
Tatlo hanggang limang pamantayan tulad ng pagbalangkas ng problema, pangangatwiran na may kompromiso, lalim, paghawak ng pagbabago at komunikasyon, isang 0 hanggang 2 na naka-angkla na iskor para sa bawat isa, at isang hiwalay na listahan ng mga kritikal na pagkakamali.
Paano mo mapipigilan ang mga tagapanayam na makakuha ng puntos batay sa kanilang kumpiyansa?
Ipasulat sa kanila ang napapansing ebidensya para sa bawat pamantayan bago magbigay ng iskor, at iugnay ang bawat iskor sa pag-uugali, tulad ng "paghahambing ng dalawang opsyon at pagsasaad ng halaga ng isa na hindi napili".
Gaano katagal dapat ang isang panayam para sa disenyo ng sistema?
Ang mga panayam ay kadalasang naka-iskedyul nang humigit-kumulang isang oras, ngunit ang tamang haba ay kung ano ang magpapahintulot sa isang kandidato na maipakita ang bawat pamantayan sa iyong rubric. Subukan ito gamit ang isang pilot test.
Maaari bang gawing obhetibo ang pagkuha ng empleyado gamit ang isang rubric?
Ginagawa nitong mas pare-pareho at mas madaling i-audit, ngunit nananatili ang paghatol. Ang layunin ay para sumang-ayon ang mga tagapanayam para sa parehong mga dahilan, hindi para alisin ang mga tao sa desisyon.
Saan magsisimula
Pumili ng isang bukas na tungkulin at isulat ang isang pangungusap na pahayag ng pagganap. Bumuo ng tatlong pamantayan na may mga anchor at isang maikling listahan ng mga kritikal na error, pagkatapos ay ipagawa sa isang senior engineer ang iyong kaso nang nakapag-iisa. Magsagawa ng isang sesyon ng kalibrasyon kasama ang mga taong mag-iinterbyu, isulat muli ang mga anchor na nagdulot ng hindi pagkakasundo, at subukan ang rubric sa isang maliit na bilang ng mga totoong panayam bago mo ito malawakang gamitin.
Para makita kung paano maaaring gumana nang live ang isang sesyon ng pagkakalibrate kasama ang iyong sariling mga tagapanayam, at magamit muli nang mag-isa pagkatapos, tuklasin ang AhaSlides.
