Dua calon mendapat gesaan yang sama: mereka bentuk perkhidmatan yang membolehkan pengguna berkongsi klip video pendek. Calon pertama melukis gambar rajah yang kemas dalam sepuluh minit, menamakan setiap komponen popular dan bercakap dengan penuh keyakinan. Calon kedua bermula dengan lebih perlahan, bertanya siapa pengguna, menyatakan bahagian mana yang dia tidak pasti dan membuat pilihan penyimpanan yang berbeza, memberikan alasan yang jelas. Penemuduga A menilai calon pertama sebagai "kuat". Penemuduga B, yang menghadiri sesi yang sama, menilai calon kedua sebagai "kuat". Nota mereka hampir tidak bertindih.
Ini adalah senario ilustrasi, bukan insiden pengambilan pekerja yang didokumenkan. Ia cukup biasa sehingga kebanyakan pasukan kejuruteraan akan mengenalinya. Kedua-dua reka bentuk boleh dipertahankan. Apa yang berbeza ialah skor setiap penemuduga: kefasihan, kepantasan, keakraban dengan seni bina pilihan mereka sendiri, atau kualiti penaakulan. Panduan ini adalah untuk pengurus kejuruteraan dan peneraju pembolehubah kejuruteraan yang memerlukan rubrik temuduga reka bentuk sistem yang memberi skor kepada calon kanan berdasarkan bukti yang sama, supaya dua penemuduga boleh mencapai kesimpulan yang sama atas sebab yang sama. Setiap kriteria di bawah harus disahkan oleh jurutera kanan dan disemak untuk keadilan sebelum anda menggunakannya dalam keputusan pengambilan pekerja yang sebenar.
Apakah rubrik temu bual reka bentuk sistem?
Rubrik temu bual reka bentuk sistem ialah panduan pemarkahan yang menyenaraikan apa yang anda cari, rupa setiap skor dalam tingkah laku yang boleh diperhatikan, dan kesilapan yang tidak dapat diimbangi oleh kekuatan di tempat lain. Ia terletak di sebelah soalan, jadi setiap penemuduga mengumpul bukti berdasarkan kriteria yang sama. Panduan Google untuk temu bual berstruktur memanggil alat pemarkahan ini sebagai "rubrik" dan menyatakan bahawa penyelidik memanggilnya "skala penilaian berlandaskan tingkah laku". Ia melaporkan bahawa temu bual berstruktur memberikan kesahan ramalan yang lebih tinggi dan perbezaan yang lebih kecil antara kumpulan demografi, dan soalan, panduan dan rubrik yang telah dibuat terlebih dahulu menjimatkan purata 40 minit setiap temu bual. Anda boleh membaca panduan penuh dalam Google re:Work: Panduan untuk temu bual berstruktur.
Contoh awam mudah dicari, dan kebanyakannya ditulis untuk calon. Panduan ini adalah untuk bahagian lain jadual.
fakta Pantas
| Soalan | Jawapan pendek |
|---|---|
| Apa yang anda nilaikan? | Bagaimana calon memberi alasan tentang masalah seni bina terbuka, bukan berapa banyak komponen yang boleh mereka namakan. |
| Apa yang terdapat dalam rubrik? | Kriteria, skor berlabuh dan senarai ralat kritikal. |
| Berapa banyak kriteria? | Tiga hingga lima. Kriteria yang lebih sedikit lebih mudah untuk dinilai dan dikalibrasi; hanya kekalkan kriteria yang boleh anda sauhkan dengan bukti yang boleh diperhatikan. |
| Siapa yang mengesahkannya? | Seorang jurutera kanan yang melakukan kerja, berserta pasukan pekerja anda untuk keadilan. |
| Bagaimana anda memastikan ia konsisten? | Buat skor secara bebas terlebih dahulu, kemudian bandingkan bukti dalam sesi penentukuran. |
| Apa yang tidak boleh dilakukan oleh rubrik? | Betulkan peranan yang tidak jelas, tugasan yang tidak mewakili atau penemuduga yang tidak terlatih untuk menggunakannya. |
| Bagaimana anda tahu ia berfungsi? | Skor penemuduga lebih sepadan pada rakaman atau penulisan yang sama, dan skor tersebut selaras dengan prestasi kemudian. |
1. Tentukan prestasi yang anda sedang nilaikan
Mulakan dengan kerja, bukan topik. Bagi jurutera kanan, tugas yang berkaitan biasanya: diberikan masalah yang samar-samar, membuat dan mempertahankan keputusan seni bina, dan menyatakan apa yang akan mengubahnya. Tuliskannya sebagai satu ayat, dan nyatakan peranan, tahap dan konteks yang akan diceburi oleh orang itu. Peranan bahagian belakang kanan di syarikat pembayaran mempunyai bar yang berbeza daripada peranan platform kanan di syarikat media.
Tulis juga apa yang anda tidak nilaikan. Kelajuan menaip, kebiasaan dengan vendor awan tertentu dan keupayaan untuk melukis dengan kemas di papan putih kongsi adalah kriteria tidak sengaja yang biasa. Jika ia bukan sebahagian daripada tugasan, ia tidak sepatutnya mengubah skor.
2. Pilih tugasan yang mewakili dan tidak biasa
Pilih masalah yang mengambil sampel kerja sebenar dan yang calon tidak dapat hafal. Gesaan yang diketahui umum ("reka bentuk pemendek URL") memberi ganjaran kepada latihan. Gunakan masalah daripada domain anda sendiri dengan butiran sensitif yang dialih keluar, dan minta jurutera kanan menyelesaikannya secara bebas supaya anda tahu bagaimana rupa julat jawapan yang munasabah.
Terimalah bahawa satu masalah selama 45 minit hanya menunjukkan sebahagian daripada apa yang dilakukan oleh jurutera kanan. Ia boleh menunjukkan bagaimana seseorang mengendalikan kekaburan, kekangan dan pertukaran. Ia tidak boleh menunjukkan bagaimana mereka menjadi mentor, menjalankan migrasi selama berbulan-bulan atau mengendalikan insiden yang panjang. Nyatakan perkara itu dalam dokumentasi pengambilan pekerja anda supaya tiada siapa yang terlebih membaca skor.
3. Tulis kriteria dan sauh yang boleh diperhatikan
Bina kriteria berdasarkan bukti yang boleh anda tulis. Satu set ringkas dan boleh dilaksanakan untuk pusingan reka bentuk sistem kanan:
| kriteria | Bukti yang boleh diperhatikan |
|---|---|
| Pembingkaian masalah | Mengemukakan soalan penjelasan, menyatakan andaian dan bersetuju dengan skop sebelum melukis. |
| Penaakulan pertukaran | Menamakan sekurang-kurangnya dua pilihan untuk keputusan penting, menyatakan kos setiap satu dan memilihnya berserta alasan. |
| Mendalam | Memberi penekanan mendalam pada satu atau dua komponen apabila diminta, tanpa kehilangan keseluruhan reka bentuk. |
| Mengendalikan perubahan | Melaraskan reka bentuk apabila kekangan ditambah dan menerangkan apa yang kini lebih lemah. |
| Komunikasi | Menjadikan reka bentuk difahami oleh rakan sekerja yang tiada di dalam bilik. |
Nilaikan setiap kriteria dari 0 hingga 2: 0 tiada atau tidak disokong, 1 separa dengan peninggalan yang berkaitan, dan 2 lengkap dan berasas terhadap kriteria yang dipersetujui. Sauh lebih penting daripada skala. Untuk penaakulan pertukaran, contohnya, 0 ialah "menamakan teknologi tanpa menyatakan sebabnya", 1 ialah "memberikan sebab tetapi bukan kos alternatif", dan 2 ialah "membandingkan pilihan terhadap kekangan yang dinyatakan dan menyatakan apa yang akan mereka lepaskan".
Takrifkan ralat kritikal secara berasingan, seperti mengabaikan keperluan perlindungan data yang dinyatakan oleh penemuduga atau mencadangkan reka bentuk yang tidak dapat memenuhi kekangan keras yang dinyatakan. Skor purata tidak boleh menyembunyikan ralat kritikal. Elakkan skor berdasarkan keyakinan atau kelajuan; calon yang pendiam yang membuat penaakulan dengan teliti tidak boleh dihukum kerana gaya. Panduan kami untuk menilai pertimbangan dan penyelesaian masalah merangkumi cara menulis kriteria untuk tugasan penaakulan.
4. Kalibrasi penilai dan jalankan percubaan
Rubrik yang dibaca oleh dua orang secara berbeza belum lagi dianggap sebagai rubrik. Sebelum anda menggunakannya secara langsung:
- Pilih satu contoh. Gunakan reka bentuk bertulis daripada rakan sekerja yang tidak terlibat dalam proses pengambilan pekerja, atau rakaman temu duga olok-olok dengan persetujuan orang tersebut.
- Mendapatkan markah secara bebas. Setiap penilai menulis bukti untuk setiap kriteria sebelum melihat skor orang lain.
- Bandingkan bukti. Jika skor berbeza lebih daripada satu mata, ketahui sama ada sauh itu samar-samar atau penilai perasan perkara yang berbeza. Tulis semula sauh itu.
- Ulangi pada contoh kedua. Hentikan apabila perselisihan faham adalah tentang penghakiman, bukan perkataan.
Panduan Google menggabungkan latihan penemuduga dengan penentukuran supaya penemuduga konsisten dan yakin dalam penilaian mereka, yang merupakan idea yang sama. Minta pakar, seperti pengurus kejuruteraan daripada pasukan jiran, untuk menyemak kes dan penaung, dan minta pasukan sumber manusia anda untuk menyemak proses untuk keadilan dan keperluan undang-undang di kawasan pengambilan pekerja anda.
5. Gunakan contoh yang realistik
Ilustrasi. Seorang jurutera kanan harus mengesahkan kes dan menjawab kriteria sebelum digunakan.
Kesnya. Calon mereka bentuk perkhidmatan pemberitahuan untuk aplikasi penghantaran: pelanggan mendapat kemas kini apabila status pesanan berubah. Skala hanya digambarkan sebagai "beberapa juta pesanan sehari, kebanyakannya pada waktu makan".
Percubaan pertama. "Saya akan meletakkan giliran mesej antara perkhidmatan pesanan dan pekerja pemberitahuan, menyimpan setiap peristiwa dalam pangkalan data dan menghantar pemberitahuan tolak." Strukturnya munasabah, tetapi calon tidak bertanya saluran apa yang diperlukan, apa yang berlaku jika pemberitahuan lewat atau dihantar dua kali, atau apakah maksud beban puncak untuk giliran.
Maklum balas penemuduga dan cuba semula. Penemuduga bertanya, "Apakah yang lebih teruk di sini: pemberitahuan lewat atau pemberitahuan berganda?" Penemuduga harus mempunyai susulan standard untuk setiap kriteria, supaya setiap calon mendapat peluang yang sama untuk menunjukkan kemahiran tersebut.
Percubaan yang lebih kuat. "Pendua adalah lebih teruk untuk push, kerana orang ramai akan berhenti mempercayai aplikasi tersebut, jadi saya akan menjadikan penghantaran idempoten dengan pesanan dan kunci status. Untuk SMS, saya akan menerima pendua sekali-sekala kerana kos lebih penting. Beban puncak pada waktu makan bermakna barisan harus menyerap letusan dan pekerja harus diskalakan mengikut kedalaman barisan. Saya tidak pasti betapa ketatnya janji masa penghantaran, jadi saya akan bertanya kepada pemilik produk sebelum memilih antara dasar percubaan semula yang mudah dan lorong keutamaan untuk kemas kini kritikal masa."
Pemarkahan. Berdasarkan rubrik, jawapan ini mendapat skor 2 untuk penaakulan pertukaran (dua pilihan, kos, sebab), 2 untuk pembingkaian masalah (menyatakan andaian, menanyakan soalan), dan 1 untuk pengendalian perubahan sehingga penemuduga menambah kekangan. Perhatikan bahawa penemuduga memberi skor bukti, tidak memadankan reka bentuk calon dengan reka bentuk pilihan mereka sendiri.
Di mana penghantaran interaktif membantu
Kemahiran yang anda bina di sini adalah untuk penemuduga, dan amalan interaktif sesuai dengannya. Dalam sesi penentukuran langsung, tunjukkan reka bentuk contoh, minta setiap penilai untuk memberi skor setiap kriteria secara peribadi, dan dedahkan sebaran sebelum perbincangan. Orang ramai komited untuk memberi skor sebelum mereka mendengar suara paling kuat di dalam bilik, dan perselisihan pendapat menunjukkan kepada sauh yang perlu ditulis semula. Contoh dan rubrik yang sama boleh dijalankan mengikut rentak kendiri untuk penemuduga baharu yang menyertai kemudian, dengan sesi langsung untuk membincangkan kes-kes yang samar-samar. AhaSlides menyokong pembelajaran interaktif dan beralih antara penyampaian langsung dan mengikut rentak kendiri. Ia adalah alat pembentangan dan pembelajaran, bukan platform temuduga atau sistem penjejakan pemohon, jadi simpan data calon sebenar dalam alat pengambilan pekerja anda. Semak sebarang fungsi pengarangan, maklum balas atau pelaporan khusus yang anda rancang untuk andalkan berbanding aliran kerja anda sendiri. Untuk bantuan memilih format, lihat panduan kami tentang bila hendak menggunakan pembelajaran adaptif, interaktif dan langsung , dan untuk reka bentuk maklum balas, lihat mereka bentuk amalan interaktif dengan maklum balas yang berguna.
Ukur apa yang berubah
Tentukan terlebih dahulu apa yang akan menunjukkan rubrik tersebut berkesan. Dua ukuran adalah praktikal. Pertama, persetujuan: pada reka bentuk yang direkodkan atau ditulis yang sama, adakah penemuduga bebas lebih rapat selepas penentukuran berbanding sebelumnya? Tentukan siapa yang dimasukkan, penyebut dan masa. Kedua, kerelevanan: selepas beberapa bulan, adakah skor berkaitan dengan prestasi pekerja baharu dalam semakan reka bentuk? Dengan bilangan pekerja yang kecil, ini hanya akan menjadi isyarat kasar, jadi anggap ia sebagai gesaan untuk menyemak rubrik, bukan sebagai bukti. Jika keputusan bertambah baik, semak apa lagi yang berubah pada masa yang sama, seperti definisi peranan baharu atau saluran penyumberan yang berbeza, sebelum mengkreditkan rubrik tersebut.
Kekangan yang mungkin kekal
- Keterwakilan. Satu contoh masalah merupakan sebahagian daripada kerja. Padankannya dengan bukti lain seperti contoh kerja atau perbualan berstruktur tentang keputusan lalu.
- Kewajaran. Rubrik mengurangkan variasi, tetapi ia tidak menghapuskan bias dengan sendirinya. Semak kes dan sauh untuk andaian tentang latar belakang, dan semak hasil merentasi kumpulan dengan pasukan orang anda.
- Masa penemuduga. Penentukuran mengambil masa berjam-jam. Tanpanya, rubrik hanyalah bentuk yang lebih panjang.
- Kejelasan peranan. Jika pasukan tidak bersetuju dengan maksud "senior", tiada rubrik yang akan menyelesaikannya.
- Konteks perundangan. Penilaian pengambilan pekerja dikawal selia secara berbeza di tempat yang berbeza. Semak keperluan tempatan sebelum anda mengubah sesuatu proses.
Soalan lazim
Apakah yang perlu disertakan dalam rubrik temu bual reka bentuk sistem?
Tiga hingga lima kriteria seperti pembingkaian masalah, penaakulan pertukaran, kedalaman, pengendalian perubahan dan komunikasi, skor berlabuh 0 hingga 2 untuk setiap satu, dan senarai ralat kritikal yang berasingan.
Bagaimanakah anda dapat menghentikan penemuduga daripada menilai keyakinan diri?
Pastikan mereka menulis bukti yang boleh diperhatikan untuk setiap kriteria sebelum memberikan skor dan kaitkan setiap skor dengan tingkah laku, seperti "membandingkan dua pilihan dan menyatakan kos bagi pilihan yang tidak dipilih".
Berapa lamakah tempoh temu duga reka bentuk sistem sepatutnya?
Temu duga selalunya dijadualkan selama kira-kira sejam, tetapi tempoh yang tepat adalah apa sahaja yang membolehkan calon menunjukkan setiap kriteria dalam rubrik anda. Ujilah dengan percubaan rintis.
Bolehkah rubrik menjadikan pengambilan pekerja objektif?
Ia menjadikannya lebih konsisten dan lebih mudah untuk diaudit, tetapi pertimbangan tetap ada. Matlamatnya adalah untuk penemuduga bersetuju atas sebab yang sama, bukan untuk mengetepikan orang daripada keputusan.
Di mana untuk bermula
Pilih satu peranan terbuka dan tulis pernyataan prestasi satu ayat. Draf tiga kriteria dengan sauh dan senarai ralat kritikal yang pendek, kemudian minta seorang jurutera kanan menyelesaikan kes anda secara bebas. Jalankan satu sesi penentukuran dengan orang yang akan menemu bual, tulis semula sauh yang menyebabkan perselisihan faham dan rintis rubrik pada sebilangan kecil temu bual sebenar sebelum anda menggunakannya secara meluas.
Untuk melihat bagaimana sesi penentukuran boleh dijalankan secara langsung dengan penemuduga anda sendiri, dan digunakan semula mengikut rentak selepas itu, terokai AhaSlides.
