Bagaimana mengevaluasi kandidat teknik senior secara objektif terkait desain arsitektur sistem tingkat tinggi selama proses perekrutan?

Dua kandidat mendapatkan tugas yang sama: rancang layanan yang memungkinkan pengguna berbagi klip video pendek. Kandidat pertama menggambar diagram yang rapi dalam sepuluh menit, menyebutkan setiap komponen populer, dan berbicara dengan penuh percaya diri. Kandidat kedua memulai lebih lambat, bertanya siapa penggunanya, mengatakan bagian mana yang dia ragukan, dan membuat pilihan berbeda untuk penyimpanan, memberikan alasan yang jelas. Pewawancara A menilai kandidat pertama "kuat". Pewawancara B, yang mengikuti sesi yang sama, menilai kandidat kedua "kuat". Catatan mereka hampir tidak tumpang tindih.

Ini adalah skenario ilustratif, bukan insiden perekrutan yang terdokumentasi. Hal ini cukup umum sehingga sebagian besar tim teknik akan mengenalinya. Kedua desain tersebut dapat dipertahankan. Yang berbeda adalah apa yang dinilai oleh masing-masing pewawancara: kelancaran, kecepatan, keakraban dengan arsitektur pilihan mereka sendiri, atau kualitas penalaran. Panduan ini ditujukan untuk manajer teknik dan pemimpin pemberdayaan teknik yang membutuhkan rubrik wawancara desain sistem yang menilai kandidat senior berdasarkan bukti yang sama, sehingga dua pewawancara dapat mencapai kesimpulan yang sama dengan alasan yang sama. Setiap kriteria di bawah ini harus divalidasi oleh seorang insinyur senior dan ditinjau keadilannya sebelum Anda menggunakannya dalam keputusan perekrutan yang sebenarnya.

Apa itu rubrik wawancara desain sistem?

Rubrik wawancara desain sistem adalah panduan penilaian yang mencantumkan apa yang Anda cari, bagaimana setiap skor terlihat dalam perilaku yang dapat diamati, dan kesalahan mana yang tidak dapat diimbangi oleh kekuatan di tempat lain. Rubrik ini ditempatkan di samping pertanyaan, sehingga setiap pewawancara mengumpulkan bukti berdasarkan kriteria yang sama. Panduan Google tentang wawancara terstruktur menyebut alat penilaian ini sebagai "rubrik" dan mencatat bahwa para peneliti menyebutnya "skala penilaian yang berlabuh secara perilaku". Panduan tersebut melaporkan bahwa wawancara terstruktur memberikan validitas prediktif yang lebih tinggi dan perbedaan yang lebih kecil antara kelompok demografis, dan bahwa pertanyaan, panduan, dan rubrik yang telah dibuat sebelumnya menghemat rata-rata 40 menit per wawancara. Anda dapat membaca panduan lengkapnya di [tautan]. Google re:Work: Panduan untuk wawancara terstruktur.

Contoh-contoh publik mudah ditemukan, dan sebagian besar ditulis untuk para kandidat. Panduan ini ditujukan untuk pihak lain.

fakta cepat

1. Jelaskan kinerja yang Anda nilai.

Mulailah dengan pekerjaan, bukan topiknya. Bagi seorang insinyur senior, tugas yang relevan biasanya adalah: diberikan masalah yang ambigu, buat dan pertahankan keputusan arsitektur, dan jelaskan apa yang akan mengubahnya. Tuliskan itu sebagai satu kalimat, dan tentukan peran, level, dan konteks tempat orang tersebut akan bekerja. Peran backend senior di perusahaan pembayaran memiliki standar yang berbeda dari peran platform senior di perusahaan media.

Tuliskan juga apa yang tidak Anda nilai. Kecepatan mengetik, keakraban dengan vendor cloud tertentu, dan kemampuan menggambar rapi di papan tulis bersama adalah kriteria umum yang secara tidak sengaja dimasukkan. Jika hal-hal tersebut bukan bagian dari pekerjaan, maka tidak perlu memengaruhi skor.

2. Pilih tugas yang representatif dan tidak familiar.

Pilihlah soal yang mencerminkan pekerjaan nyata dan yang tidak mungkin dihafal oleh kandidat. Soal yang sudah dikenal luas ("rancanglah pemendek URL") akan memberikan hasil yang baik jika kandidat berlatih terlebih dahulu. Gunakan soal dari bidang Anda sendiri dengan detail sensitif yang dihilangkan, dan mintalah seorang insinyur senior untuk menyelesaikannya secara independen sehingga Anda mengetahui seperti apa rentang jawaban yang wajar.

Terimalah bahwa satu soal berdurasi 45 menit hanya mencakup sebagian dari kemampuan seorang insinyur senior. Soal tersebut dapat menunjukkan bagaimana seseorang menangani ambiguitas, kendala, dan pertimbangan untung rugi. Namun, soal tersebut tidak dapat menunjukkan bagaimana mereka membimbing, menjalankan migrasi selama berbulan-bulan, atau menangani insiden yang berkepanjangan. Nyatakan hal ini dalam dokumen perekrutan Anda agar tidak ada yang terlalu terpaku pada skor tersebut.

3. Tuliskan kriteria dan acuan yang dapat diamati.

Susun kriteria berdasarkan bukti yang dapat Anda tuliskan. Berikut adalah serangkaian kriteria singkat dan praktis untuk tahap desain sistem tingkat senior:

Berikan skor untuk setiap kriteria dari 0 hingga 2: 0 berarti tidak ada atau tidak didukung, 1 berarti sebagian dengan kekurangan yang relevan, dan 2 berarti lengkap dan dibenarkan berdasarkan kriteria yang disepakati. Nilai acuan lebih penting daripada skala. Misalnya, untuk penalaran trade-off, 0 berarti "menyebutkan teknologi tanpa menjelaskan alasannya", 1 berarti "memberikan alasan tetapi tidak menyebutkan biaya alternatifnya", dan 2 berarti "membandingkan pilihan dengan batasan yang dinyatakan dan menyebutkan apa yang akan dikorbankan".

Definisikan kesalahan kritis secara terpisah, seperti mengabaikan persyaratan perlindungan data yang dinyatakan pewawancara atau mengusulkan desain yang tidak dapat memenuhi batasan ketat yang dinyatakan. Skor rata-rata tidak boleh menyembunyikan kesalahan kritis. Hindari penilaian berdasarkan kepercayaan diri atau kecepatan; kandidat yang pendiam dan berpikir dengan cermat tidak boleh dihukum karena gaya. Panduan kami untuk menilai kemampuan pengambilan keputusan dan pemecahan masalah Menjelaskan cara menulis kriteria untuk tugas penalaran.

4. Kalibrasi penilai dan jalankan uji coba.

Sebuah rubrik yang dibaca secara berbeda oleh dua orang belum tentu merupakan rubrik yang sebenarnya. Sebelum Anda menggunakannya secara langsung:

1. Pilihlah sebuah contoh. Gunakan rancangan tertulis dari kolega yang tidak terlibat dalam proses perekrutan, atau rekaman wawancara simulasi dengan persetujuan orang tersebut.
2. Berikan nilai secara independen. Setiap penilai menuliskan bukti untuk setiap kriteria sebelum melihat skor orang lain.
3. Bandingkan bukti-bukti yang ada. Jika selisih skor lebih dari satu poin, cari tahu apakah acuan penilaiannya ambigu atau penilai memperhatikan hal yang berbeda. Tulis ulang acuan penilaian tersebut.
4. Ulangi langkah tersebut pada contoh kedua. Berhentilah berdebat ketika perbedaan pendapat menyangkut penilaian, bukan pilihan kata.

Panduan Google menggabungkan pelatihan pewawancara dengan kalibrasi sehingga pewawancara konsisten dan percaya diri dalam penilaian mereka, yang pada dasarnya sama. Mintalah seorang spesialis, seperti manajer teknik dari tim tetangga, untuk meninjau kasus dan poin-poin pentingnya, dan mintalah tim SDM Anda untuk meninjau proses tersebut demi keadilan dan persyaratan hukum di wilayah perekrutan Anda.

5. Kerjakan contoh yang realistis.

Sebagai ilustrasi. Seorang insinyur senior harus memvalidasi kasus dan kriteria jawaban sebelum digunakan.

Kasus. Para kandidat merancang layanan notifikasi untuk aplikasi pengiriman: pelanggan mendapatkan pembaruan ketika status pesanan berubah. Skala yang dijelaskan hanya sebagai "beberapa juta pesanan per hari, sebagian besar pada waktu makan".

Upaya pertama. "Saya akan menempatkan antrian pesan di antara layanan pemesanan dan pekerja notifikasi, menyimpan setiap kejadian dalam basis data, dan mengirimkan notifikasi push." ​​Struktur tersebut masuk akal, tetapi kandidat tidak menanyakan saluran apa yang dibutuhkan, apa yang terjadi jika notifikasi terlambat atau dikirim dua kali, atau apa arti beban puncak bagi antrian tersebut.

Umpan balik dari pewawancara dan kesempatan untuk mencoba lagi. Pewawancara bertanya, "Mana yang lebih buruk di sini: pemberitahuan yang terlambat atau pemberitahuan ganda?" Pewawancara harus memiliki tindak lanjut standar untuk setiap kriteria, sehingga setiap kandidat mendapatkan kesempatan yang sama untuk menunjukkan keahliannya.

Upaya yang lebih baik. "Duplikat lebih buruk untuk notifikasi push, karena orang akan berhenti mempercayai aplikasi, jadi saya akan membuat pengiriman idempoten dengan kunci pesanan dan status. Untuk SMS, saya akan menerima duplikat sesekali karena biaya lebih penting. Beban puncak pada jam makan berarti antrian harus mampu menyerap lonjakan dan pekerja harus menyesuaikan skala berdasarkan kedalaman antrian. Saya tidak yakin seberapa ketat janji waktu pengiriman, jadi saya akan bertanya kepada pemilik produk sebelum memilih antara kebijakan percobaan ulang sederhana dan jalur prioritas untuk pembaruan yang sangat penting."

Penilaian. Berdasarkan rubrik penilaian, jawaban ini mendapat skor 2 pada penalaran trade-off (dua pilihan, biaya, alasan), 2 pada pembingkaian masalah (menyatakan asumsi, mengajukan pertanyaan), dan 1 pada penanganan perubahan hingga pewawancara menambahkan batasan. Perhatikan bahwa pewawancara menilai bukti, bukan mencocokkan desain kandidat dengan desain pilihan mereka sendiri.

Di mana penyampaian interaktif membantu

The skill you are building here is for interviewers, and interactive practice suits it. In a live calibration session, show the example design, ask every assessor to score each criterion privately, and reveal the spread before discussion. People commit to a score before they hear the loudest voice in the room, and the disagreements point to the anchors that need rewriting. The same example and rubric can run self-paced for new interviewers who join later, with a live session to discuss the ambiguous cases. AhaSlides supports interactive learning and moving between live and self-paced delivery. It is a presentation and learning tool, not an interview platform or an applicant tracking system, so keep real candidate data in your hiring tools. Check any specific authoring, feedback or reporting function you plan to rely on against your own workflow. For help choosing formats, see our guide to Kapan menggunakan pembelajaran adaptif, interaktif, dan langsung?, dan untuk desain umpan balik, lihat merancang praktik interaktif dengan umpan balik yang bermanfaat.

Ukur apa yang berubah.

Tentukan terlebih dahulu apa yang akan menunjukkan bahwa rubrik tersebut berfungsi. Dua ukuran yang praktis. Pertama, kesepakatan: pada desain yang sama yang direkam atau ditulis, apakah pewawancara independen memiliki kesepakatan yang lebih dekat setelah kalibrasi daripada sebelumnya? Tentukan siapa yang disertakan, penyebut, dan waktunya. Kedua, relevansi: setelah beberapa bulan, apakah skor tersebut berkaitan dengan kinerja karyawan baru dalam tinjauan desain? Dengan jumlah karyawan baru yang sedikit, ini hanya akan menjadi sinyal kasar, jadi anggaplah ini sebagai pengingat untuk meninjau rubrik, bukan sebagai bukti. Jika hasilnya membaik, periksa apa lagi yang berubah pada saat yang sama, seperti definisi peran baru atau saluran sumber daya yang berbeda, sebelum memberikan kredit kepada rubrik tersebut.

Kendala yang mungkin masih ada

• Keterwakilan. Satu contoh soal menggambarkan sebagian dari pekerjaan tersebut. Padukan dengan bukti lain seperti contoh hasil kerja atau percakapan terstruktur tentang keputusan-keputusan di masa lalu.
• Keadilan. Rubrik mengurangi variasi, tetapi tidak menghilangkan bias dengan sendirinya. Tinjau kasus dan acuan untuk asumsi tentang latar belakang, dan periksa hasilnya di berbagai kelompok dengan tim SDM Anda.
• Waktu wawancara. Kalibrasi membutuhkan waktu berjam-jam. Tanpa itu, rubrik hanyalah formulir yang lebih panjang.
• Kejelasan peran. Jika tim tidak sepakat tentang apa arti "senior", tidak ada kriteria yang dapat menyelesaikannya.
• Konteks hukum. Proses penilaian perekrutan diatur secara berbeda di berbagai tempat. Periksa persyaratan setempat sebelum Anda mengubah suatu proses.

Pertanyaan yang sering diajukan

Apa saja yang harus disertakan dalam rubrik wawancara desain sistem?

Tiga hingga lima kriteria seperti perumusan masalah, penalaran kompromi, kedalaman, penanganan perubahan dan komunikasi, skor acuan 0 hingga 2 untuk masing-masing kriteria, dan daftar kesalahan kritis yang terpisah.

Bagaimana cara mencegah pewawancara menilai kepercayaan diri?

Minta mereka untuk menuliskan bukti yang dapat diamati untuk setiap kriteria sebelum memberikan skor, dan kaitkan setiap skor dengan perilaku, seperti "membandingkan dua pilihan dan menyatakan biaya dari pilihan yang tidak dipilih".

Berapa lama seharusnya durasi wawancara desain sistem?

Wawancara biasanya dijadwalkan sekitar satu jam, tetapi durasi yang tepat adalah durasi yang memungkinkan kandidat menunjukkan setiap kriteria dalam rubrik Anda. Ujilah dengan wawancara percobaan.

Bisakah rubrik membuat proses perekrutan menjadi objektif?

Hal ini membuat prosesnya lebih konsisten dan lebih mudah diaudit, tetapi pertimbangan tetap ada. Tujuannya adalah agar para pewawancara sepakat dengan alasan yang sama, bukan untuk menyingkirkan orang dari pengambilan keputusan.

Mulai dari mana

Pilih satu posisi yang terbuka dan tulis pernyataan kinerja satu kalimat. Buat draf tiga kriteria dengan acuan dan daftar kesalahan kritis singkat, lalu minta seorang insinyur senior untuk menyelesaikan kasus Anda secara independen. Jalankan satu sesi kalibrasi dengan orang-orang yang akan mewawancarai, tulis ulang acuan yang menyebabkan ketidaksepakatan, dan uji coba rubrik tersebut pada sejumlah kecil wawancara nyata sebelum Anda menggunakannya secara luas.

To see how a calibration session could run live with your own interviewers, and be reused self-paced afterwards, explore AhaSlides.