İki adaya aynı görev veriliyor: Kullanıcıların kısa video klipleri paylaşmasına olanak tanıyan bir hizmet tasarlayın. Birincisi on dakika içinde temiz bir şema çiziyor, her popüler bileşeni adlandırıyor ve tam bir özgüvenle konuşuyor. İkincisi daha yavaş başlıyor, kullanıcıların kim olduğunu soruyor, hangi kısımdan emin olmadığını söylüyor ve depolama için farklı bir seçim yapıyor, bunun nedenini açıkça belirtiyor. Mülakatçı A, birinci adayı "güçlü" olarak değerlendiriyor. Aynı oturuma katılan Mülakatçı B, ikinci adayı "güçlü" olarak değerlendiriyor. Notları neredeyse hiç örtüşmüyor.
Bu, belgelenmiş bir işe alım olayı değil, örnek bir senaryodur. Çoğu mühendislik ekibinin tanıyacağı kadar yaygındır. Her iki tasarım da savunulabilir nitelikteydi. Farklı olan, her mülakatçının neyi değerlendirdiğiydi: akıcılık, hız, kendi tercih ettikleri mimariye aşinalık veya muhakeme kalitesi. Bu kılavuz, iki mülakatçının aynı nedenlerle aynı sonuca ulaşabilmesi için, kıdemli adayları aynı kanıtlar üzerinden değerlendiren bir sistem tasarımı mülakat değerlendirme ölçütüne ihtiyaç duyan mühendislik yöneticileri ve mühendislik destek liderleri içindir. Aşağıdaki her kriter, gerçek bir işe alım kararında kullanılmadan önce kıdemli bir mühendis tarafından doğrulanmalı ve adilliği açısından incelenmelidir.
Sistem tasarımı mülakat değerlendirme kriterleri nelerdir?
Sistem tasarımı mülakat değerlendirme kılavuzu, ne aradığınızı, her puanın gözlemlenebilir davranışta nasıl göründüğünü ve hangi hataların başka yerlerdeki güçlü yönlerle telafi edilemeyeceğini listeleyen bir puanlama rehberidir. Sorunun yanında yer alır, böylece her mülakatçı aynı kriterlere göre kanıt toplar. Google'ın yapılandırılmış mülakat kılavuzu, bu puanlama araçlarına "değerlendirme kılavuzları" adını veriyor ve araştırmacıların bunları "davranışsal olarak sabitlenmiş derecelendirme ölçekleri" olarak adlandırdığını belirtiyor. Yapılandırılmış mülakatların daha yüksek tahmin geçerliliği ve demografik gruplar arasında daha küçük farklılıklar sağladığını ve önceden hazırlanmış soruların, kılavuzların ve değerlendirme kılavuzlarının mülakat başına ortalama 40 dakika tasarruf sağladığını bildiriyor. Google re:Work: Yapılandırılmış mülakat kılavuzunda tam kılavuzu okuyabilirsiniz.
Herkese açık örnekler bulmak kolaydır ve çoğu adaylar için yazılmıştır. Bu kılavuz ise masanın diğer tarafı içindir.
Hızlı gerçekler
| Soru | Kısa cevap |
|---|---|
| Neyi değerlendiriyorsunuz? | Bir adayın açık uçlu bir mimari problemine nasıl akıl yürüttüğü önemlidir; kaç bileşen sayabildiği değil. |
| Değerlendirme kriterlerinde neler yer alır? | Kriterler, sabit puanlar ve kritik hataların listesi. |
| Kaç kriter? | Üç ila beş. Daha az kriter, puanlamayı ve kalibrasyonu kolaylaştırır; yalnızca gözlemlenebilir kanıtlarla destekleyebileceğiniz kriterleri saklayın. |
| Bunu kim doğruluyor? | İşleri yapan kıdemli bir mühendis ve adaleti sağlamak için ekibiniz. |
| Bunu nasıl istikrarlı bir şekilde sürdürüyorsunuz? | Önce bağımsız olarak puanlama yapın, ardından bir kalibrasyon oturumunda kanıtları karşılaştırın. |
| Bir değerlendirme ölçütü neleri yapamaz? | Belirsiz rolü, temsili olmayan görevi veya bu görevi kullanmak üzere eğitilmemiş görüşmecileri düzeltin. |
| Çalıştığını nasıl biliyorsunuz? | Röportajcıların puanları aynı kayıt veya yazıda daha çok örtüşüyor ve puanlar daha sonraki performanslarla da uyumlu oluyor. |
1. Değerlendirdiğiniz performansı tanımlayın.
Konudan değil, işten başlayın. Kıdemli bir mühendis için ilgili görev genellikle şudur: Belirsiz bir problem verildiğinde, mimari kararlar almak ve bunları savunmak ve nelerin değiştirilebileceğini söylemek. Bunu tek bir cümle olarak yazın ve kişinin çalışacağı rolü, seviyeyi ve bağlamı belirtin. Bir ödeme şirketindeki kıdemli bir arka uç geliştirici rolü, bir medya şirketindeki kıdemli bir platform geliştirici rolünden farklı bir standart gerektirir.
Değerlendirmediğiniz şeyleri de yazın. Yazma hızı, belirli bir bulut sağlayıcısına aşinalık ve ortak bir beyaz tahtaya düzgün çizim yapabilme yeteneği, sıkça rastlantısal olarak değerlendirilen kriterlerdir. Bunlar işin bir parçası değilse, puanı etkilememelidir.
2. Temsili, daha önce karşılaşmadığınız bir görev seçin.
Gerçek iş ortamını örnekleyen ve adayların ezberleyemeyeceği bir problem seçin. Yaygın olarak bilinen bir örnek ("URL kısaltıcı tasarlayın") prova için faydalıdır. Hassas ayrıntıları kaldırılmış kendi alanınızdan bir problem kullanın ve makul cevap aralığının neye benzediğini bilmek için kıdemli bir mühendisten bağımsız olarak çözmesini isteyin.
45 dakikalık tek bir problem örneğinin, kıdemli bir mühendisin yaptığı işin yalnızca bir kısmını gösterdiğini kabul edin. Bu, birinin belirsizlikle, kısıtlamalarla ve ödünleşmelerle nasıl başa çıktığını gösterebilir. Ancak, nasıl mentorluk yaptığını, aylarca süren bir geçişi nasıl yönettiğini veya uzun süren bir olayı nasıl ele aldığını gösteremez. Bu durumu işe alım belgelerinizde belirtin ki kimse puanı yanlış yorumlamasın.
3. Gözlemlenebilir ölçütleri ve referans noktalarını yazın.
Yazıya dökebileceğiniz kanıtlar etrafında kriterler oluşturun. Üst düzey bir sistem tasarımı görüşmesi için kısa ve uygulanabilir bir kriter seti:
| Kriter | Gözlemlenebilir kanıtlar |
|---|---|
| Sorun çerçeveleme | Çizime başlamadan önce açıklayıcı sorular sorar, varsayımları belirtir ve kapsamı kararlaştırır. |
| Değiş tokuş mantığı | Önemli bir karar için en az iki seçenek sunar, her birinin maliyetini belirtir ve gerekçesini açıklayarak seçimini yapar. |
| derinlik | İstendiğinde, tasarımın bütününü kaybetmeden bir veya iki bileşen üzerinde derinlemesine inceleme yapar. |
| Değişimi yönetmek | Bir kısıtlama eklendiğinde tasarımı ayarlar ve artık neyin daha zayıf olduğunu açıklar. |
| Yakın İletişim | Toplantıda bulunmayan bir meslektaşın tasarımı anlamasını sağlar. |
Her bir kriteri 0 ile 2 arasında puanlayın: 0 eksik veya desteksiz, 1 ilgili eksikliklerle kısmi, 2 ise kabul edilen kriterlere göre eksiksiz ve gerekçelendirilmiş anlamına gelir. Ölçekten ziyade referans noktaları daha önemlidir. Örneğin, ödün verme gerekçelendirmesi için, 0 "nedenini belirtmeden bir teknolojiden bahsediyor", 1 "bir neden veriyor ancak alternatifin maliyetini belirtmiyor" ve 2 "seçenekleri belirtilen kısıtlamalarla karşılaştırıyor ve nelerden vazgeçeceklerini söylüyor" anlamına gelir.
Kritik hataları ayrı olarak tanımlayın; örneğin, mülakatçının belirttiği veri koruma gerekliliğini göz ardı etmek veya belirtilen katı bir kısıtlamayı karşılayamayan bir tasarım önermek gibi. Ortalama bir puan asla kritik bir hatayı gizlememelidir. Özgüven veya hız üzerinden puanlama yapmaktan kaçının; dikkatlice düşünen sessiz bir aday, üslubu nedeniyle cezalandırılmamalıdır. Yargılama ve problem çözme becerilerini değerlendirme kılavuzumuz , akıl yürütme görevleri için kriterlerin nasıl yazılacağını ele almaktadır.
4. Değerlendiricileri kalibre edin ve bir pilot uygulama gerçekleştirin.
İki kişinin farklı yorumladığı bir değerlendirme ölçütü, henüz bir değerlendirme ölçütü değildir. Canlı kullanımdan önce:
- Bir örnek seçin. İşe alım sürecinde yer almayan bir meslektaşınızdan yazılı bir tasarım kullanın veya kişinin izniyle kaydedilmiş bir mülakat simülasyonu videosu kullanın.
- Bağımsız olarak puanlayın. Her değerlendirici, diğerlerinin puanlarını görmeden önce her bir kriter için kanıtları yazar.
- Kanıtları karşılaştırın. Puanlar bir puandan fazla farklılık gösteriyorsa, referans noktasının belirsiz olup olmadığını veya değerlendiricilerin farklı şeyler fark edip etmediğini araştırın. Referans noktasını yeniden yazın.
- İkinci bir örnek üzerinde de aynı işlemi tekrarlayın. Anlaşmazlıklar kelime seçiminden değil, yargıdan kaynaklanıyorsa durun.
Google'ın kılavuzu, mülakatçıların değerlendirmelerinde tutarlı ve kendinden emin olmaları için mülakatçı eğitimini kalibrasyonla birleştiriyor; bu da aynı fikir. Komşu bir ekipten bir mühendislik yöneticisi gibi bir uzmandan vakayı ve referans noktalarını incelemesini isteyin ve insan kaynakları ekibinizden de işe alım bölgelerinizdeki adalet ve yasal gereklilikler açısından süreci gözden geçirmelerini isteyin.
5. Gerçekçi bir örnek üzerinde çalışın.
Örnek niteliğindedir. Kullanmadan önce kıdemli bir mühendis tarafından durum ve cevap kriterlerinin doğrulanması gerekmektedir.
Proje özeti: Adaylar, bir teslimat uygulaması için bir bildirim servisi tasarlıyorlar: müşteriler, siparişin durumu değiştiğinde güncellemeler alıyorlar. Ölçek, yalnızca "çoğunlukla yemek saatlerinde olmak üzere günde birkaç milyon sipariş" olarak tanımlanıyor.
İlk deneme. "Sipariş servisi ile bildirim çalışanı arasına bir mesaj kuyruğu yerleştirir, her olayı bir veritabanında saklar ve anlık bildirimler gönderirdim." Yapı mantıklı, ancak aday hangi kanallara ihtiyaç duyulduğunu, bir bildirimin gecikmesi veya iki kez gönderilmesi durumunda ne olacağını veya en yüksek yükün kuyruk için ne anlama geldiğini sormadı.
Mülakatçı geri bildirimi ve yeniden deneme. Mülakatçı, "Burada daha kötü olan nedir: geç bildirim mi yoksa mükerrer bildirim mi?" diye sorar. Mülakatçıların her kriter için standart bir takip süreci olmalıdır, böylece her aday yeteneğini göstermek için aynı şansa sahip olur.
Daha güçlü bir girişim. "Push bildirimleri için tekrarlanan kayıtlar daha kötüdür, çünkü insanlar uygulamaya güvenmeyi bırakırlar; bu nedenle, gönderimi bir sıra ve durum anahtarıyla tekrarlanabilir hale getirirdim. SMS için, maliyet daha önemli olduğu için ara sıra tekrarlanan kayıtları kabul ederdim. Yemek saatlerindeki yoğun yük, kuyruğun ani artışları absorbe etmesi ve çalışanların kuyruk derinliğine göre ölçeklenmesi gerektiği anlamına gelir. Teslimat süresi sözünün ne kadar katı olduğundan emin değilim, bu nedenle basit bir yeniden deneme politikası ile zaman açısından kritik güncellemeler için öncelikli bir sıra arasında seçim yapmadan önce ürün sahibine danışırdım."
Puanlama. Değerlendirme kriterlerine göre, bu cevap, ödün verme mantığı (iki seçenek, maliyetler, bir neden) konusunda 2, problem çerçeveleme (varsayımları belirtir, bir soru sorar) konusunda 2 ve görüşmeci bir kısıtlama ekleyene kadar değişimi ele alma konusunda 1 puan almıştır. Görüşmecinin adayın tasarımını kendi tercih ettiği tasarımla eşleştirmek yerine kanıtları puanladığına dikkat edin.
Etkileşimli sunumun yardımcı olduğu yerler
Burada geliştirdiğiniz beceri mülakatçılar içindir ve etkileşimli uygulama buna uygundur. Canlı bir kalibrasyon oturumunda, örnek tasarımı gösterin, her değerlendiriciden her kriteri özel olarak puanlamasını isteyin ve tartışmadan önce puan dağılımını ortaya koyun. İnsanlar odadaki en yüksek sesi duymadan önce bir puan belirler ve anlaşmazlıklar yeniden yazılması gereken referans noktalarına işaret eder. Aynı örnek ve değerlendirme ölçütü, daha sonra katılan yeni mülakatçılar için kendi hızlarında çalışabilir ve belirsiz durumları tartışmak için canlı bir oturum düzenlenebilir. AhaSlides, etkileşimli öğrenmeyi ve canlı ile kendi hızında sunum arasında geçişi destekler. Bir sunum ve öğrenme aracıdır, bir mülakat platformu veya başvuru takip sistemi değildir, bu nedenle gerçek aday verilerini işe alım araçlarınızda saklayın. Kullanmayı planladığınız herhangi bir özel yazma, geri bildirim veya raporlama işlevini kendi iş akışınıza göre kontrol edin. Biçim seçimi konusunda yardım için, uyarlanabilir, etkileşimli ve canlı öğrenmenin ne zaman kullanılacağına ilişkin kılavuzumuza bakın ve geri bildirim tasarımı için yararlı geri bildirimle etkileşimli uygulama tasarlama bölümüne bakın.
Değişenleri ölçün
Değerlendirme ölçütlerinin işe yaradığını neyin göstereceğine önceden karar verin. İki ölçüt pratiktir. Birincisi, uyum: aynı kaydedilmiş veya yazılı tasarımda, bağımsız görüşmeciler kalibrasyondan sonra öncesine göre daha yakın sonuçlar elde ediyor mu? Kimlerin dahil edileceğini, paydayı ve zamanlamayı tanımlayın. İkincisi, alaka düzeyi: birkaç ay sonra, puanlar yeni işe alınanların tasarım incelemelerindeki performansıyla ilişkili mi? Az sayıda işe alım söz konusu olduğunda bu sadece kaba bir sinyal olacaktır, bu nedenle bunu kanıt olarak değil, değerlendirme ölçütlerini gözden geçirmek için bir uyarı olarak değerlendirin. Sonuçlar iyileşirse, değerlendirme ölçütlerine itibar etmeden önce, yeni bir rol tanımı veya farklı bir kaynak bulma kanalı gibi aynı anda başka nelerin değiştiğini kontrol edin.
Kalabilecek kısıtlamalar
- Temsil edilebilirlik. Bir problem, işin bir bölümünü örneklendirir. Bunu, iş örneği veya geçmiş kararlar hakkında yapılandırılmış bir görüşme gibi diğer kanıtlarla birlikte sunun.
- Adalet. Değerlendirme ölçütleri varyasyonu azaltır, ancak tek başına önyargıyı ortadan kaldırmaz. Arka plan hakkındaki varsayımlar için vakayı ve referans noktalarını gözden geçirin ve sonuçları ekip üyelerinizle birlikte gruplar arasında kontrol edin.
- Görüşme zamanı. Kalibrasyon saatler sürüyor. Kalibrasyon olmadan, değerlendirme formu sadece daha uzun bir formdan ibaret kalır.
- Rol netliği. Eğer ekip "kıdemli" kelimesinin ne anlama geldiği konusunda hemfikir değilse, hiçbir ölçüt bunu çözemez.
- Hukuki bağlam. İşe alım değerlendirme süreçleri farklı yerlerde farklı şekilde düzenlenmektedir. Bir süreci değiştirmeden önce yerel gereklilikleri kontrol edin.
Sık Sorulan Sorular
Bir sistem tasarımı mülakatı değerlendirme kriterleri neleri içermelidir?
Sorun çerçeveleme, ödün verme mantığı, derinlik, değişim yönetimi ve iletişim gibi üç ila beş kriter, her biri için 0 ila 2 arasında sabit bir puan ve kritik hataların ayrı bir listesi.
Mülakat görevlilerinin özgüveni değerlendirmesini nasıl engellersiniz?
Puan vermeden önce her kriter için gözlemlenebilir kanıtları yazmalarını isteyin ve her puanı "iki seçeneği karşılaştırır ve seçilmeyen seçeneğin maliyetini belirtir" gibi davranışlara dayandırın.
Sistem tasarımı mülakatı ne kadar sürmeli?
Mülakatlar genellikle yaklaşık bir saat sürer, ancak doğru süre, adayın değerlendirme kriterlerinizin her birini sergilemesine olanak tanıyan süredir. Bunu bir pilot uygulama ile test edin.
Bir değerlendirme ölçütü, işe alım sürecini objektif hale getirebilir mi?
Bu, denetimi daha tutarlı ve kolay hale getiriyor, ancak yargı yine de mevcut. Amaç, görüşmecilerin aynı nedenlerle hemfikir olmasını sağlamak, insanları karar verme sürecinden çıkarmak değil.
Nerede başlar
Açık pozisyonlardan birini seçin ve tek cümlelik performans değerlendirmesini yazın. Çapa noktaları ve kısa bir kritik hata listesiyle üç kriter taslağı hazırlayın, ardından kıdemli bir mühendisin vakayı bağımsız olarak çözmesini sağlayın. Görüşme yapacak kişilerle bir kalibrasyon oturumu gerçekleştirin, anlaşmazlığa neden olan çapa noktalarını yeniden yazın ve yaygın olarak kullanmadan önce az sayıda gerçek görüşmede değerlendirme ölçütünü pilot olarak uygulayın.
Kalibrasyon oturumunun kendi mülakatçılarınızla canlı olarak nasıl yürütülebileceğini ve sonrasında kendi hızınızda nasıl yeniden kullanılabileceğini görmek için AhaSlides'ı inceleyin.
