Dwóch kandydatów otrzymuje to samo zadanie: zaprojektować usługę, która umożliwia użytkownikom udostępnianie krótkich klipów wideo. Pierwszy z nich rysuje przejrzysty diagram w dziesięć minut, wymienia wszystkie popularne komponenty i mówi z całkowitą pewnością siebie. Drugi zaczyna wolniej, pyta, kim są użytkownicy, mówi, co do którego elementu ma wątpliwości i dokonuje innego wyboru miejsca na dane, podając jasny powód. Osoba przeprowadzająca rozmowę A ocenia pierwszego kandydata jako „mocnego”. Osoba przeprowadzająca rozmowę B, która uczestniczyła w tej samej sesji, ocenia drugiego jako „mocnego”. Ich notatki prawie się nie pokrywają.
To przykładowy scenariusz, a nie udokumentowany incydent rekrutacyjny. Jest on na tyle powszechny, że większość zespołów inżynierskich go rozpozna. Oba projekty były uzasadnione. Różniły się jednak tym, co oceniał każdy z rekruterów: płynność, szybkość, znajomość preferowanej architektury lub jakość rozumowania. Ten przewodnik jest przeznaczony dla menedżerów ds. inżynierii i liderów ds. rozwoju inżynierii, którzy potrzebują rubryki oceny kandydatów na stanowiska związane z projektowaniem systemów, która ocenia starszych kandydatów na podstawie tych samych dowodów, tak aby dwóch rekruterów mogło dojść do tego samego wniosku z tych samych powodów. Każde z poniższych kryteriów powinno zostać zweryfikowane przez starszego inżyniera i sprawdzone pod kątem rzetelności przed wykorzystaniem go w rzeczywistej decyzji o zatrudnieniu.
Czym jest kryteria kwalifikacyjne na stanowisko projektanta systemu?
Rubryka oceny w wywiadzie dotyczącym projektowania systemów to przewodnik punktowy, który wymienia poszukiwane kryteria, jak wygląda każdy wynik w obserwowalnym zachowaniu oraz jakich błędów nie można zrekompensować mocnymi stronami w innych obszarach. Znajduje się on obok pytania, więc każdy ankieter zbiera dowody na podstawie tych samych kryteriów. W przewodniku Google po ustrukturyzowanych wywiadach te narzędzia punktowe nazywane są „rubrykami” i zaznaczono, że badacze nazywają je „skalami ocen zakotwiczonymi w zachowaniu”. Donoszono w nim, że ustrukturyzowane wywiady zapewniają wyższą trafność predykcyjną i mniejsze różnice między grupami demograficznymi, a gotowe pytania, wskazówki i rubryki pozwalają zaoszczędzić średnio 40 minut na wywiad. Pełny przewodnik można znaleźć w przewodniku Google re:Work: A guide to structured interviewing.
Publiczne przykłady są łatwe do znalezienia, a większość z nich jest napisana z myślą o kandydatach. Ten przewodnik jest przeznaczony dla drugiej strony tabeli.
Szybkie fakty
| Question | Krótka odpowiedź |
|---|---|
| Co oceniasz? | Sposób, w jaki kandydat rozumuje na temat otwartego problemu architektonicznego, a nie liczba komponentów, które potrafi wymienić. |
| Co należy uwzględnić w rubryce? | Kryteria, wyniki zakotwiczone i lista błędów krytycznych. |
| Ile kryteriów? | Od trzech do pięciu. Mniej kryteriów jest łatwiejszych do oceny i kalibracji; zachowaj tylko te, które można powiązać z obserwowalnymi dowodami. |
| Kto to weryfikuje? | Starszy inżynier wykonujący pracę i zespół ludzi zapewniający uczciwość. |
| Jak zachować spójność? | Najpierw dokonaj niezależnej oceny, a następnie porównaj dowody podczas sesji kalibracyjnej. |
| Czego rubryka nie może zrobić? | Wyeliminuj niejasną rolę, niereprezentatywne zadanie lub osoby przeprowadzające rozmowę kwalifikacyjną, które nie są przeszkolone w jej stosowaniu. |
| Skąd wiesz, że to działa? | Wyniki ankieterów są bardziej zgodne w przypadku tego samego nagrania lub opisu i pokrywają się z wynikami uzyskanymi później. |
1. Określ wydajność, którą oceniasz
Zacznij od pracy, a nie od tematu. Dla starszego inżyniera odpowiednie zadanie zazwyczaj brzmi: w obliczu niejednoznacznego problemu, podejmij i uzasadnij decyzje architektoniczne oraz przedstaw, co by je zmieniło. Zapisz to w jednym zdaniu, określając rolę, poziom i kontekst, w którym dana osoba będzie pracować. Stanowisko starszego pracownika back-endu w firmie płatniczej ma inne wymagania niż stanowisko starszego pracownika platformy w firmie medialnej.
Napisz też, czego nie oceniasz. Szybkość pisania, znajomość konkretnego dostawcy usług w chmurze i umiejętność precyzyjnego rysowania na wspólnej tablicy to częste, przypadkowe kryteria. Jeśli nie są one częścią zadania, nie powinny wpłynąć na ocenę.
2. Wybierz reprezentatywne, nieznane zadanie
Wybierz problem, który jest próbką rzeczywistej pracy i którego kandydaci nie mogliby zapamiętać. Powszechnie znana prośba („zaprojektuj skracacz adresów URL”) nagradza próbne przećwiczenie. Użyj problemu z własnej dziedziny, pomijając wrażliwe szczegóły, i poproś starszego inżyniera o samodzielne rozwiązanie, aby poznać rozsądny zakres odpowiedzi.
Zaakceptuj fakt, że pojedynczy 45-minutowy problem to tylko część tego, czym zajmuje się starszy inżynier. Może on pokazać, jak ktoś radzi sobie z niejednoznacznościami, ograniczeniami i kompromisami. Nie może pokazać, jak pełni rolę mentora, prowadzi migrację przez miesiące ani jak radzi sobie z długim incydentem. Uwzględnij to w dokumentacji rekrutacyjnej, aby nikt nie przesadził z oceną.
3. Zapisz obserwowalne kryteria i punkty zaczepienia
Stwórz kryteria w oparciu o dowody, które możesz zapisać. Krótki, praktyczny zestaw na rundę projektowania systemu dla starszych stażem:
| Kryterium | Obserwowalne dowody |
|---|---|
| Formułowanie problemu | Zadaje pytania wyjaśniające, podaje założenia i uzgadnia zakres przed rysowaniem. |
| Rozumowanie kompromisowe | Podaje co najmniej dwie opcje kluczowej decyzji, podaje koszt każdej z nich i uzasadnia swój wybór. |
| Głębokość | Na prośbę użytkownika zagłębia się w jeden lub dwa elementy, nie tracąc przy tym całego projektu. |
| Radzenie sobie ze zmianą | Dostosowuje projekt po dodaniu ograniczenia i wyjaśnia, co jest teraz słabsze. |
| Komunikacja | Dzięki temu projekt staje się zrozumiały dla współpracownika, który nie znajduje się w pomieszczeniu. |
Oceń każde kryterium od 0 do 2: 0 oznacza brak lub brak uzasadnienia, 1 oznacza częściowe pominięcie istotnych elementów, a 2 oznacza spełnienie i uzasadnienie uzgodnionych kryteriów. Punkty odniesienia są ważniejsze niż skala. Na przykład w przypadku argumentacji kompromisowej 0 oznacza „nazwę technologii bez wyjaśnienia jej przyczyny”, 1 oznacza „podaję uzasadnienie, ale nie koszt alternatywy”, a 2 oznacza „porównanie opcji z podanymi ograniczeniami i wskazanie, z czego można by zrezygnować”.
Zdefiniuj błędy krytyczne osobno, takie jak zignorowanie wymogu ochrony danych podanego przez osobę przeprowadzającą rozmowę kwalifikacyjną lub zaproponowanie projektu, który nie spełnia określonego sztywnego ograniczenia. Średnia ocena nigdy nie może ukrywać błędu krytycznego. Unikaj oceniania pewności siebie lub szybkości; cichy kandydat, który rozumuje ostrożnie, nie powinien być karany za styl. Nasz poradnik dotyczący oceny osądu i rozwiązywania problemów zawiera informacje na temat tworzenia kryteriów dla zadań z zakresu rozumowania.
4. Skalibruj asesorów i przeprowadź pilotaż
Rubryka, którą dwie osoby odczytują inaczej, nie jest jeszcze rubryką. Zanim zaczniesz jej używać na żywo:
- Wybierz przykład. Skorzystaj z pisemnego projektu przygotowanego przez współpracownika, który nie bierze udziału w procesie rekrutacji, lub z nagrania symulowanej rozmowy kwalifikacyjnej, przygotowanego za zgodą tej osoby.
- Zdobądź niezależne punkty. Każdy oceniający sporządza dowody dla każdego kryterium przed zapoznaniem się z wynikami pozostałych oceniających.
- Porównaj dowody. W przypadku różnic w wynikach o więcej niż jeden punkt, sprawdź, czy kotwica była niejednoznaczna lub czy oceniający zauważyli różne rzeczy. Przepisz kotwicę.
- Powtórz w drugim przykładzie. Zatrzymaj się, gdy różnice zdań dotyczą osądów, a nie sformułowań.
Przewodnik Google łączy szkolenie rekruterów z kalibracją, aby zapewnić im spójność i pewność w ocenach, co jest tym samym zamysłem. Poproś specjalistę, na przykład kierownika ds. inżynierii z sąsiedniego zespołu, o zapoznanie się z przypadkiem i referencjami, a także poproś swój zespół ds. personalnych o sprawdzenie procesu pod kątem uczciwości i wymogów prawnych obowiązujących w regionach, w których rekrutujesz.
5. Omów realistyczny przykład
Przykład. Starszy inżynier powinien zweryfikować przypadek i kryteria odpowiedzi przed użyciem.
Przypadek. Kandydaci projektują usługę powiadomień dla aplikacji do dostaw: klienci otrzymują powiadomienia o zmianie statusu zamówienia. Skala jest opisana jedynie jako „kilka milionów zamówień dziennie, głównie w porze posiłków”.
Pierwsza próba. „Umieściłbym kolejkę komunikatów między obsługą zamówień a pracownikiem powiadomień, przechowywałbym każde zdarzenie w bazie danych i wysyłał powiadomienia push”. Struktura jest rozsądna, ale kandydat nie zapytał, jakie kanały są potrzebne, co się stanie, jeśli powiadomienie się spóźni lub zostanie wysłane dwukrotnie, ani co oznacza szczytowe obciążenie dla kolejki.
Informacja zwrotna od rekrutera i ponowna próba. Rekrutujący pyta: „Co jest gorsze: spóźnione powiadomienie czy duplikat?”. Rekrutujący powinni mieć ujednoliconą odpowiedź dla każdego kryterium, aby każdy kandydat miał taką samą szansę na wykazanie się umiejętnościami.
Mocniejsza próba. „Duplikat jest gorszy w przypadku push, ponieważ ludzie straciliby zaufanie do aplikacji, więc sprawiłbym, że wysyłanie idempotentne będzie zawierało zamówienie i klucz statusu. W przypadku SMS-ów akceptowałbym sporadyczne duplikaty, ponieważ koszt ma większe znaczenie. Szczytowe obciążenie w porze posiłków oznacza, że kolejka powinna absorbować nagłe wzrosty, a pracownicy powinni skalować się wraz z głębokością kolejki. Nie jestem pewien, jak rygorystyczna jest obietnica dotycząca czasu dostawy, dlatego przed wyborem między prostą polityką ponawiania a priorytetową ścieżką dla aktualizacji krytycznych czasowo zapytałbym właściciela produktu”.
Punktacja. W kontekście rubryki, ta odpowiedź otrzymuje 2 punkty za argumentację kompromisową (dwie opcje, koszty, uzasadnienie), 2 za sformułowanie problemu (sformułowanie założeń, zadanie pytania) i 1 za radzenie sobie ze zmianą do momentu dodania ograniczenia przez osobę przeprowadzającą rozmowę kwalifikacyjną. Należy zauważyć, że osoba przeprowadzająca rozmowę kwalifikacyjną ocenia dowody, a nie dopasowuje projektu kandydata do jego własnego, preferowanego.
Gdzie interaktywna dostawa pomaga
Umiejętność, którą tutaj rozwijasz, jest przeznaczona dla rekruterów, a interaktywne ćwiczenia są dla niej odpowiednie. Podczas sesji kalibracji na żywo pokaż przykładowy projekt, poproś każdego asesora o ocenę każdego kryterium prywatnie i ujawnij rozkład przed dyskusją. Ludzie zobowiązują się do oceny, zanim usłyszą najgłośniejszy głos w pomieszczeniu, a rozbieżności wskazują na kotwice, które wymagają przeredagowania. Ten sam przykład i rubryka mogą być prowadzone we własnym tempie dla nowych rekruterów, którzy dołączą później, z sesją na żywo, aby omówić niejednoznaczne przypadki. AhaSlides wspiera interaktywną naukę i przełączanie się między prowadzeniem na żywo a we własnym tempie. Jest to narzędzie do prezentacji i nauki, a nie platforma do rozmów kwalifikacyjnych ani system śledzenia kandydatów, dlatego przechowuj rzeczywiste dane kandydatów w swoich narzędziach rekrutacyjnych. Sprawdź każdą konkretną funkcję tworzenia, przekazywania informacji zwrotnej lub raportowania, na której planujesz polegać, w swoim własnym procesie pracy. Aby uzyskać pomoc w wyborze formatów, zapoznaj się z naszym przewodnikiem dotyczącym tego, kiedy używać adaptacyjnego, interaktywnego i żywego uczenia się , a aby uzyskać informacje na temat projektowania informacji zwrotnej, zapoznaj się z artykułem „ Projektowanie interaktywnej praktyki z użytecznym feedbackiem”.
Zmierz, co się zmieniło
Zdecyduj z wyprzedzeniem, co pokaże, że rubryka działa. Praktyczne są dwa wskaźniki. Po pierwsze, zgodność: w przypadku tego samego projektu nagranego lub pisemnego, czy niezależni ankieterzy po kalibracji są bliżej siebie niż przedtem? Określ, kto jest uwzględniany, jaki jest mianownik i jaki jest czas. Po drugie, trafność: czy po kilku miesiącach wyniki odnoszą się do tego, jak nowo zatrudnieni wypadają w przeglądach projektów? W przypadku niewielkiej liczby zatrudnień będzie to jedynie przybliżony sygnał, więc traktuj to jako zachętę do przejrzenia rubryki, a nie jako dowód. Jeśli wyniki się poprawią, sprawdź, co jeszcze uległo zmianie w tym samym czasie, na przykład nową definicję roli lub inny kanał pozyskiwania, przed przypisaniem rubryki.
Ograniczenia, które mogą pozostać
- Reprezentatywność. Jeden problem to fragment pracy. Połącz go z innymi dowodami, takimi jak przykład pracy lub ustrukturyzowana rozmowa o wcześniejszych decyzjach.
- Uczciwość. Rubryka zmniejsza zmienność, ale sama w sobie nie eliminuje uprzedzeń. Przeanalizuj przypadek i punkty odniesienia pod kątem założeń dotyczących pochodzenia i sprawdź wyniki w różnych grupach z zespołem ds. kadr.
- Czas na wywiad. Kalibracja zajmuje godziny. Bez niej rubryka jest tylko dłuższą formą.
- Jasność ról. Jeśli w zespole nie ma zgody co do znaczenia słowa „starszy”, żadna rubryka nie rozstrzygnie tej kwestii.
- Kontekst prawny. Ocena zatrudnienia jest regulowana w różny sposób w różnych miejscach. Przed zmianą procesu sprawdź lokalne przepisy.
PYTANIA I ODPOWIEDZI
Co powinna zawierać rubryka odpowiedzi na pytania dotyczące rozmowy kwalifikacyjnej w zakresie projektowania systemu?
Od trzech do pięciu kryteriów, takich jak: określenie problemu, wnioskowanie kompromisowe, głębia, radzenie sobie ze zmianą i komunikacja, punktacja zakotwiczona od 0 do 2 dla każdego z nich oraz osobna lista błędów krytycznych.
Jak sprawić, by rekruterzy nie oceniali pewności siebie?
Niech przed przyznaniem punktów napiszą obserwowalne dowody dla każdego kryterium i powiążą każdą ocenę z zachowaniem, np. „porównanie dwóch opcji i podanie kosztu tej, której nie wybrano”.
Jak długi powinien być wywiad dotyczący projektowania systemu?
Rozmowy kwalifikacyjne zazwyczaj trwają około godziny, ale odpowiednia długość to taka, która pozwala kandydatowi spełnić wszystkie kryteria z Twojej rubryki. Przetestuj to z pilotem.
Czy rubryka może uczynić proces rekrutacji obiektywnym?
Dzięki temu jest bardziej spójny i łatwiejszy w audytowaniu, ale ocena pozostaje. Celem jest, aby osoby przeprowadzające wywiady zgadzały się z tymi samymi powodami, a nie aby pozbawiać ludzi możliwości podejmowania decyzji.
Gdzie zacząć
Wybierz jedno wolne stanowisko i napisz jednozdaniowe oświadczenie o wynikach. Przygotuj trzy kryteria z punktami odniesienia i krótką listą błędów krytycznych, a następnie poproś starszego inżyniera o samodzielne rozwiązanie Twojego przypadku. Przeprowadź jedną sesję kalibracji z osobami, które będą przeprowadzać rozmowy kwalifikacyjne, przepisz punkty odniesienia, które wywołały nieporozumienia, i przetestuj rubrykę na niewielkiej liczbie rzeczywistych rozmów kwalifikacyjnych, zanim zaczniesz ją powszechnie stosować.
Aby zobaczyć, jak sesja kalibracyjna może przebiegać na żywo z udziałem Twoich własnych ankieterów, a następnie zostać ponownie wykorzystana w indywidualnym tempie, zapoznaj się z AhaSlides.
