Двом кандидатам ставлять однакове завдання: розробити сервіс, який дозволяє користувачам обмінюватися короткими відеокліпами. Перший малює чітку діаграму за десять хвилин, називає кожен популярний компонент і говорить з повною впевненістю. Другий починає повільніше, запитує, хто користувачі, каже, щодо якої частини вона не впевнена, і робить інший вибір для зберігання, чітко пояснюючи причину. Інтерв'юер А оцінює першого кандидата як «сильного». Інтерв'юер Б, який був присутній на тій самій сесії, оцінює другого як «сильного». Їхні нотатки ледь перетинаються.
Це ілюстративний сценарій, а не задокументований інцидент із наймом. Він настільки поширений, що більшість інженерних команд його розпізнають. Обидва варіанти дизайну були виправданими. Різниця полягала в тому, що оцінював кожен інтерв'юер: вільність, швидкість, знайомство з власною бажаною архітектурою або якість міркувань. Цей посібник призначений для керівників інженерних служб та керівників інженерних підготовчих служб, яким потрібна рубрика співбесіди з проектування систем, яка оцінює кандидатів старших ланок на основі однакових даних, щоб два інтерв'юери могли дійти одного й того ж висновку з однакових причин. Кожен критерій, наведений нижче, має бути перевірений старшим інженером та перевірений на справедливість, перш ніж використовувати його в реальному рішенні про найм.
Що таке рубрика співбесіди з проектування системи?
Рубрика для співбесіди на основі системного дизайну – це посібник з оцінювання, який містить перелік того, що ви шукаєте, як кожен бал виглядає у спостережуваній поведінці та які помилки не можна компенсувати сильними сторонами в інших місцях. Він розміщується поруч із питанням, тому кожен інтерв'юер збирає докази за тими самими критеріями. Посібник Google зі структурованого інтерв'ювання називає ці інструменти оцінювання «рубриками» та зазначає, що дослідники називають їх «поведінково-закріпленими шкалами оцінювання». У ньому повідомляється, що структуровані інтерв'ю мають вищу прогностичну валідність та менші відмінності між демографічними групами, а заздалегідь складені питання, посібники та рубрики економлять в середньому 40 хвилин на співбесіду. Ви можете ознайомитися з повним посібником у Google re:Work: Посібник зі структурованого інтерв'ювання.
Публічні приклади легко знайти, і більшість із них написані для кандидатів. Цей посібник призначений для іншої сторони столу.
Швидкі факти
| Питання | Коротка відповідь |
|---|---|
| Що ви оцінюєте? | Як кандидат міркує щодо проблеми відкритої архітектури, а не скільки компонентів він може назвати. |
| Що входить до рубрики? | Критерії, закріплені бали та список критичних помилок. |
| Скільки критеріїв? | Від трьох до п'яти. Меншу кількість критеріїв легше оцінювати та калібрувати; залишайте лише ті, які ви можете підтвердити спостережуваними доказами. |
| Хто це затверджує? | Старший інженер, який виконує роботу, плюс ваша команда людей для справедливості. |
| Як вам вдається підтримувати його послідовність? | Спочатку оцініть незалежно, а потім порівняйте дані під час калібрувального сеансу. |
| Чого не може робити рубрика? | Виправте нечітку роль, нерепрезентативне завдання або інтерв'юерів, які не навчені їх використовувати. |
| Звідки ви знаєте, що це працює? | Оцінки інтерв'юерів більше узгоджуються на одному й тому ж записі або описі, і ці оцінки збігаються з пізнішими результатами. |
1. Визначте продуктивність, яку ви оцінюєте
Почніть з роботи, а не з теми. Для старшого інженера відповідне завдання зазвичай таке: мати неоднозначну проблему, прийняти та обґрунтувати архітектурні рішення, а також сказати, що їх змінить. Напишіть це одним реченням і вкажіть роль, рівень і контекст, у якому працюватиме людина. Посада старшого бекенду в платіжній компанії має інші вимоги, ніж посада старшого платформера в медіакомпанії.
Також пишіть те, що ви не оцінюєте. Швидкість друку, знайомство з певним постачальником хмарних послуг та вміння акуратно малювати на спільній дошці – це поширені випадкові критерії. Якщо вони не є частиною роботи, вони не повинні впливати на оцінку.
2. Виберіть репрезентативне, незнайоме завдання
Оберіть задачу, яка є зразком реальної роботи та яку кандидати не могли запам'ятати. Загальновідома підказка («розробка скорочувача URL-адрес») винагороджує репетицію. Використовуйте задачу з вашої власної предметної області, видаливши конфіденційні деталі, і попросіть старшого інженера вирішити її самостійно, щоб ви знали, як виглядає розумний діапазон відповідей.
Змиріться з тим, що одна 45-хвилинна задача демонструє лише частину того, що робить старший інженер. Вона може показати, як хтось справляється з неоднозначністю, обмеженнями та компромісами. Вона не може показати, як вони наставляють, проводять міграцію протягом місяців або справляються з тривалим інцидентом. Вкажіть це у своїй документації щодо найму, щоб ніхто не переоцінив оцінку.
3. Запишіть спостережувані критерії та опорні точки
Розробіть критерії на основі доказів, які ви можете записати. Короткий, практичний набір для раунду проектування системи старшого рівня:
| критерій | Спостережувані докази |
|---|---|
| Формулювання проблеми | Задає уточнюючі питання, формулює припущення та узгоджує обсяг роботи перед початком малювання. |
| Міркування про компроміси | Називає щонайменше два варіанти ключового рішення, пояснює вартість кожного з них та обирає з обґрунтуванням. |
| Глибина | За потреби детально розглядає один або два компоненти, не втрачаючи цілісності дизайну. |
| Обробка змін | Коригує дизайн після додавання обмеження та пояснює, що стало слабшим. |
| Комунікація | Робить дизайн зрозумілим для колеги, якого не було в кімнаті. |
Оцініть кожен критерій від 0 до 2: 0 – відсутній або непідтверджений, 1 – частковий з відповідними пропусками, а 2 – повний та обґрунтований відповідно до узгоджених критеріїв. Точки прив'язки важливіші за шкалу. Наприклад, для міркувань про компроміси 0 означає «називає технологію, не пояснюючи чому», 1 – «наводить причину, але не вартість альтернативи», а 2 – «порівнює варіанти із заявленими обмеженнями та вказує, від чого вони готові відмовитися».
Окремо визначте критичні помилки, такі як ігнорування вимоги щодо захисту даних, зазначеної інтерв'юером, або пропонування дизайну, який не може відповідати заявленому жорсткому обмеженню. Середній бал ніколи не повинен приховувати критичну помилку. Уникайте оцінювання за впевненість або швидкість; тихий кандидат, який ретельно міркує, не повинен бути покараний за стиль. Наш посібник з оцінювання судження та вирішення проблем розповідає, як писати критерії для завдань на міркування.
4. Калібрування оцінювачів та проведення пілотного проекту
Рубрика, яку двоє людей читають по-різному, ще не є рубрикою. Перш ніж використовувати її в реальному часі:
- Виберіть приклад. Використайте письмовий дизайн від колеги, який не бере участі в процесі найму, або макет запису співбесіди за згодою особи.
- Оцінюйте самостійно. Кожен оцінювач записує докази для кожного критерію, перш ніж переглянути оцінки інших.
- Порівняйте докази. Якщо оцінки відрізняються більш ніж на один бал, з'ясуйте, чи був якір неоднозначним, чи оцінювачі помітили різні речі. Перепишіть якір.
- Повторіть на другому прикладі. Зупиніться, коли розбіжності стосуються суджень, а не формулювань.
Посібник Google поєднує навчання інтерв'юерів з калібруванням, щоб інтерв'юери були послідовними та впевненими у своїх оцінках, що є тією ж ідеєю. Попросіть спеціаліста, такого як керівник інженерного відділу з сусідньої команди, переглянути кейс та орієнтири, а також попросіть свою команду з персоналу переглянути процес на предмет справедливості та правових вимог у ваших регіонах найму.
5. Розгляньте реалістичний приклад
Ілюстрація. Старший інженер повинен перевірити випадок та відповісти на критерії перед використанням.
Кейс. Кандидати розробляють сервіс сповіщень для застосунку доставки: клієнти отримують оновлення, коли статус замовлення змінюється. Масштаб описується лише як «кілька мільйонів замовлень на день, переважно під час прийому їжі».
Перша спроба. «Я б розмістив чергу повідомлень між службою замовлень та працівником сповіщень, зберігав би кожну подію в базі даних та надсилав push-сповіщення». Структура розумна, але кандидат не запитав, які канали потрібні, що станеться, якщо сповіщення запізниться або буде надіслано двічі, або що означає пікове навантаження для черги.
Зворотній зв'язок інтерв'юера та повторна спроба. Інтерв'юер запитує: «Що тут гірше: запізніле повідомлення чи дублікат?» Інтерв'юери повинні мати стандартний план подальших дій для кожного критерію, щоб кожен кандидат мав однаковий шанс продемонструвати свої навички.
Сильніша спроба. «Дублікат гірший для push-розсилок, оскільки люди перестануть довіряти додатку, тому я б зробив надсилання ідемпотентним із ключем замовлення та статусу. Для SMS я б приймав випадкові дублікати, оскільки вартість має більше значення. Пікове навантаження під час прийому їжі означає, що черга повинна поглинати спалахи, а працівники повинні масштабуватися відповідно до глибини черги. Я не впевнений, наскільки суворою є обіцянка часу доставки, тому я б запитав власника продукту, перш ніж вибирати між простою політикою повторних спроб та пріоритетною смугою для критично важливих оновлень».
Оцінювання. Відповідно до рубрики, ця відповідь отримує 2 бали за компромісне мислення (два варіанти, витрати, причина), 2 бали за формулювання проблеми (висловлює припущення, ставить питання) та 1 бали за вміння справлятися зі змінами, доки інтерв'юер не додасть обмеження. Зверніть увагу, що інтерв'юер оцінює докази, а не зіставляє дизайн кандидата з власним бажаним.
Де допомагає інтерактивна доставка
Навички, які ви тут розвиваєте, призначені для інтерв'юерів, і інтерактивна практика їм підходить. Під час сеансу калібрування в реальному часі покажіть приклад дизайну, попросіть кожного оцінювача оцінити кожен критерій приватно та розкрийте розкид перед обговоренням. Люди зобов'язуються виставити оцінку, перш ніж почують найгучніший голос у кімнаті, а розбіжності вказують на ключові моменти, які потрібно переписати. Той самий приклад і рубрика можуть працювати у власному темпі для нових інтерв'юерів, які приєднуються пізніше, з живою сесією для обговорення неоднозначних випадків. AhaSlides підтримує інтерактивне навчання та перехід між живим та власним темпом проведення. Це інструмент для презентацій та навчання, а не платформа для співбесід чи система відстеження кандидатів, тому зберігайте реальні дані про кандидатів у своїх інструментах найму. Перевірте будь-яку конкретну функцію створення, зворотного зв'язку чи звітності, на яку ви плануєте покладатися, порівняно з вашим власним робочим процесом. Щоб отримати допомогу у виборі форматів, див. наш посібник щодо того, коли використовувати адаптивне, інтерактивне та живе навчання , а щодо дизайну зворотного зв'язку див. статтю « Проектування інтерактивної практики з корисним зворотним зв'язком ».
Виміряйте, що змінилося
Заздалегідь вирішіть, що покаже, що рубрика працює. Практично використовувати два показники. По-перше, узгодженість: чи незалежні інтерв'юери після калібрування, в тому самому записаному або письмовому дизайні, опиняються ближче один до одного, ніж раніше? Визначте, хто включений, знаменник і час. По-друге, релевантність: чи пов'язані бали через кілька місяців з тим, як нові співробітники показують результати в оглядах дизайну? З невеликою кількістю співробітників це буде лише приблизний сигнал, тому сприймайте це як спонукання до перегляду рубрики, а не як доказ. Якщо результати покращаться, перевірте, що ще змінилося одночасно, наприклад, нове визначення ролі або інший канал постачання, перш ніж вказувати рубрику як джерело інформації.
Обмеження, які можуть залишитися
- Репрезентативність. Одна проблема є зразком частини роботи. Поєднайте її з іншими доказами, такими як зразок роботи або структурована розмова про минулі рішення.
- Справедливість. Рубрика зменшує варіації, але сама по собі не усуває упередженість. Перегляньте кейс та опорні точки на предмет припущень щодо передумов, а також перевірте результати в різних групах зі своєю командою з персоналу.
- Час інтерв'юера. Калібрування займає години. Без нього рубрика буде просто довшою формою.
- Чіткість ролі. Якщо команда не дійшла згоди щодо значення слова «старший», жодні критерії не вирішать це питання.
- Правовий контекст. Оцінювання найму регулюється по-різному в різних місцях. Перевірте місцеві вимоги, перш ніж змінювати процес.
Часті питання
Що має містити рубрика співбесіди з проектування системи?
Від трьох до п'яти критеріїв, таких як формулювання проблеми, компромісне обґрунтування, глибина, управління змінами та комунікація, фіксована оцінка від 0 до 2 для кожного та окремий список критичних помилок.
Як зупинити інтерв'юерів від оцінювання за впевненість?
Нехай вони запишуть спостережувані докази для кожного критерію, перш ніж виставити оцінку, та прив’яжуть кожну оцінку до поведінки, наприклад, «порівнює два варіанти та називає вартість того, який не обраний».
Якої тривалості має тривати співбесіда з проектування системи?
Співбесіди часто плануються приблизно на годину, але правильна тривалість – це та, яка дозволяє кандидату продемонструвати всі критерії у вашій рубриці. Перевірте це за допомогою пілотного проекту.
Чи може рубрика зробити найм об'єктивним?
Це робить процес більш послідовним та легшим для перевірки, але судження залишається. Мета полягає в тому, щоб інтерв'юери погоджувалися з тими ж причинами, а не виключали людей з процесу прийняття рішення.
З чого почати
Виберіть одну вакансію та напишіть опис ефективності з одного речення. Складіть три критерії з ключовими моментами та коротким списком критичних помилок, а потім попросіть старшого інженера самостійно вирішити ваш кейс. Проведіть один сеанс калібрування з людьми, які проводитимуть співбесіди, перепишіть ключові моменти, що викликали розбіжності, та випробуйте рубрику на невеликій кількості реальних співбесід, перш ніж використовувати її широко.
Щоб побачити, як сеанс калібрування може проходити в прямому ефірі з вашими власними інтерв'юерами та використовуватися повторно у власному темпі згодом, ознайомтеся з AhaSlides.
