Как объективно оценивать кандидатов на руководящие инженерные должности по вопросам проектирования высокоуровневой системной архитектуры при приеме на работу.

Двум кандидатам дали одно и то же задание: разработать сервис, позволяющий пользователям обмениваться короткими видеороликами. Первый за десять минут нарисовал наглядную схему, назвал все популярные компоненты и говорил с полной уверенностью. Вторая начала медленнее, спросила, кто пользователи, указала, в какой части она не уверена, и сделала другой выбор в отношении хранилища, четко объяснив причину. Интервьюер А оценил первого кандидата как «сильного». Интервьюер Б, присутствовавший на той же сессии, оценил второго кандидата как «сильного». Их оценки практически не совпадали.

Это иллюстративный сценарий, а не задокументированный случай найма. Он достаточно распространён, чтобы большинство инженерных команд его узнали. Оба варианта были обоснованными. Различие заключалось в том, что оценивал каждый интервьюер: беглость речи, скорость, знакомство с предпочитаемой архитектурой или качество рассуждений. Это руководство предназначено для руководителей инженерных отделов и лидеров по развитию инженерных решений, которым необходима система оценки кандидатов на должности старшего специалиста на основе одних и тех же критериев, чтобы два интервьюера могли прийти к одному и тому же выводу по одним и тем же причинам. Каждый из перечисленных ниже критериев должен быть проверен старшим инженером и рассмотрен на предмет объективности, прежде чем вы будете использовать его в реальном решении о найме.

Что представляет собой критерий оценки на собеседовании по проектированию систем?

Рубрика для структурированного интервью — это руководство по оценке, в котором указано, что именно вы ищете, как каждая оценка проявляется в наблюдаемом поведении, и какие ошибки нельзя компенсировать сильными сторонами в других областях. Она располагается рядом с вопросом, поэтому каждый интервьюер собирает данные по одним и тем же критериям. В руководстве Google по структурированному интервью эти инструменты оценки называются «рубриками», а исследователи называют их «шкалами оценок, основанными на поведении». В нем сообщается, что структурированные интервью обеспечивают более высокую прогностическую валидность и меньшие различия между демографическими группами, а также что готовые вопросы, руководства и рубрики экономят в среднем 40 минут на каждое интервью. Полное руководство можно прочитать в Google re:Work: Руководство по структурированному интервью.

Общедоступные примеры легко найти, и большинство из них написаны для кандидатов. Это руководство предназначено для другой стороны стола переговоров.

Интересные факты

1. Определите, какие показатели эффективности вы оцениваете.

Начните с работы, а не с темы. Для старшего инженера соответствующая задача обычно сводится к следующему: получив неоднозначную проблему, принять и обосновать архитектурные решения, а также указать, что бы изменило эти решения. Опишите это одним предложением, указав роль, уровень и контекст работы. Требования к старшему бэкенд-разработчику в платежной компании отличаются от требований к старшему разработчику платформы в медиакомпании.

Также укажите, что вы не оцениваете. Скорость печати, знакомство с конкретным облачным провайдером и умение аккуратно рисовать на общей доске — распространенные случайные критерии. Если они не являются частью работы, они не должны влиять на оценку.

2. Выберите типичное, незнакомое задание.

Выберите задачу, которая демонстрирует реальный опыт работы и которую кандидаты не должны были запоминать. Широко известная задача («разработайте сокращатель URL-адресов») поощряет репетицию. Используйте задачу из вашей области, удалив конфиденциальные детали, и попросите старшего инженера решить ее самостоятельно, чтобы вы знали, как выглядит разумный диапазон ответов.

Примите во внимание, что решение одной 45-минутной задачи позволяет оценить лишь часть работы опытного инженера. Это может показать, как он справляется с неопределенностью, ограничениями и компромиссами. Но это не покажет, как он занимается наставничеством, проводит миграцию в течение нескольких месяцев или обрабатывает длительные инциденты. Укажите это в документах при приеме на работу, чтобы никто не истолковал оценку слишком буквально.

3. Сформулируйте наблюдаемые критерии и опорные точки.

Сформулируйте критерии, опираясь на доказательства, которые вы можете записать. Краткий, практичный набор критериев для этапа проектирования системы на старших курсах:

Оцените каждый критерий по шкале от 0 до 2: 0 означает отсутствие или необоснованность, 1 — частичное соответствие с существенными упущениями, а 2 — полное соответствие и обоснованность в соответствии с согласованными критериями. Основные критерии важнее шкалы. Например, для аргументации компромиссов 0 означает «называет технологию, не объясняя, почему», 1 — «приводит обоснование, но не указывает стоимость альтернативы», а 2 — «сравнивает варианты с заявленными ограничениями и указывает, чем они будут лишены».

Критические ошибки следует определять отдельно, например, игнорирование требования по защите данных, указанного интервьюером, или предложение проекта, не соответствующего заявленному жесткому ограничению. Средний балл ни в коем случае не должен скрывать критическую ошибку. Избегайте оценки уверенности или скорости; тихий кандидат, который тщательно рассуждает, не должен быть наказан за стиль. В нашем руководстве по оценке способности к рассуждению и решению проблем рассматривается, как формулировать критерии для задач на логическое мышление.

4. Провести калибровку экспертов и запустить пилотный проект.

Критерии оценки, которые два человека читают по-разному, ещё не являются критериями оценки. Прежде чем использовать их в действии:

1. Выберите пример. Используйте письменный план, предоставленный коллегой, не участвующим в процессе найма, или запись пробного собеседования с согласия кандидата.
2. Оценить самостоятельно. Каждый эксперт составляет отчет по каждому критерию, прежде чем ознакомиться с оценками других участников.
3. Сравните доказательства. Если оценки различаются более чем на один балл, выясните, была ли формулировка вопроса неоднозначной или же оценщики заметили разные вещи. Переформулируйте формулировку вопроса.
4. Повторите то же самое на втором примере. Прекратите, когда разногласия касаются не формулировок, а здравого смысла.

В руководстве Google обучение интервьюеров сочетается с калибровкой, чтобы интервьюеры были последовательны и уверены в своих оценках, что является той же самой идеей. Попросите специалиста, например, руководителя инженерного отдела из соседней команды, проверить кейс и критерии отбора, а также попросите вашу команду по работе с персоналом проверить процесс на предмет справедливости и соответствия законодательным требованиям в ваших регионах найма.

5. Проработайте реалистичный пример.

Это иллюстративный пример. Перед использованием критерии и описание задачи должны быть проверены опытным инженером.

Суть проекта. Кандидаты разрабатывают сервис уведомлений для приложения доставки: клиенты получают обновления при изменении статуса заказа. Масштаб проекта описывается лишь как «несколько миллионов заказов в день, в основном во время приема пищи».

Первая попытка. «Я бы разместил очередь сообщений между службой обработки заказов и обработчиком уведомлений, хранил бы каждое событие в базе данных и отправлял бы push-уведомления». Структура разумная, но кандидат не спросил, какие каналы необходимы, что произойдет, если уведомление будет отправлено с опозданием или дважды, или что означает пиковая нагрузка для очереди.

Обратная связь от интервьюера и повторная попытка. Интервьюер спрашивает: «Что здесь хуже: позднее уведомление или дубликат?» Интервьюеры должны иметь стандартный план последующих действий для каждого критерия, чтобы у каждого кандидата была одинаковая возможность продемонстрировать навык.

Более надежная попытка. «Дубликат хуже для push-уведомлений, потому что люди перестанут доверять приложению, поэтому я бы сделал отправку идемпотентной с ключами заказа и статуса. Для SMS я бы допускал случайные дубликаты, потому что стоимость имеет большее значение. Пиковая нагрузка во время приема пищи означает, что очередь должна поглощать всплески, а количество обработчиков должно масштабироваться в зависимости от глубины очереди. Я не уверен, насколько строги обещания по времени доставки, поэтому я бы посоветовался с владельцем продукта, прежде чем выбирать между простой политикой повторных попыток и приоритетным каналом для критически важных обновлений».

Оценка. По критериям этот ответ получает 2 балла за аргументацию компромисса (два варианта, затраты, обоснование), 2 балла за формулировку проблемы (изложение предположений, постановка вопроса) и 1 балл за обработку изменений до тех пор, пока интервьюер не добавит ограничение. Обратите внимание, что интервьюер оценивает доказательства, а не соответствие проекта кандидата своему собственному предпочтительному варианту.

Где интерактивная доставка помогает

Этот навык предназначен для интервьюеров, и интерактивная практика идеально подходит для его развития. На сеансе калибровки в режиме реального времени покажите пример дизайна, попросите каждого оценщика оценить каждый критерий в частном порядке и покажите результаты перед обсуждением. Люди определяют свою оценку еще до того, как услышат самый громкий голос в комнате, а разногласия указывают на критерии, которые нуждаются в пересмотре. Тот же пример и критерии могут использоваться для самостоятельного обучения новыми интервьюерами, которые присоединятся позже, с последующим обсуждением неоднозначных случаев на сеансе в режиме реального времени. AhaSlides поддерживает интерактивное обучение и переход между режимом реального времени и самостоятельным обучением. Это инструмент для презентаций и обучения, а не платформа для проведения собеседований или система отслеживания кандидатов, поэтому храните реальные данные о кандидатах в своих инструментах для найма. Проверьте любые конкретные функции создания, обратной связи или отчетности, которые вы планируете использовать, на соответствие вашему собственному рабочему процессу. Для получения помощи в выборе форматов см. наше руководство по использованию адаптивного, интерактивного и реального обучения , а для разработки обратной связи см. раздел «Разработка интерактивной практики с полезной обратной связью ».

Измерьте, что изменилось.

Заранее определите, что будет свидетельствовать об эффективности оценочной шкалы. Практически применимы два показателя. Во-первых, согласованность: если результаты опроса, проведенного независимыми интервьюерами, совпадают после калибровки с результатами до нее? Определите, кто включен в исследование, знаменатель и временные рамки. Во-вторых, релевантность: спустя несколько месяцев, соотносятся ли оценки с тем, как новые сотрудники показывают себя на этапах оценки? При небольшом количестве принятых на работу сотрудников это будет лишь приблизительный сигнал, поэтому рассматривайте это как повод пересмотреть оценочную шкалу, а не как доказательство эффективности. Если результаты улучшатся, проверьте, что еще изменилось одновременно, например, новое определение роли или другой канал поиска кандидатов, прежде чем приписывать эффективность оценочной шкалы.

Ограничения, которые могут остаться

• Репрезентативность. Одна из задач проверяет часть работы. Сопоставьте её с другими доказательствами, такими как пример выполненной работы или структурированный разговор о принятых ранее решениях.
• Честность. Рубрика уменьшает вариативность, но сама по себе не устраняет предвзятость. Проанализируйте кейс и критерии оценки на предмет предположений о предыстории, а также проверьте результаты в разных группах с помощью вашей команды по работе с персоналом.
• Время интервьюера. Калибровка занимает несколько часов. Без неё критерии оценки просто станут более длинной формой.
• Четкое определение ролей. Если команда не может прийти к согласию относительно того, что означает "старший", никакие правила не помогут это разрешить.
• Правовой контекст. В разных странах процедура оценки кандидатов на работу регулируется по-разному. Перед изменением процесса ознакомьтесь с местными требованиями.

Часто задаваемые вопросы

Что должно включать в себя критерий оценки собеседования по проектированию систем?

Три-пять критериев, таких как формулировка проблемы, обоснование компромиссов, глубина анализа, управление изменениями и коммуникация, с оценкой от 0 до 2 для каждого критерия, а также отдельный список критических ошибок.

Как предотвратить ситуацию, когда интервьюеры оценивают уверенность собеседника по этому критерию?

Попросите их записать наблюдаемые доказательства по каждому критерию, прежде чем выставлять оценку, и привяжите каждую оценку к поведению, например: «сравнивает два варианта и указывает стоимость невыбранного».

Сколько времени должно длиться собеседование по проектированию системы?

Собеседования обычно длятся около часа, но оптимальная продолжительность — это та, которая позволяет кандидату продемонстрировать все критерии, указанные в вашей оценочной таблице. Проверьте это на пилотном проекте.

Может ли оценочная шкала сделать процесс найма объективным?

Это делает процесс более последовательным и упрощает аудит, но субъективная оценка сохраняется. Цель состоит в том, чтобы интервьюеры приходили к согласию по одним и тем же причинам, а не в том, чтобы отстранить людей от принятия решения.

Когда начать

Выберите одну вакантную должность и напишите краткое описание должностных обязанностей в одном предложении. Составьте три критерия с ключевыми моментами и короткий список критических ошибок, затем поручите старшему инженеру самостоятельно решить вашу задачу. Проведите одну калибровочную сессию с людьми, которые будут проводить собеседования, перепишите ключевые моменты, вызвавшие разногласия, и протестируйте критерии на небольшом количестве реальных собеседований, прежде чем использовать их широко.

Чтобы узнать, как можно провести калибровочную сессию в режиме реального времени с вашими собственными интервьюерами и как ее можно будет использовать в дальнейшем в удобном для вас темпе, изучите AhaSlides.