Dois candidatos recebem a mesma tarefa: projetar um serviço que permita aos usuários compartilhar videoclipes curtos. O primeiro elabora um diagrama claro em dez minutos, nomeia todos os componentes populares e fala com total segurança. O segundo começa mais devagar, pergunta quem são os usuários, menciona a parte sobre a qual tem dúvidas e faz uma escolha diferente para o armazenamento, apresentando uma justificativa clara. O entrevistador A avalia o primeiro candidato como "excelente". O entrevistador B, que acompanhou a mesma sessão, avalia o segundo como "excelente". As anotações dos dois praticamente não coincidem.
Este é um cenário ilustrativo, não um incidente de contratação documentado. É comum o suficiente para que a maioria das equipes de engenharia o reconheça. Ambos os projetos eram defensáveis. O que diferiu foi o que cada entrevistador avaliou: fluência, velocidade, familiaridade com sua própria arquitetura preferida ou a qualidade do raciocínio. Este guia destina-se a gerentes de engenharia e líderes de capacitação de engenharia que precisam de uma rubrica de entrevista de design de sistemas que avalie candidatos seniores com base nas mesmas evidências, para que dois entrevistadores possam chegar à mesma conclusão pelos mesmos motivos. Cada critério abaixo deve ser validado por um engenheiro sênior e revisado quanto à imparcialidade antes de ser usado em uma decisão de contratação real.
O que é uma rubrica de entrevista para projeto de sistemas?
Uma rubrica de entrevista para projeto de sistemas é um guia de pontuação que lista o que você procura, como cada pontuação se manifesta em comportamentos observáveis e quais erros não podem ser compensados por pontos fortes em outras áreas. Ela fica ao lado da pergunta, para que cada entrevistador colete evidências com base nos mesmos critérios. O guia do Google para entrevistas estruturadas chama essas ferramentas de pontuação de "rubricas" e observa que os pesquisadores as denominam "escalas de avaliação ancoradas em comportamentos". O guia relata que entrevistas estruturadas oferecem maior validade preditiva e menores diferenças entre grupos demográficos, e que perguntas, guias e rubricas predefinidos economizam, em média, 40 minutos por entrevista. Você pode ler o guia completo em Google re:Work: Um guia para entrevistas estruturadas.
É fácil encontrar exemplos públicos, e a maioria deles é escrita para candidatos. Este guia é para o outro lado da mesa.
Fatos rápidos
| Questão | Resposta curta |
|---|---|
| O que você está avaliando? | O que importa é como o candidato raciocina sobre um problema de arquitetura de final aberto, e não quantos componentes ele consegue nomear. |
| O que deve constar em uma rubrica? | Critérios, pontuações ancoradas e uma lista de erros críticos. |
| Quantos critérios? | De três a cinco. Menos critérios facilitam a pontuação e a calibração; mantenha apenas aqueles que você pode fundamentar com evidências observáveis. |
| Quem valida isso? | Um engenheiro sênior que executa o trabalho, além da sua equipe de RH para garantir a imparcialidade. |
| Como manter a consistência? | Primeiro, avalie individualmente e, em seguida, compare as evidências em uma sessão de calibração. |
| O que uma rubrica não pode fazer? | Corrija funções pouco claras, tarefas não representativas ou entrevistadores que não estejam treinados para desempenhá-las. |
| Como você sabe que funciona? | As pontuações dos entrevistadores concordam mais quando se utiliza a mesma gravação ou descrição, e as pontuações se alinham com o desempenho posterior. |
1. Defina o desempenho que você está avaliando.
Comece pelo trabalho, não pelo tópico. Para um engenheiro sênior, a tarefa relevante geralmente é: dado um problema ambíguo, tomar e defender decisões arquitetônicas e explicar o que as alteraria. Descreva isso em uma frase e especifique a função, o nível hierárquico e o contexto em que a pessoa trabalharia. Um cargo sênior de backend em uma empresa de pagamentos tem um padrão de exigência diferente de um cargo sênior de plataforma em uma empresa de mídia.
Indique também o que você não está avaliando. Velocidade de digitação, familiaridade com um fornecedor de nuvem específico e a capacidade de desenhar com clareza em um quadro branco compartilhado são critérios acidentais comuns. Se não fazem parte do trabalho, não devem influenciar a pontuação.
2. Escolha uma tarefa representativa e desconhecida.
Escolha um problema que simule o trabalho real e que os candidatos não possam ter memorizado. Um enunciado bastante conhecido ("projete um encurtador de URLs") recompensa a prática. Use um problema da sua própria área, removendo os detalhes sensíveis, e peça a um engenheiro sênior para resolvê-lo de forma independente, para que você saiba qual é uma gama razoável de respostas.
Aceite que um único problema de 45 minutos representa apenas uma parte do trabalho de um engenheiro sênior. Ele pode demonstrar como alguém lida com ambiguidade, restrições e concessões. Mas não demonstra como essa pessoa orienta outros membros da equipe, gerencia uma migração ao longo de meses ou lida com um incidente complexo. Deixe isso claro no seu contrato de trabalho para que ninguém interprete a pontuação de forma exagerada.
3. Escreva critérios e âncoras observáveis.
Elabore critérios com base em evidências que você possa documentar. Um conjunto conciso e prático para uma rodada de avaliação de design de sistemas para profissionais seniores:
| Critério | Evidências observáveis |
|---|---|
| Enquadramento do problema | Faz perguntas para esclarecer dúvidas, declara as suposições e define o escopo antes de desenhar. |
| Raciocínio de compensação | Apresenta pelo menos duas opções para uma decisão importante, indica o custo de cada uma e justifica a escolha. |
| Profundidade | Aprofunda-se em um ou dois componentes quando solicitado, sem perder a visão geral do projeto. |
| Lidando com mudanças | Ajusta o projeto quando uma restrição é adicionada e explica o que agora está mais frágil. |
| Comunicação | Torna o projeto compreensível para um colega que não estava presente na sala. |
Atribua uma pontuação de 0 a 2 para cada critério: 0 significa ausente ou sem embasamento, 1 significa parcial com omissões relevantes e 2 significa completo e justificado de acordo com os critérios acordados. Os parâmetros de comparação são mais importantes do que a escala. Para o raciocínio de compensação, por exemplo, 0 significa "menciona uma tecnologia sem explicar o porquê", 1 significa "apresenta uma justificativa, mas não o custo da alternativa" e 2 significa "compara as opções com as restrições estabelecidas e indica o que seria sacrificado".
Defina erros críticos separadamente, como ignorar um requisito de proteção de dados mencionado pelo entrevistador ou propor um projeto que não atenda a uma restrição rígida estabelecida. Uma pontuação média nunca deve ocultar um erro crítico. Evite pontuar com base na confiança ou na velocidade; um candidato tranquilo que raciocina com cuidado não deve ser penalizado pelo estilo. Nosso guia para avaliar o julgamento e a resolução de problemas aborda como elaborar critérios para tarefas de raciocínio.
4. Calibrar os avaliadores e executar um projeto piloto.
Uma rubrica que duas pessoas interpretam de forma diferente ainda não é uma rubrica válida. Antes de usá-la em produção:
- Escolha um exemplo. Utilize um projeto escrito por um colega que não esteja envolvido no processo de contratação, ou uma gravação de entrevista simulada com o consentimento da pessoa.
- Avalie de forma independente. Cada avaliador redige as evidências para cada critério antes de ver as pontuações de qualquer outra pessoa.
- Compare as evidências. Nos casos em que as pontuações diferirem em mais de um ponto, verifique se o critério de avaliação era ambíguo ou se os avaliadores perceberam coisas diferentes. Reescreva o critério de avaliação.
- Repita o processo com um segundo exemplo. Pare quando as divergências forem sobre julgamento, e não sobre a escolha das palavras.
O guia do Google combina treinamento de entrevistadores com calibração para que os entrevistadores sejam consistentes e confiantes em suas avaliações, que é a mesma ideia. Peça a um especialista, como um gerente de engenharia de uma equipe vizinha, para revisar o caso e os critérios de avaliação, e peça à sua equipe de RH para revisar o processo quanto à imparcialidade e aos requisitos legais em suas regiões de contratação.
5. Analise um exemplo realista.
A título de exemplo. Um engenheiro sênior deve validar o caso e os critérios de resposta antes de utilizá-los.
O caso. Os candidatos devem projetar um serviço de notificações para um aplicativo de entregas: os clientes recebem atualizações quando o status de um pedido muda. A escala é descrita apenas como "alguns milhões de pedidos por dia, principalmente nos horários das refeições".
Primeira tentativa. "Eu colocaria uma fila de mensagens entre o serviço de pedidos e um worker de notificações, armazenaria cada evento em um banco de dados e enviaria notificações push." A estrutura é razoável, mas o candidato não perguntou quais canais são necessários, o que acontece se uma notificação atrasar ou for enviada duas vezes, ou o que o pico de carga significa para a fila.
Feedback do entrevistador e nova tentativa. O entrevistador pergunta: "O que é pior aqui: uma notificação tardia ou uma duplicada?" Os entrevistadores devem ter um acompanhamento padrão para cada critério, para que todos os candidatos tenham a mesma chance de demonstrar a habilidade.
Uma tentativa mais robusta. "Remessas duplicadas são piores para notificações push, pois as pessoas deixariam de confiar no aplicativo. Portanto, eu tornaria o envio idempotente, com uma chave de pedido e status. Para SMS, eu aceitaria duplicatas ocasionais, pois o custo é mais importante. Picos de carga nos horários das refeições significam que a fila deve absorver os picos e os workers devem escalar de acordo com a profundidade da fila. Não tenho certeza de quão rigorosa é a promessa de tempo de entrega, então eu perguntaria ao dono do produto antes de escolher entre uma política simples de novas tentativas e uma via prioritária para atualizações urgentes."
Pontuação. De acordo com a rubrica, esta resposta recebe 2 pontos em raciocínio de compensação (duas opções, custos, uma justificativa), 2 em enquadramento do problema (apresenta pressupostos, formula uma pergunta) e 1 em lidar com mudanças até que o entrevistador adicione uma restrição. Observe que o entrevistador está avaliando as evidências, e não comparando o projeto do candidato com o seu próprio projeto preferido.
Onde a entrega interativa ajuda
A habilidade que você está desenvolvendo aqui é para entrevistadores, e a prática interativa é ideal para isso. Em uma sessão de calibração ao vivo, mostre o exemplo de design, peça a cada avaliador que pontue cada critério individualmente e revele a variação antes da discussão. As pessoas se comprometem com uma pontuação antes de ouvirem a voz mais alta na sala, e as discordâncias apontam para os pontos-chave que precisam ser reescritos. O mesmo exemplo e rubrica podem ser apresentados em ritmo próprio para novos entrevistadores que se juntarem posteriormente, com uma sessão ao vivo para discutir os casos ambíguos. O AhaSlides oferece suporte ao aprendizado interativo e à transição entre apresentações ao vivo e em ritmo próprio. É uma ferramenta de apresentação e aprendizado, não uma plataforma de entrevistas ou um sistema de rastreamento de candidatos, portanto, mantenha os dados reais dos candidatos em suas ferramentas de recrutamento. Verifique qualquer função específica de autoria, feedback ou relatório que você planeja usar em relação ao seu próprio fluxo de trabalho. Para obter ajuda na escolha de formatos, consulte nosso guia sobre quando usar aprendizado adaptativo, interativo e ao vivo e, para design de feedback, consulte o guia sobre como criar prática interativa com feedback útil.
Meça o que mudou.
Decida antecipadamente o que demonstraria a eficácia da rubrica. Duas medidas são práticas. Primeiro, concordância: com base no mesmo projeto gravado ou escrito, os entrevistadores independentes chegam a pontuações mais próximas após a calibração do que antes? Defina quem está incluído, o denominador e o período de tempo. Segundo, relevância: após alguns meses, as pontuações se relacionam com o desempenho dos novos contratados nas revisões de projeto? Com um pequeno número de contratações, isso será apenas um sinal aproximado, portanto, considere-o como um incentivo para revisar a rubrica, não como prova definitiva. Se os resultados melhorarem, verifique o que mais mudou ao mesmo tempo, como uma nova definição de função ou um canal de recrutamento diferente, antes de atribuir o crédito à rubrica.
Restrições que podem permanecer
- Representatividade. Um exemplo de problema ilustra parte do trabalho. Combine-o com outras evidências, como uma amostra de trabalho ou uma conversa estruturada sobre decisões anteriores.
- Justiça. Uma rubrica reduz a variação, mas não elimina o viés por si só. Analise o caso e os parâmetros de referência para identificar suposições sobre o histórico dos participantes e verifique os resultados entre os grupos com sua equipe de RH.
- Tempo do entrevistador. A calibração leva horas. Sem ela, a rubrica é apenas um formulário mais longo.
- Clareza de papéis. Se a equipe não chegar a um consenso sobre o que significa "sênior", nenhuma rubrica resolverá a questão.
- Contexto legal. A regulamentação da contratação varia de lugar para lugar. Verifique os requisitos locais antes de alterar qualquer processo.
Perguntas frequentes
O que deve incluir uma rubrica de entrevista para projeto de sistemas?
De três a cinco critérios, como enquadramento do problema, raciocínio de compensação, profundidade, gestão da mudança e comunicação, com uma pontuação ancorada de 0 a 2 para cada um, e uma lista separada de erros críticos.
Como impedir que entrevistadores pontuem com base na confiança?
Faça com que eles descrevam as evidências observáveis para cada critério antes de atribuir uma pontuação e relacione cada pontuação a um comportamento, como "compara duas opções e indica o custo daquela que não foi escolhida".
Qual deve ser a duração de uma entrevista de projeto de sistemas?
As entrevistas costumam ter duração de cerca de uma hora, mas o tempo ideal é aquele que permite ao candidato demonstrar todos os critérios da sua avaliação. Faça um teste piloto.
Uma rubrica pode tornar a contratação objetiva?
Isso torna o processo mais consistente e facilita a auditoria, mas o julgamento permanece. O objetivo é que os entrevistadores cheguem a um consenso pelos mesmos motivos, e não excluir pessoas da decisão.
Por onde começar
Escolha uma vaga em aberto e escreva a declaração de desempenho em uma frase. Elabore três critérios com pontos de referência e uma breve lista de erros críticos. Em seguida, peça a um engenheiro sênior para analisar o caso de forma independente. Realize uma sessão de calibração com os candidatos que farão as entrevistas, reescreva os pontos de referência que causaram discordância e teste a rubrica em um pequeno número de entrevistas reais antes de utilizá-la amplamente.
Para ver como uma sessão de calibração pode ser realizada ao vivo com seus próprios entrevistadores e reutilizada posteriormente em seu próprio ritmo, explore o AhaSlides.
