Cómo evaluar objetivamente a los candidatos a ingenieros sénior en el diseño de arquitectura de sistemas de alto nivel durante el proceso de contratación.

Dos candidatos reciben la misma consigna: diseñar un servicio que permita a los usuarios compartir videoclips cortos. El primero dibuja un diagrama claro en diez minutos, nombra todos los componentes más comunes y habla con total seguridad. El segundo empieza más despacio, pregunta quiénes son los usuarios, indica qué parte le genera dudas y elige una solución de almacenamiento diferente, justificando claramente su decisión. El entrevistador A califica al primer candidato como "bueno". El entrevistador B, que estuvo presente en la misma sesión, califica al segundo como "bueno". Sus notas apenas coinciden.

Este es un escenario ilustrativo, no un caso documentado de contratación. Es bastante común, por lo que la mayoría de los equipos de ingeniería lo reconocerán. Ambos diseños eran defendibles. La diferencia radicaba en lo que cada entrevistador evaluaba: fluidez, rapidez, familiaridad con su arquitectura preferida o la calidad del razonamiento. Esta guía está dirigida a gerentes de ingeniería y líderes de capacitación en ingeniería que necesitan una rúbrica de entrevista para diseño de sistemas que evalúe a candidatos sénior con base en las mismas evidencias, de modo que dos entrevistadores puedan llegar a la misma conclusión por las mismas razones. Cada criterio que se presenta a continuación debe ser validado por un ingeniero sénior y revisado para garantizar su imparcialidad antes de utilizarlo en una decisión de contratación real.

¿Qué es una rúbrica de entrevista para diseño de sistemas?

Una rúbrica de entrevista para diseño de sistemas es una guía de puntuación que enumera lo que se busca, cómo se ve cada puntuación en el comportamiento observable y qué errores no pueden compensarse con fortalezas en otros aspectos. Se coloca junto a la pregunta, de modo que cada entrevistador recopila evidencia según los mismos criterios. La guía de Google para entrevistas estructuradas denomina a estas herramientas de puntuación "rúbricas" y señala que los investigadores las llaman "escalas de calificación ancladas en el comportamiento". Informa que las entrevistas estructuradas ofrecen una mayor validez predictiva y menores diferencias entre grupos demográficos, y que las preguntas, guías y rúbricas preelaboradas ahorran un promedio de 40 minutos por entrevista. Puede leer la guía completa en Google re:Work: Una guía para entrevistas estructuradas.

Es fácil encontrar ejemplos públicos, y la mayoría están escritos para candidatos. Esta guía está dirigida a quienes no participan en el proceso.

Datos Rápidos

1. Defina el desempeño que está evaluando.

Empieza por el trabajo, no por el tema. Para un ingeniero sénior, la tarea relevante suele ser: ante un problema ambiguo, tomar y defender decisiones arquitectónicas, y explicar qué las modificaría. Redacta esto en una sola frase y especifica el rol, el nivel y el contexto en el que trabajaría la persona. Un puesto de ingeniero sénior de backend en una empresa de pagos tiene requisitos diferentes a los de un puesto de ingeniero sénior de plataforma en una empresa de medios.

También anota lo que no estás evaluando. La velocidad de escritura, el conocimiento de un proveedor de servicios en la nube específico y la habilidad para dibujar con claridad en una pizarra compartida son criterios comunes que se incluyen de forma accidental. Si no forman parte del trabajo, no deberían afectar la puntuación.

2. Elija una tarea representativa y desconocida.

Elige un problema que represente el trabajo real y que los candidatos no puedan memorizar. Un problema conocido ("diseñar un acortador de URL") recompensa la práctica. Utiliza un problema de tu propio ámbito, eliminando los detalles confidenciales, y pídele a un ingeniero sénior que lo resuelva de forma independiente para que puedas ver un rango razonable de respuestas.

Acepta que un solo problema de 45 minutos solo muestra una parte del trabajo de un ingeniero sénior. Puede mostrar cómo maneja la ambigüedad, las limitaciones y las compensaciones. No puede mostrar cómo guía a otros, cómo dirige una migración durante meses ni cómo gestiona un incidente prolongado. Indica esto en tu documentación de contratación para que nadie le dé demasiada importancia a la puntuación.

3. Escribir criterios observables y puntos de referencia.

Elabore criterios basados ​​en evidencias que pueda documentar. Un conjunto breve y práctico para una ronda de diseño de sistemas de nivel avanzado:

Califica cada criterio de 0 a 2: 0 significa ausente o sin fundamento, 1 significa parcial con omisiones relevantes y 2 significa completo y justificado según los criterios acordados. Los criterios de referencia son más importantes que la escala. Por ejemplo, en el razonamiento de compensación, un 0 significa "nombra una tecnología sin explicar por qué", un 1 significa "da una razón pero no el costo de la alternativa" y un 2 significa "compara las opciones con las restricciones establecidas e indica a qué se renunciaría con ellas".

Defina los errores críticos por separado, como ignorar un requisito de protección de datos mencionado por el entrevistador o proponer un diseño que no cumpla con una restricción estricta. Una puntuación promedio nunca debe ocultar un error crítico. Evite calificar la confianza o la velocidad; un candidato tranquilo que razona con cuidado no debe ser penalizado por su estilo. Nuestra guía para evaluar el juicio y la resolución de problemas explica cómo redactar los criterios para las tareas de razonamiento.

4. Calibrar a los evaluadores y realizar un programa piloto.

Una rúbrica que dos personas interpretan de forma diferente aún no es una rúbrica. Antes de usarla en la práctica:

1. Elige un ejemplo. Utilice un diseño escrito de un colega que no esté en el proceso de contratación, o una grabación de una entrevista simulada con el consentimiento de la persona.
2. Califica de forma independiente. Cada evaluador redacta las pruebas para cada criterio antes de ver las puntuaciones de los demás.
3. Comparar las pruebas. Cuando las puntuaciones difieran en más de un punto, averigüe si el texto de referencia era ambiguo o si los evaluadores observaron cosas diferentes. Reescriba el texto de referencia.
4. Repita el procedimiento con un segundo ejemplo. Detente cuando los desacuerdos tengan que ver con el criterio, no con la forma en que se redactan.

La guía de Google combina la capacitación de los entrevistadores con la calibración para que sean consistentes y seguros en sus evaluaciones, lo cual es la misma idea. Pida a un especialista, como un gerente de ingeniería de un equipo vecino, que revise el caso y los puntos de referencia, y solicite a su equipo de recursos humanos que revise el proceso para garantizar la equidad y el cumplimiento de los requisitos legales en sus regiones de contratación.

5. Analice un ejemplo realista.

Ilustrativo. Un ingeniero sénior debe validar el caso y los criterios de respuesta antes de su uso.

El caso práctico. Los candidatos diseñan un servicio de notificaciones para una aplicación de reparto: los clientes reciben actualizaciones cuando cambia el estado de un pedido. La escala se describe simplemente como "unos pocos millones de pedidos al día, principalmente a la hora de las comidas".

Un primer intento. «Pondría una cola de mensajes entre el servicio de pedidos y un trabajador de notificaciones, almacenaría cada evento en una base de datos y enviaría notificaciones push». La estructura es razonable, pero el candidato no preguntó qué canales se necesitan, qué sucede si una notificación se retrasa o se envía dos veces, ni qué implica la carga máxima para la cola.

Retroalimentación del entrevistador y reintento. El entrevistador pregunta: "¿Qué es peor: una notificación tardía o una duplicada?". Los entrevistadores deben tener un seguimiento estándar para cada criterio, de modo que cada candidato tenga la misma oportunidad de demostrar la habilidad.

Un intento más sólido. "Para las notificaciones push, un duplicado es peor, ya que la gente dejaría de confiar en la aplicación. Por eso, haría que el envío fuera idempotente con una clave de orden y estado. Para los SMS, aceptaría duplicados ocasionales porque el costo es más importante. La carga máxima durante las comidas implica que la cola debe absorber picos y los trabajadores deben escalar según la profundidad de la cola. No estoy seguro de cuán estricta es la promesa de tiempo de entrega, así que consultaría con el responsable del producto antes de elegir entre una política de reintentos simple y un carril de prioridad para actualizaciones críticas en el tiempo."

Puntuación. Según la rúbrica, esta respuesta obtiene 2 puntos en razonamiento de compensación (dos opciones, costos, una razón), 2 puntos en planteamiento del problema (enuncia supuestos, formula una pregunta) y 1 punto en manejo del cambio hasta que el entrevistador añade una restricción. Nótese que el entrevistador evalúa la evidencia, no compara el diseño del candidato con su propio diseño preferido.

Donde la entrega interactiva ayuda

La habilidad que estás desarrollando aquí es para entrevistadores, y la práctica interactiva es ideal para ello. En una sesión de calibración en vivo, muestra el diseño de ejemplo, pide a cada evaluador que califique cada criterio en privado y revela la dispersión antes de la discusión. Las personas se comprometen con una calificación antes de escuchar la voz más fuerte en la sala, y los desacuerdos señalan los puntos de referencia que necesitan ser revisados. El mismo ejemplo y rúbrica pueden ejecutarse a ritmo propio para los nuevos entrevistadores que se unan más tarde, con una sesión en vivo para discutir los casos ambiguos. AhaSlides admite el aprendizaje interactivo y la alternancia entre la entrega en vivo y a ritmo propio. Es una herramienta de presentación y aprendizaje, no una plataforma de entrevistas ni un sistema de seguimiento de candidatos, así que mantén los datos reales de los candidatos en tus herramientas de contratación. Verifica cualquier función específica de autoría, retroalimentación o informes que planees usar con respecto a tu propio flujo de trabajo. Para obtener ayuda para elegir formatos, consulta nuestra guía sobre cuándo usar el aprendizaje adaptativo, interactivo y en vivo , y para el diseño de retroalimentación consulta el diseño de práctica interactiva con retroalimentación útil.

Mide lo que cambió

Decida de antemano qué indicaría que la rúbrica funciona. Dos medidas son prácticas. Primero, la concordancia: en el mismo diseño grabado o escrito, ¿los entrevistadores independientes llegan a conclusiones más cercanas después de la calibración que antes? Defina quiénes participan, el denominador y el momento. Segundo, la relevancia: después de unos meses, ¿las puntuaciones se relacionan con el desempeño de los nuevos empleados en las revisiones de diseño? Con un número reducido de contrataciones, esto será solo una señal aproximada, así que considérelo como un recordatorio para revisar la rúbrica, no como una prueba definitiva. Si los resultados mejoran, verifique qué otros cambios se produjeron simultáneamente, como una nueva definición de rol o un canal de reclutamiento diferente, antes de atribuir el mérito a la rúbrica.

Restricciones que pueden persistir

• Representatividad. Un problema sirve como ejemplo de una parte del trabajo. Combínalo con otras pruebas, como una muestra de trabajo o una conversación estructurada sobre decisiones pasadas.
• Justicia. Una rúbrica reduce la variabilidad, pero no elimina los sesgos por sí sola. Revisa el caso y los criterios de evaluación para detectar suposiciones sobre los antecedentes y verifica los resultados en los diferentes grupos con tu equipo de recursos humanos.
• Momento del entrevistador. La calibración lleva horas. Sin ella, la rúbrica es solo un formulario más largo.
• Claridad de roles. Si el equipo no se pone de acuerdo sobre lo que significa "senior", ninguna norma lo resolverá.
• Contexto legal. La evaluación de candidatos se regula de forma diferente en cada lugar. Consulta la normativa local antes de modificar un proceso.

Preguntas frecuentes

¿Qué debería incluir una rúbrica de entrevista para diseño de sistemas?

De tres a cinco criterios, como la formulación del problema, el razonamiento de las compensaciones, la profundidad, la gestión del cambio y la comunicación, una puntuación anclada de 0 a 2 para cada uno, y una lista aparte de errores críticos.

¿Cómo evitar que los entrevistadores puntúen en función de la confianza?

Haz que escriban la evidencia observable para cada criterio antes de darle una puntuación, y vincula cada puntuación a un comportamiento, como por ejemplo: "compara dos opciones e indica el coste de la que no se elige".

¿Cuánto debe durar una entrevista de diseño de sistemas?

Las entrevistas suelen durar alrededor de una hora, pero la duración ideal es aquella que permite al candidato demostrar que cumple con todos los criterios de tu rúbrica. Haz una prueba piloto.

¿Puede una rúbrica hacer que la contratación sea objetiva?

Esto lo hace más consistente y más fácil de auditar, pero el criterio personal se mantiene. El objetivo es que los entrevistadores coincidan por las mismas razones, no excluir a las personas de la decisión.

Por dónde empezar

Seleccione un puesto vacante y redacte una breve descripción del desempeño. Elabore tres criterios con sus respectivos puntos de referencia y una lista corta de errores críticos. Luego, pida a un ingeniero sénior que resuelva el caso de forma independiente. Realice una sesión de calibración con los entrevistadores, revise los puntos de referencia que generaron desacuerdo y pruebe la rúbrica en un pequeño grupo de entrevistas reales antes de implementarla de forma generalizada.

Para ver cómo se podría realizar una sesión de calibración en directo con tus propios entrevistadores y reutilizarla posteriormente a tu propio ritmo, explora AhaSlides.