채용 과정에서 시니어 엔지니어 후보자의 고수준 시스템 아키텍처 설계 능력을 객관적으로 평가하는 방법

두 지원자에게 동일한 과제가 주어졌습니다. 사용자들이 짧은 비디오 클립을 공유할 수 있는 서비스를 설계하라는 것이었습니다. 첫 번째 지원자는 10분 만에 깔끔한 다이어그램을 그리고, 주요 구성 요소를 모두 언급하며, 자신감 넘치는 태도로 설명했습니다. 두 번째 지원자는 조금 더 천천히 시작하며, 사용자가 누구인지 묻고, 확신이 없는 부분을 언급하며, 저장 방식에 대해 다른 선택을 하고 그 이유를 명확하게 설명했습니다. 면접관 A는 첫 번째 지원자를 "우수"하다고 평가했습니다. 같은 면접에 참관한 면접관 B는 두 번째 지원자를 "우수"하다고 평가했습니다. 두 사람의 평가는 거의 일치하지 않았습니다.

이는 예시 시나리오일 뿐, 실제로 채용 과정에서 발생한 일은 아닙니다. 대부분의 엔지니어링 팀에서 흔히 볼 수 있는 상황입니다. 두 설계 모두 타당한 근거를 가지고 있었습니다. 다만, 면접관들이 어떤 부분을 평가했는지에 따라 결과가 달라졌을 뿐입니다. 즉, 설명의 유창성, 속도, 자신이 선호하는 아키텍처에 대한 이해도, 또는 논리적 추론의 질 등을 평가 기준으로 삼았습니다. 이 가이드는 시스템 설계 면접 평가 기준이 필요한 엔지니어링 관리자 및 엔지니어링 지원 담당자를 위해 작성되었습니다. 이 기준은 두 명의 면접관이 동일한 이유로 같은 결론에 도달할 수 있도록 동일한 기준으로 시니어 지원자를 평가하는 데 사용됩니다. 아래의 모든 평가 기준은 실제 채용 결정에 사용하기 전에 시니어 엔지니어의 검증과 공정성 검토를 거쳐야 합니다.

시스템 설계 면접 평가 기준은 무엇인가요?

시스템 설계 인터뷰 평가표는 평가 기준표로, 무엇을 중점적으로 평가해야 하는지, 각 점수가 실제 행동에서 어떻게 나타나는지, 그리고 다른 강점으로 상쇄할 수 없는 실수는 무엇인지 등을 명시합니다. 평가표는 질문 옆에 배치되어 모든 인터뷰어가 동일한 기준에 따라 증거를 수집할 수 있도록 합니다. 구글의 구조화된 인터뷰 가이드에서는 이러한 평가 도구를 "평가표(rubric)"라고 부르며, 연구자들은 이를 "행동 기준 평가 척도(behaviorally-anchored rating scales)"라고 부른다고 언급합니다. 또한 구조화된 인터뷰는 예측 타당도가 높고 인구통계학적 집단 간의 차이가 적으며, 미리 만들어진 질문, 가이드 및 평가표를 사용하면 인터뷰당 평균 40분을 절약할 수 있다고 보고합니다. 전체 가이드는 Google re:Work: 구조화된 인터뷰 가이드 에서 확인할 수 있습니다.

공개된 사례는 쉽게 찾을 수 있으며, 대부분은 지원자를 위해 작성되었습니다. 이 가이드는 면접관 측을 위한 것입니다.

빠른 사실

1. 평가할 성과를 정의하십시오.

주제가 아니라 업무 내용부터 시작하세요. 시니어 엔지니어에게 있어 관련 업무는 대개 다음과 같습니다. 모호한 문제가 주어졌을 때, 아키텍처 설계에 대한 결정을 내리고 그 타당성을 입증하며, 변경 시 발생할 수 있는 문제점을 설명하는 것입니다. 이 내용을 한 문장으로 정리하고, 해당 직무의 역할, 직급, 그리고 근무 환경을 명시하세요. 결제 회사의 시니어 백엔드 엔지니어 직무는 미디어 회사의 시니어 플랫폼 엔지니어 직무와는 요구되는 자격 기준이 다릅니다.

또한 평가하지 않는 항목을 명시하십시오. 타자 속도, 특정 클라우드 공급업체에 대한 숙련도, 공용 화이트보드에 깔끔하게 그림을 그리는 능력은 흔히 부수적인 평가 기준이 됩니다. 이러한 요소들이 업무와 관련이 없다면 점수에 영향을 주어서는 안 됩니다.

2. 대표적이면서도 익숙하지 않은 업무를 하나 선택하세요.

실제 업무에서 흔히 접할 수 있고, 응시자가 암기할 수 없는 문제를 선택하세요. "URL 단축 서비스 설계"와 같은 널리 알려진 문제는 연습을 통해 실력을 입증할 수 있습니다. 민감한 세부 정보는 삭제한, 자신이 속한 분야의 문제를 사용하고, 선임 엔지니어에게 독립적으로 풀도록 요청하여 합리적인 답안 범위를 파악하세요.

45분짜리 문제 풀이는 시니어 엔지니어의 업무 중 극히 일부만을 보여줄 뿐이라는 점을 인정하세요. 이 점수는 지원자가 불확실성, 제약 조건, 그리고 절충안을 어떻게 처리하는지 보여줄 수는 있지만, 멘토링 능력, 수개월에 걸친 마이그레이션 운영, 또는 장기적인 장애 대응 능력은 보여주지 못합니다. 채용 서류에 이 점을 명시하여 점수에 지나치게 의미를 부여하는 사람이 없도록 하세요.

3. 관찰 가능한 기준과 앵커를 작성하세요.

기록 가능한 증거를 중심으로 평가 기준을 세우세요. 고위 시스템 설계 심사를 위한 간결하고 실용적인 평가 기준 예시는 다음과 같습니다.

각 기준에 대해 0에서 2까지 점수를 매기세요. 0은 기준이 없거나 근거가 부족함을 나타내고, 1은 관련 내용이 누락된 부분적인 기준이며, 2는 합의된 기준에 비추어 완전하고 타당한 기준을 나타냅니다. 척도 자체보다 기준점이 더 중요합니다. 예를 들어, 절충안을 제시하는 경우 0은 "이유를 설명하지 않고 기술만 언급"하는 것이고, 1은 "이유는 제시하지만 대안의 비용은 언급하지 않음"이며, 2는 "명시된 제약 조건에 따라 여러 옵션을 비교하고 각 옵션에서 포기해야 하는 부분을 설명"하는 것입니다.

면접관이 제시한 데이터 보호 요건을 무시하거나 명시된 엄격한 제약 조건을 충족할 수 없는 설계를 제안하는 것과 같은 중대한 오류는 별도로 정의해야 합니다. 평균 점수가 중대한 오류를 가리는 일이 없도록 해야 합니다. 자신감이나 속도를 기준으로 점수를 매기는 것은 피해야 합니다. 신중하게 추론하는 조용한 지원자에게 스타일 때문에 불이익을 주어서는 안 됩니다. 판단력과 문제 해결 능력 평가 가이드에서 추론 과제에 대한 평가 기준을 작성하는 방법을 확인할 수 있습니다.

4. 평가자 역량 검증 및 시범 운영

두 사람이 다르게 해석하는 평가 기준표는 아직 평가 기준표가 아닙니다. 실제로 사용하기 전에 다음 사항을 고려하세요.

1. 예를 하나 선택하세요. 채용 과정에 참여하지 않은 동료가 작성한 디자인 명세서를 사용하거나, 지원자의 동의를 얻어 모의 면접 녹음 파일을 활용하세요.
2. 독립적으로 점수를 매기세요. 각 평가자는 다른 사람의 점수를 보기 전에 각 기준에 대한 근거를 직접 작성합니다.
3. 증거를 비교하십시오. 점수 차이가 1점 이상 나는 경우, 기준점이 모호했는지 또는 평가자들이 서로 다른 점을 인지했는지 확인하십시오. 기준점을 다시 설정하십시오.
4. 두 번째 예시에도 같은 과정을 반복하십시오. 의견 차이가 표현 방식이 아니라 판단 방식에 관한 것일 때는 멈추세요.

구글의 가이드는 면접관 교육과 평가를 병행하여 면접관들이 일관성 있고 자신감 있게 평가할 수 있도록 하는데, 이는 동일한 개념입니다. 인접 팀의 엔지니어링 매니저와 같은 전문가에게 사례와 기준점을 검토해 달라고 요청하고, 인사팀에 채용 과정의 공정성과 해당 지역의 법적 요건을 준수하는지 검토해 달라고 요청하십시오.

5. 현실적인 예를 통해 살펴보세요

예시입니다. 사용 전에 선임 엔지니어가 사례와 답변 기준을 검증해야 합니다.

과제 내용: 지원자는 배달 앱용 알림 서비스를 설계해야 합니다. 이 서비스는 고객이 주문 상태 변경 시 업데이트를 받을 수 있도록 하는 것입니다. 규모는 "주로 식사 시간대에 발생하는 수백만 건의 주문" 정도로만 설명되어 있습니다.

첫 번째 시도입니다. "주문 서비스와 알림 워커 사이에 메시지 큐를 두고, 모든 이벤트를 데이터베이스에 저장한 다음 푸시 알림을 보내겠습니다." 구조 자체는 합리적이지만, 지원자는 필요한 채널이 무엇인지, 알림이 늦어지거나 두 번 전송될 경우 어떻게 처리되는지, 그리고 최대 부하가 큐에 어떤 영향을 미치는지에 대해서는 질문하지 않았습니다.

면접관의 피드백과 재시도. 면접관은 "늦은 ​​통보와 중복 통보 중 어느 것이 더 나쁠까요?"라고 묻습니다. 면접관은 각 평가 기준에 대한 표준적인 후속 조치를 마련하여 모든 지원자가 자신의 역량을 보여줄 수 있는 동등한 기회를 가져야 합니다.

좀 더 나은 시도입니다. "푸시 메시지의 경우 중복 전송은 사용자들이 앱을 신뢰하지 않게 되므로 좋지 않습니다. 따라서 순서와 상태 키를 사용하여 전송이 멱등적으로 이루어지도록 하겠습니다. SMS의 경우 비용이 더 중요하므로 가끔 중복 전송을 허용하겠습니다. 식사 시간대의 피크 부하를 고려하여 큐가 급증하는 것을 흡수할 수 있도록 하고, 작업자는 큐 깊이에 따라 확장되도록 하겠습니다. 배송 시간 약속이 얼마나 엄격한지 확실하지 않으므로, 단순한 재시도 정책과 시간 제약이 있는 업데이트를 위한 우선순위 레인 중 하나를 선택하기 전에 제품 소유자에게 문의하겠습니다."

채점 기준. 이 답변은 평가 기준표에 따라 절충 논리(두 가지 선택지, 비용, 이유 제시)에서 2점, 문제 설정(가정 명시, 질문 제기)에서 2점, 면접관이 제약 조건을 추가하기 전까지 변화에 대처하는 능력에서 1점을 받았습니다. 면접관은 지원자의 설계안이 자신이 선호하는 설계안과 일치하는지 평가하는 것이 아니라, 제시된 근거를 평가하고 있다는 점에 유의하십시오.

상호작용적 전달이 도움이 되는 경우

여기서 여러분이 쌓는 역량은 면접관을 위한 것이며, 상호작용적인 연습이 적합합니다. 실시간 평가 세션에서 예시 디자인을 보여주고, 모든 평가자에게 각 기준에 대해 개별적으로 점수를 매기도록 한 다음, 토론 전에 점수 분포를 공개하세요. 사람들은 가장 큰 목소리의 사람의 의견을 듣기 전에 점수를 정하게 되며, 의견 불일치는 수정이 필요한 기준점을 알려줍니다. 동일한 예시와 평가 기준표를 사용하여 나중에 합류하는 신규 면접관들을 위해 자율 학습을 제공하고, 모호한 사례에 대해서는 실시간 세션에서 토론할 수 있습니다. AhaSlides는 상호작용적인 학습을 지원하며 실시간과 자율 학습 간의 전환을 가능하게 합니다. AhaSlides는 프레젠테이션 및 학습 도구이지 면접 플랫폼이나 지원자 관리 시스템이 아니므로 실제 지원자 데이터는 채용 도구에 보관해야 합니다. 사용하려는 특정 저작, 피드백 또는 보고 기능이 자체 워크플로에 적합한지 확인하세요. 형식 선택에 대한 도움말은 적응형, 상호작용 및 실시간 학습 사용 시점 가이드를 참조하고 , 피드백 설계에 대한 도움말 은 유용한 피드백을 포함한 상호작용적 연습 설계 가이드를 참조하세요.

변화된 것을 측정하세요

평가 기준표가 효과적인지 여부를 판단할 기준을 미리 정하십시오. 실질적으로 두 가지 측정 방법이 있습니다. 첫째, 일치도입니다. 동일한 녹음 또는 서면 디자인에 대해 독립적인 면접관들이 평가 기준 보정 후 평가 점수가 보정 전보다 더 일치하는지 확인합니다. 평가 대상, 분모, 그리고 평가 시점을 명확히 정의하십시오. 둘째, 관련성입니다. 몇 달 후, 평가 점수가 신입 사원의 디자인 검토 성과와 상관관계가 있는지 확인합니다. 신입 사원 수가 적을 경우 이는 대략적인 지표일 뿐이므로, 평가 기준표를 재검토할 필요성을 시사하는 지표로만 활용하고, 그 결과를 절대적인 증거로 간주하지 마십시오. 결과가 개선되었다면, 평가 기준표의 효과를 인정하기 전에 새로운 직무 정의나 다른 채용 채널 도입 등 동시에 발생한 다른 변화도 함께 검토해야 합니다.

남아 있을 수 있는 제약 조건

• 대표성. 문제 사례 하나는 업무의 일부를 보여주는 것입니다. 다른 증거, 예를 들어 업무 샘플이나 과거 결정에 대한 체계적인 대화 등을 함께 제시하십시오.
• 공평. 평가 기준표는 변동성을 줄여주지만, 그 자체로 편견을 완전히 없애지는 못합니다. 사례와 기준점을 검토하여 배경에 대한 가정이 있는지 확인하고, 팀원들과 함께 그룹별 결과를 점검하십시오.
• 면접관 시간. 보정 작업에 몇 시간이 걸립니다. 보정이 없으면 평가 기준표는 그냥 긴 양식일 뿐입니다.
• 역할 명확성. 팀 구성원들이 "선임"의 의미에 대해 합의하지 못하면 어떤 평가 기준도 그 문제를 해결할 수 없습니다.
• 법적 맥락. 채용 평가에 대한 규정은 지역마다 다릅니다. 프로세스를 변경하기 전에 현지 규정을 확인하십시오.

자주하는 질문

시스템 설계 면접 평가 기준표에는 무엇이 포함되어야 할까요?

문제 정의, 절충 추론, 심층성, 변화 관리 및 의사소통과 같은 3~5가지 기준에 대해 각각 0~2점의 점수를 부여하고, 주요 오류 목록을 별도로 작성합니다.

면접관이 자신감으로 점수를 따는 것을 어떻게 막을 수 있을까요?

점수를 주기 전에 각 기준에 대한 관찰 가능한 증거를 작성하도록 하고, "두 가지 선택지를 비교하고 선택하지 않은 선택지의 비용을 명시한다"와 같이 각 점수를 행동과 연관시키세요.

시스템 설계 면접은 얼마나 오래 진행되어야 할까요?

면접은 보통 한 시간 정도로 진행되지만, 적절한 시간은 지원자가 평가 기준의 모든 요소를 ​​보여줄 수 있는 시간입니다. 시범 면접을 통해 미리 테스트해 보세요.

평가 기준표가 채용을 객관적으로 만들 수 있을까요?

이렇게 하면 일관성이 높아지고 감사가 쉬워지지만, 판단은 여전히 ​​중요합니다. 목표는 면접관들이 동일한 이유로 동의하도록 하는 것이지, 의사 결정 과정에서 사람들을 배제하는 것이 아닙니다.

어디서 시작하나요

공석인 직무 하나를 선택하고 한 문장으로 된 직무 설명문을 작성하세요. 기준점 세 가지와 핵심 논점, 그리고 간략한 오류 목록을 작성한 후, 선임 엔지니어에게 독립적으로 문제를 해결해 보도록 하세요. 면접에 참여할 사람들과 함께 1차 평가 기준표를 검토하고, 의견 불일치가 발생한 핵심 논점을 수정하세요. 그리고 광범위하게 사용하기 전에 소수의 실제 면접에 평가 기준표를 적용하여 시범 운영해 보세요.

실제 면접관과 함께 보정 세션을 실시간으로 진행하고, 이후에도 자율 학습 방식으로 재사용하는 방법을 알아보려면 AhaSlides를 살펴보세요.