Zwei Kandidaten erhalten dieselbe Aufgabe: einen Dienst zu entwickeln, mit dem Nutzer kurze Videoclips teilen können. Der erste Kandidat erstellt innerhalb von zehn Minuten ein übersichtliches Diagramm, nennt alle gängigen Komponenten und präsentiert seine Lösung mit absoluter Sicherheit. Der zweite Kandidat beginnt langsamer, fragt nach der Zielgruppe, äußert seine Unsicherheit bezüglich eines Aspekts und wählt eine andere Speicherlösung mit nachvollziehbarer Begründung. Interviewer A bewertet den ersten Kandidaten mit „stark“. Interviewer B, der an der gleichen Sitzung teilgenommen hat, bewertet den zweiten Kandidaten ebenfalls mit „stark“. Ihre Bewertungen überschneiden sich kaum.
Dies ist ein beispielhaftes Szenario, kein dokumentierter Einstellungsfall. Es kommt jedoch so häufig vor, dass es den meisten Entwicklerteams bekannt sein dürfte. Beide Entwürfe waren nachvollziehbar. Der Unterschied lag in den Bewertungskriterien der Interviewer: Sprachgewandtheit, Geschwindigkeit, Vertrautheit mit der bevorzugten Architektur oder die Qualität der Argumentation. Dieser Leitfaden richtet sich an Entwicklungsleiter und Verantwortliche für die Systementwicklung, die eine Bewertungsmatrix für Systemdesign-Interviews benötigen, anhand derer erfahrene Kandidaten nach denselben Kriterien bewertet werden, sodass zwei Interviewer aus denselben Gründen zum selben Ergebnis gelangen können. Jedes der folgenden Kriterien sollte von einem erfahrenen Entwickler validiert und auf Fairness geprüft werden, bevor es in einer tatsächlichen Einstellungsentscheidung Anwendung findet.
Was ist ein Bewertungsraster für ein Systemdesign-Interview?
Ein Beurteilungsbogen für Systemdesign-Interviews ist ein Bewertungsleitfaden, der auflistet, worauf es ankommt, wie sich die einzelnen Bewertungen im beobachtbaren Verhalten äußern und welche Fehler nicht durch Stärken an anderer Stelle ausgeglichen werden können. Er befindet sich neben der Frage, sodass jeder Interviewer anhand derselben Kriterien Informationen sammelt. Googles Leitfaden für strukturierte Interviews bezeichnet diese Bewertungsinstrumente als „Rubriken“ und weist darauf hin, dass Forscher sie als „verhaltensbasierte Bewertungsskalen“ bezeichnen. Laut diesem Leitfaden bieten strukturierte Interviews eine höhere Vorhersagekraft und geringere Unterschiede zwischen demografischen Gruppen. Vorgefertigte Fragen, Leitfäden und Beurteilungsbögen sparen durchschnittlich 40 Minuten pro Interview. Den vollständigen Leitfaden finden Sie in Google re:Work: Ein Leitfaden für strukturierte Interviews.
Öffentliche Beispiele sind leicht zu finden, und die meisten sind für Kandidaten geschrieben. Dieser Leitfaden richtet sich an die andere Seite des Tisches.
Schnelle Fakten
| Frage | Kurze Antwort |
|---|---|
| Was beurteilen Sie? | Es kommt darauf an, wie ein Kandidat über ein offenes Architekturproblem nachdenkt, nicht darauf, wie viele Komponenten er nennen kann. |
| Was gehört in eine Bewertungsmatrix? | Kriterien, verankerte Punktwerte und eine Liste kritischer Fehler. |
| Wie viele Kriterien? | Drei bis fünf. Weniger Kriterien sind einfacher zu bewerten und zu kalibrieren; behalten Sie nur diejenigen bei, die Sie mit beobachtbaren Beweisen untermauern können. |
| Wer bestätigt es? | Ein erfahrener Ingenieur, der die Arbeit erledigt, plus Ihr Personalteam, um Fairness zu gewährleisten. |
| Wie gelingt es Ihnen, die Kontinuität zu wahren? | Zuerst die Ergebnisse unabhängig voneinander bewerten, dann die Ergebnisse in einer Kalibrierungssitzung vergleichen. |
| Was kann eine Rubrik nicht leisten? | Eine unklare Rollenverteilung, eine nicht repräsentative Aufgabe oder Interviewer, die nicht für deren Anwendung geschult sind, sollten behoben werden. |
| Woran erkennt man, dass es funktioniert? | Die Bewertungen der Interviewer stimmen eher bei der gleichen Aufnahme oder dem gleichen schriftlichen Bericht überein, und die Bewertungen decken sich mit der späteren Aufführung. |
1. Definieren Sie die Leistung, die Sie bewerten.
Beginnen Sie mit der Aufgabe, nicht mit dem Thema. Für einen Senior-Entwickler lautet die relevante Aufgabe in der Regel: Angesichts eines komplexen Problems Architekturentscheidungen treffen und begründen sowie erläutern, welche Änderungen erforderlich wären. Formulieren Sie dies in einem Satz und geben Sie die Rolle, die Erfahrungsstufe und den Kontext an, in dem die Person arbeiten würde. Die Anforderungen an eine Senior-Backend-Position in einem Zahlungsdienstleister unterscheiden sich von denen an eine Senior-Plattform-Position in einem Medienunternehmen.
Notieren Sie auch, was Sie nicht bewerten. Tippgeschwindigkeit, Vertrautheit mit einem bestimmten Cloud-Anbieter und die Fähigkeit, sauber auf einem gemeinsamen Whiteboard zu zeichnen, sind häufige, unbeabsichtigte Bewertungskriterien. Wenn sie nicht zur eigentlichen Tätigkeit gehören, sollten sie die Bewertung nicht beeinflussen.
2. Wählen Sie eine repräsentative, unbekannte Aufgabe.
Wählen Sie eine Aufgabe, die praxisnah ist und die Kandidaten nicht auswendig gelernt haben können. Eine bekannte Aufgabe („Entwerfen Sie einen URL-Kürzer“) belohnt Übung. Verwenden Sie eine Aufgabe aus Ihrem eigenen Fachgebiet, entfernen Sie die sensiblen Details und bitten Sie einen erfahrenen Entwickler, sie selbstständig zu lösen, damit Sie wissen, wie ein realistischer Lösungsansatz aussieht.
Akzeptieren Sie, dass eine einzelne 45-minütige Aufgabe nur einen Teil der Tätigkeiten eines Senior-Ingenieurs abbildet. Sie kann zeigen, wie jemand mit Unklarheiten, Einschränkungen und Abwägungen umgeht. Sie kann jedoch nicht zeigen, wie er/sie Mentoring betreibt, eine Migration über Monate hinweg leitet oder einen langwierigen Vorfall bewältigt. Weisen Sie in Ihren Einstellungsunterlagen darauf hin, damit die Bewertung nicht überinterpretiert wird.
3. Beobachtbare Kriterien und Ankerpunkte formulieren
Erstellen Sie Kriterien auf der Grundlage von Belegen, die Sie schriftlich festhalten können. Ein kurzes, praktikables Set für eine fortgeschrittene Systemdesign-Runde:
| Kriterium | Sichtbare Beweise |
|---|---|
| Problemformulierung | Stellt klärende Fragen, nennt Annahmen und einigt euch vor dem Zeichnen auf den Umfang. |
| Abwägungslogik | Nennt mindestens zwei Optionen für eine wichtige Entscheidung, gibt die jeweiligen Kosten an und begründet seine Wahl. |
| Tiefe | Geht auf Anfrage detailliert auf ein oder zwei Komponenten ein, ohne dabei das Gesamtkonzept aus den Augen zu verlieren. |
| Umgang mit Änderungen | Passt das Design an, wenn eine Einschränkung hinzugefügt wird, und erklärt, was nun schwächer ist. |
| Kommunikation | Macht das Design auch für einen Kollegen verständlich, der nicht im Raum war. |
Bewerten Sie jedes Kriterium mit 0 bis 2 Punkten: 0 bedeutet, dass das Kriterium nicht erfüllt oder nicht begründet ist, 1 bedeutet, dass es teilweise erfüllt ist und relevante Lücken aufweist, und 2 bedeutet, dass es vollständig erfüllt und anhand der vereinbarten Kriterien begründet ist. Die Ankerpunkte sind wichtiger als die Skala. Bei der Abwägung von Alternativen bedeutet beispielsweise eine 0: „Nennt eine Technologie, ohne zu begründen“, eine 1: „Nennt einen Grund, aber nicht die Kosten der Alternative“, und eine 2: „Vergleicht Optionen mit den genannten Einschränkungen und erläutert, welche Nachteile damit verbunden wären“.
Kritische Fehler sollten gesondert definiert werden, beispielsweise das Ignorieren einer vom Interviewer genannten Datenschutzvorgabe oder das Vorschlagen eines Designs, das eine vorgegebene zwingende Anforderung nicht erfüllt. Ein Durchschnittsergebnis darf niemals einen kritischen Fehler verschleiern. Vermeiden Sie es, Selbstsicherheit oder Geschwindigkeit in die Bewertung einzubeziehen; ein ruhiger Kandidat, der sorgfältig argumentiert, sollte nicht für seinen Stil benachteiligt werden. Unser Leitfaden zur Beurteilung von Urteilsvermögen und Problemlösungskompetenz beschreibt, wie Kriterien für Aufgaben zum logischen Denken formuliert werden.
4. Gutachter kalibrieren und Pilotprojekt durchführen
Eine Rubrik, die zwei Personen unterschiedlich interpretieren, ist noch keine Rubrik. Bevor Sie sie live einsetzen:
- Wählen Sie ein Beispiel. Verwenden Sie einen schriftlichen Entwurf eines Kollegen, der nicht am Einstellungsprozess beteiligt ist, oder eine Aufzeichnung eines simulierten Vorstellungsgesprächs mit Zustimmung der betreffenden Person.
- Selbstständige Bewertung. Jeder Gutachter verfasst die Nachweise für jedes Kriterium, bevor er die Bewertungen der anderen einsieht.
- Vergleichen Sie die Beweise. Wenn die Bewertungen um mehr als einen Punkt voneinander abweichen, sollte geklärt werden, ob die Referenzformulierung mehrdeutig war oder ob die Beurteiler unterschiedliche Aspekte wahrgenommen haben. Die Referenzformulierung muss überarbeitet werden.
- Wiederholen Sie den Vorgang an einem zweiten Beispiel. Die Meinungsverschiedenheiten sollten dann beendet werden, wenn es um Urteilsvermögen und nicht um Wortwahl geht.
Googles Leitfaden kombiniert Schulungen für Interviewer mit Kalibrierung, um einheitliche und sichere Beurteilungen zu gewährleisten – ganz nach dem gleichen Prinzip. Bitten Sie einen Spezialisten, beispielsweise einen Entwicklungsleiter aus einem benachbarten Team, den Fall und die Ankerpunkte zu überprüfen, und bitten Sie Ihr Personalteam, den Prozess auf Fairness und Einhaltung der rechtlichen Bestimmungen in Ihren Einstellungsregionen zu prüfen.
5. Arbeiten Sie ein realistisches Beispiel durch.
Zur Veranschaulichung. Ein erfahrener Ingenieur sollte den Anwendungsfall und die Antwortkriterien vor der Verwendung prüfen.
Der Fall. Die Kandidaten entwerfen einen Benachrichtigungsdienst für eine Liefer-App: Kunden erhalten Updates, wenn sich der Status einer Bestellung ändert. Der Umfang wird lediglich als „einige Millionen Bestellungen pro Tag, hauptsächlich zu den Essenszeiten“ beschrieben.
Ein erster Versuch. „Ich würde eine Nachrichtenwarteschlange zwischen dem Bestellservice und einem Benachrichtigungs-Worker schalten, jedes Ereignis in einer Datenbank speichern und Push-Benachrichtigungen versenden.“ Die Struktur ist sinnvoll, aber der Kandidat hat nicht gefragt, welche Kanäle benötigt werden, was passiert, wenn eine Benachrichtigung verspätet oder doppelt gesendet wird, oder wie sich die Spitzenlast auf die Warteschlange auswirkt.
Feedback des Interviewers und erneuter Versuch. Der Interviewer fragt: „Was ist schlimmer: eine verspätete oder eine doppelte Benachrichtigung?“ Interviewer sollten für jedes Kriterium ein standardisiertes Folgeverfahren haben, damit jeder Kandidat die gleiche Chance erhält, seine Fähigkeiten unter Beweis zu stellen.
Ein verstärkter Versuch. „Bei Push-Benachrichtigungen ist ein Duplikat problematisch, da die Nutzer das Vertrauen in die App verlieren würden. Daher würde ich den Versand idempotent gestalten und einen Bestell- und Statusschlüssel verwenden. Bei SMS würde ich gelegentliche Duplikate akzeptieren, da die Kosten hier eine größere Rolle spielen. Spitzenlasten zu den Mahlzeiten bedeuten, dass die Warteschlange Lastspitzen abfangen und die Anzahl der Mitarbeiter entsprechend der Warteschlangenlänge skaliert werden sollte. Ich bin mir nicht sicher, wie verbindlich die Zusage der Lieferzeit ist. Daher würde ich den Produktverantwortlichen konsultieren, bevor ich zwischen einer einfachen Wiederholungsrichtlinie und einer Prioritätsspur für zeitkritische Aktualisierungen entscheide.“
Bewertung. Gemäß der Bewertungsmatrix erhält diese Antwort 2 Punkte für die Abwägung von Alternativen (zwei Optionen, Kosten, Begründung), 2 Punkte für die Problemformulierung (Annahmen werden genannt, eine Frage gestellt) und 1 Punkt für den Umgang mit Änderungen, bis der Interviewer eine Einschränkung hinzufügt. Beachten Sie, dass der Interviewer die Beweislage bewertet und nicht den Entwurf des Kandidaten mit seinem eigenen bevorzugten Entwurf vergleicht.
Wo interaktive Bereitstellung hilft
Die hier vermittelte Kompetenz ist für Interviewer gedacht und eignet sich hervorragend für interaktives Üben. In einer Live-Kalibrierungssitzung zeigen Sie das Beispieldesign, bitten jeden Beurteiler, jedes Kriterium einzeln zu bewerten, und präsentieren die Streuung vor der Diskussion. So legen sich die Teilnehmenden auf eine Bewertung fest, bevor die lauteste Stimme im Raum gehört wird. Die Uneinigkeiten zeigen die Punkte auf, die überarbeitet werden müssen. Dasselbe Beispiel und die gleiche Bewertungsmatrix können für neue Interviewer, die später dazukommen, im Selbststudium genutzt werden. Unklare Fälle können anschließend in einer Live-Sitzung besprochen werden. AhaSlides unterstützt interaktives Lernen und den Wechsel zwischen Live- und Selbststudium. Es handelt sich um ein Präsentations- und Lerntool, nicht um eine Interviewplattform oder ein Bewerbermanagementsystem. Verwenden Sie daher Ihre eigenen Recruiting-Tools für echte Kandidatendaten. Überprüfen Sie alle Funktionen zur Erstellung, zum Feedback und zur Berichterstellung, die Sie nutzen möchten, anhand Ihres eigenen Workflows. Hinweise zur Formatwahl finden Sie in unserem Leitfaden „ Wann adaptives, interaktives und Live-Lernen sinnvoll ist“. Informationen zur Feedbackgestaltung finden Sie unter „ Interaktives Üben mit hilfreichem Feedback gestalten“.
Messen Sie, was sich verändert hat
Legen Sie im Vorfeld fest, woran Sie erkennen können, dass die Bewertungsmatrix funktioniert. Zwei Kriterien sind hierfür geeignet. Erstens: Übereinstimmung: Liegen die Ergebnisse unabhängiger Interviewer nach der Kalibrierung bei demselben aufgezeichneten oder schriftlichen Entwurf näher beieinander als zuvor? Definieren Sie die Einschlusskriterien, den Nenner und den Zeitpunkt der Kalibrierung. Zweitens: Relevanz: Spiegeln die Ergebnisse nach einigen Monaten die Leistung neuer Mitarbeiter in Design-Reviews wider? Bei einer geringen Anzahl von Neueinstellungen ist dies nur ein grober Indikator. Betrachten Sie ihn daher als Anlass, die Bewertungsmatrix zu überprüfen, nicht als Beweis. Verbessern sich die Ergebnisse, prüfen Sie, welche anderen Änderungen gleichzeitig vorgenommen wurden, z. B. eine neue Stellenbeschreibung oder ein anderer Rekrutierungskanal, bevor Sie die Bewertungsmatrix als wirksam einstufen.
Einschränkungen, die möglicherweise bestehen bleiben
- Repräsentativität. Eine Problemstellung repräsentiert einen Teil der Arbeit. Ergänzen Sie sie mit anderen Belegen, wie beispielsweise einer Arbeitsprobe oder einem strukturierten Gespräch über frühere Entscheidungen.
- Gerechtigkeit. Ein Beurteilungsraster reduziert zwar die Streuung, beseitigt aber nicht automatisch Verzerrungen. Überprüfen Sie den Fall und die Bezugspunkte auf Annahmen zum Hintergrund und vergleichen Sie die Ergebnisse gruppenübergreifend mit Ihrem Team.
- Interviewzeit. Die Kalibrierung dauert Stunden. Ohne sie ist die Rubrik nur eine längere Version.
- Rollenklarheit. Wenn sich das Team nicht darüber einig ist, was „Senior“ bedeutet, kann auch keine Rubrik das klären.
- Rechtlicher Kontext. Die Beurteilung von Bewerbern ist je nach Region unterschiedlich geregelt. Prüfen Sie die lokalen Bestimmungen, bevor Sie einen Prozess ändern.
Häufig gestellte Fragen
Was sollte ein Bewertungsraster für ein Systemdesign-Interview beinhalten?
Drei bis fünf Kriterien wie Problemformulierung, Abwägung von Alternativen, Tiefe, Umgang mit Veränderungen und Kommunikation, jeweils eine verankerte Punktzahl von 0 bis 2 und eine separate Liste kritischer Fehler.
Wie kann man verhindern, dass Interviewer aufgrund ihres Selbstvertrauens Punkte sammeln?
Lassen Sie die Schüler die beobachtbaren Belege für jedes Kriterium schriftlich festhalten, bevor sie eine Punktzahl vergeben, und verankern Sie jede Punktzahl an einem Verhalten, wie zum Beispiel „vergleicht zwei Optionen und gibt die Kosten der nicht gewählten Option an“.
Wie lange sollte ein Interview zum Thema Systemdesign dauern?
Vorstellungsgespräche sind oft auf etwa eine Stunde angesetzt, die optimale Dauer ist jedoch jene, in der ein Kandidat jedes Kriterium Ihrer Bewertungsmatrix erfüllen kann. Testen Sie dies am besten mit einem Pilotgespräch.
Kann ein Beurteilungsraster die Einstellung objektivieren?
Das macht das Verfahren einheitlicher und einfacher zu prüfen, aber Ermessen bleibt bestehen. Ziel ist es, dass die Interviewer aus denselben Gründen übereinstimmen, nicht, die Beteiligten von der Entscheidung auszuschließen.
Wo soll ich anfangen
Wählen Sie eine offene Stelle aus und formulieren Sie eine Leistungsbeschreibung in einem Satz. Erstellen Sie drei Kriterien mit Ankerpunkten und eine kurze Liste kritischer Fehler. Lassen Sie anschließend einen erfahrenen Ingenieur Ihren Fall selbstständig bearbeiten. Führen Sie eine Kalibrierungssitzung mit den Interviewern durch, überarbeiten Sie die Ankerpunkte, die zu Unstimmigkeiten geführt haben, und testen Sie die Bewertungsmatrix anhand einiger weniger realer Interviews, bevor Sie sie flächendeckend einsetzen.
Um zu sehen, wie eine Kalibrierungssitzung live mit Ihren eigenen Interviewern durchgeführt und anschließend im eigenen Tempo wiederverwendet werden kann, erkunden Sie AhaSlides.
