भर्ती के दौरान वरिष्ठ इंजीनियरिंग उम्मीदवारों का उच्च-स्तरीय सिस्टम आर्किटेक्चर डिजाइन के आधार पर वस्तुनिष्ठ मूल्यांकन कैसे करें

दो उम्मीदवारों को एक ही निर्देश दिया जाता है: एक ऐसी सेवा डिज़ाइन करें जिससे उपयोगकर्ता छोटे वीडियो क्लिप साझा कर सकें। पहला उम्मीदवार दस मिनट में एक साफ़-सुथरा आरेख बना लेता है, सभी लोकप्रिय घटकों के नाम बताता है और पूरे आत्मविश्वास के साथ बोलता है। दूसरा उम्मीदवार धीमी गति से शुरू करता है, पूछता है कि उपयोगकर्ता कौन हैं, बताता है कि उसे किस हिस्से के बारे में संदेह है और भंडारण के लिए एक अलग विकल्प चुनता है, जिसका स्पष्ट कारण भी बताता है। साक्षात्कारकर्ता A पहले उम्मीदवार को "मजबूत" रेटिंग देता है। साक्षात्कारकर्ता B, जो उसी सत्र में उपस्थित था, दूसरे उम्मीदवार को भी "मजबूत" रेटिंग देता है। उनके नोट्स लगभग एक जैसे ही हैं।

यह एक उदाहरण मात्र है, भर्ती प्रक्रिया का कोई दस्तावेजी प्रमाण नहीं। यह इतना आम है कि अधिकांश इंजीनियरिंग टीमें इसे पहचान लेंगी। दोनों डिज़ाइन तर्कसंगत थे। अंतर केवल इस बात में था कि प्रत्येक साक्षात्कारकर्ता किस आधार पर मूल्यांकन कर रहा था: बोलने की दक्षता, गति, अपनी पसंदीदा आर्किटेक्चर से परिचित होना, या तर्क की गुणवत्ता। यह मार्गदर्शिका उन इंजीनियरिंग प्रबंधकों और इंजीनियरिंग सक्षमीकरण प्रमुखों के लिए है जिन्हें एक ऐसे सिस्टम डिज़ाइन साक्षात्कार मानदंड की आवश्यकता है जो वरिष्ठ उम्मीदवारों को समान साक्ष्यों के आधार पर अंक दे, ताकि दो साक्षात्कारकर्ता समान कारणों से एक ही निष्कर्ष पर पहुँच सकें। नीचे दिए गए प्रत्येक मानदंड को किसी वरिष्ठ इंजीनियर द्वारा सत्यापित किया जाना चाहिए और वास्तविक भर्ती निर्णय में उपयोग करने से पहले उसकी निष्पक्षता की समीक्षा की जानी चाहिए।

सिस्टम डिजाइन इंटरव्यू रूब्रिक क्या है?

सिस्टम डिज़ाइन साक्षात्कार रूब्रिक एक स्कोरिंग गाइड है जो यह बताता है कि आप क्या देखना चाहते हैं, प्रत्येक स्कोर का अवलोकन योग्य व्यवहार में क्या अर्थ है, और किन गलतियों को अन्य खूबियों से दूर नहीं किया जा सकता है। यह प्रश्न के बगल में होता है, ताकि प्रत्येक साक्षात्कारकर्ता समान मानदंडों के आधार पर साक्ष्य एकत्र कर सके। संरचित साक्षात्कार के लिए Google की गाइड इन स्कोरिंग टूल्स को "रूब्रिक्स" कहती है और बताती है कि शोधकर्ता इन्हें "व्यवहार-आधारित रेटिंग स्केल" कहते हैं। इसमें बताया गया है कि संरचित साक्षात्कारों से उच्चतर पूर्वानुमान वैधता प्राप्त होती है और जनसांख्यिकीय समूहों के बीच अंतर कम होता है, और पूर्व-निर्मित प्रश्न, गाइड और रूब्रिक्स प्रति साक्षात्कार औसतन 40 मिनट बचाते हैं। आप Google re:Work: A guide to structured interviewing में पूरा मार्गदर्शन पढ़ सकते हैं ।

सार्वजनिक उदाहरण आसानी से मिल जाते हैं, और उनमें से अधिकतर उम्मीदवारों के लिए लिखे गए हैं। यह मार्गदर्शिका दूसरे पक्ष के लिए है।

त्वरित तथ्य

1. आप जिस प्रदर्शन का मूल्यांकन कर रहे हैं, उसे परिभाषित करें।

विषय से नहीं, काम से शुरुआत करें। एक वरिष्ठ इंजीनियर के लिए, प्रासंगिक कार्य आमतौर पर यह होता है: किसी अस्पष्ट समस्या को देखते हुए, आर्किटेक्चरल निर्णय लेना और उनका बचाव करना, और यह बताना कि उनमें क्या बदलाव होंगे। इसे एक वाक्य में लिखें, और भूमिका, स्तर और उस संदर्भ को स्पष्ट करें जिसमें व्यक्ति काम करेगा। एक भुगतान कंपनी में वरिष्ठ बैकएंड भूमिका का स्तर एक मीडिया कंपनी में वरिष्ठ प्लेटफॉर्म भूमिका से अलग होता है।

साथ ही, यह भी लिखें कि आप किन चीजों का मूल्यांकन नहीं कर रहे हैं। टाइपिंग की गति, किसी विशेष क्लाउड वेंडर से परिचित होना और साझा व्हाइटबोर्ड पर साफ-सुथरा चित्र बनाने की क्षमता, ये कुछ ऐसे सामान्य मानदंड हैं जिनका मूल्यांकन अनजाने में हो जाता है। यदि ये कार्य का हिस्सा नहीं हैं, तो इनसे अंक पर कोई प्रभाव नहीं पड़ना चाहिए।

2. एक प्रतिनिधि, अपरिचित कार्य चुनें

ऐसा प्रश्न चुनें जो वास्तविक कार्य का नमूना हो और जिसे उम्मीदवारों ने रटा न हो। एक जाना-माना प्रश्न ("यूआरएल शॉर्टनर डिज़ाइन करें") अभ्यास को बढ़ावा देता है। अपने क्षेत्र से संबंधित कोई प्रश्न चुनें जिसमें संवेदनशील विवरण हटा दिए गए हों, और किसी वरिष्ठ इंजीनियर से उसे स्वतंत्र रूप से हल करने के लिए कहें ताकि आपको संभावित उत्तरों की एक उचित सीमा का पता चल सके।

यह स्वीकार करें कि 45 मिनट की एक समस्या वरिष्ठ इंजीनियर के काम का केवल एक हिस्सा दर्शाती है। यह दिखा सकती है कि कोई व्यक्ति अस्पष्टता, बाधाओं और समझौतों को कैसे संभालता है। यह नहीं दिखा सकती कि वे कैसे मार्गदर्शन करते हैं, महीनों तक चलने वाले माइग्रेशन को कैसे संचालित करते हैं या किसी लंबी घटना को कैसे संभालते हैं। अपनी भर्ती प्रक्रिया के दस्तावेज़ में यह बात स्पष्ट रूप से लिखें ताकि कोई भी स्कोर को ज़रूरत से ज़्यादा न समझे।

3. अवलोकन योग्य मानदंड और आधार लिखें

ऐसे साक्ष्यों के आधार पर मानदंड बनाएं जिन्हें लिखित रूप में प्रस्तुत किया जा सके। वरिष्ठ स्तर के सिस्टम डिज़ाइन राउंड के लिए एक संक्षिप्त, व्यावहारिक मानदंड इस प्रकार है:

प्रत्येक मानदंड को 0 से 2 तक अंक दें: 0 का अर्थ है अनुपस्थित या असमर्थित, 1 का अर्थ है प्रासंगिक कमियों के साथ आंशिक, और 2 का अर्थ है पूर्ण और सहमत मानदंडों के अनुसार उचित। अंक से अधिक महत्वपूर्ण हैं आधार बिंदु। उदाहरण के लिए, ट्रेड-ऑफ तर्क के लिए, 0 का अर्थ है "किसी तकनीक का नाम तो देना लेकिन कारण नहीं बताना", 1 का अर्थ है "कारण बताना लेकिन विकल्प की लागत नहीं बताना", और 2 का अर्थ है "उपलब्ध बाधाओं के आधार पर विकल्पों की तुलना करना और यह बताना कि उन्हें क्या छोड़ना होगा"।

गंभीर त्रुटियों को अलग से परिभाषित करें, जैसे कि साक्षात्कारकर्ता द्वारा बताए गए डेटा-सुरक्षा संबंधी नियम की अनदेखी करना या ऐसा डिज़ाइन प्रस्तावित करना जो किसी निर्धारित शर्त को पूरा न कर सके। औसत स्कोर में कभी भी गंभीर त्रुटि को छिपाया नहीं जाना चाहिए। आत्मविश्वास या गति के आधार पर अंक न दें; शांत स्वभाव वाले और सावधानीपूर्वक तर्क करने वाले उम्मीदवार को शैली के लिए दंडित नहीं किया जाना चाहिए। निर्णय क्षमता और समस्या-समाधान के आकलन के लिए हमारी मार्गदर्शिका में तर्क संबंधी कार्यों के लिए मानदंड लिखने का तरीका बताया गया है।

4. मूल्यांकनकर्ताओं का अंशांकन करें और एक पायलट प्रोजेक्ट चलाएं।

एक ऐसा मानदंड जिसे दो लोग अलग-अलग तरीके से पढ़ते हैं, वह अभी तक मानदंड नहीं है। इसे लाइव उपयोग करने से पहले:

1. एक उदाहरण चुनें। भर्ती प्रक्रिया में शामिल न होने वाले किसी सहकर्मी द्वारा तैयार किया गया लिखित डिजाइन या उस व्यक्ति की सहमति से तैयार की गई नकली साक्षात्कार की रिकॉर्डिंग का उपयोग करें।
2. स्कोर स्वतंत्र रूप से दें। प्रत्येक मूल्यांकनकर्ता किसी और के अंक देखने से पहले प्रत्येक मानदंड के लिए साक्ष्य लिखता है।
3. सबूतों की तुलना करें। यदि अंकों में एक अंक से अधिक का अंतर हो, तो पता लगाएं कि एंकर अस्पष्ट था या मूल्यांकनकर्ताओं ने अलग-अलग बातें देखीं। एंकर को पुनः लिखें।
4. दूसरे उदाहरण पर भी यही प्रक्रिया दोहराएं। जब असहमति शब्दों के चयन को लेकर नहीं बल्कि निर्णय को लेकर हो, तो रुक जाएं।

गूगल की गाइड साक्षात्कारकर्ताओं के प्रशिक्षण को कैलिब्रेशन के साथ जोड़ती है ताकि साक्षात्कारकर्ता अपने आकलन में सुसंगत और आत्मविश्वासपूर्ण रहें, जो कि एक ही विचार है। किसी विशेषज्ञ, जैसे कि पड़ोसी टीम के इंजीनियरिंग मैनेजर, से केस और एंकर की समीक्षा करने के लिए कहें, और अपनी मानव संसाधन टीम से अपने भर्ती क्षेत्रों में निष्पक्षता और कानूनी आवश्यकताओं के लिए प्रक्रिया की समीक्षा करने के लिए कहें।

5. एक वास्तविक उदाहरण के माध्यम से काम करें

यह केवल उदाहरण के लिए है। उपयोग करने से पहले एक वरिष्ठ इंजीनियर को मामले की पुष्टि करनी चाहिए और मानदंडों का उत्तर देना चाहिए।

मामला यह है कि उम्मीदवार एक डिलीवरी ऐप के लिए एक नोटिफिकेशन सेवा डिजाइन करते हैं: ग्राहकों को ऑर्डर की स्थिति में बदलाव होने पर अपडेट मिलते हैं। पैमाने का वर्णन केवल "प्रति दिन कुछ मिलियन ऑर्डर, ज्यादातर भोजन के समय" के रूप में किया गया है।

पहला प्रयास। "मैं ऑर्डर सेवा और नोटिफिकेशन वर्कर के बीच एक मैसेज क्यू लगाऊंगा, हर इवेंट को डेटाबेस में स्टोर करूंगा और पुश नोटिफिकेशन भेजूंगा।" संरचना तर्कसंगत है, लेकिन उम्मीदवार ने यह नहीं पूछा कि किन चैनलों की आवश्यकता है, यदि कोई नोटिफिकेशन देर से आता है या दो बार भेजा जाता है तो क्या होता है, या पीक लोड का क्यू पर क्या प्रभाव पड़ता है।

साक्षात्कारकर्ता की प्रतिक्रिया और पुनः प्रयास। साक्षात्कारकर्ता पूछता है, "यहाँ क्या बुरा है: देर से सूचना मिलना या एक ही सूचना का दो बार मिलना?" साक्षात्कारकर्ताओं को प्रत्येक मानदंड के लिए एक मानक अनुवर्ती प्रक्रिया अपनानी चाहिए, ताकि प्रत्येक उम्मीदवार को कौशल दिखाने का समान अवसर मिले।

एक और बेहतर प्रयास। "पुश मैसेज के लिए डुप्लीकेट मैसेज खराब होते हैं, क्योंकि लोग ऐप पर भरोसा करना बंद कर देंगे, इसलिए मैं ऑर्डर और स्टेटस कुंजी के साथ भेजने को आइडम्पोटेंट बनाऊंगा। एसएमएस के लिए मैं कभी-कभार डुप्लीकेट मैसेज स्वीकार करूंगा क्योंकि लागत ज्यादा मायने रखती है। खाने के समय पीक लोड का मतलब है कि क्यू को अचानक आने वाले मैसेज को संभालना चाहिए और कर्मचारियों को क्यू की गहराई के अनुसार काम करना चाहिए। मुझे डिलीवरी-टाइम प्रॉमिस की सख्ती के बारे में पक्का पता नहीं है, इसलिए मैं साधारण रीट्राय पॉलिसी और समय-संवेदनशील अपडेट के लिए प्रायोरिटी लेन में से किसी एक को चुनने से पहले प्रोडक्ट ओनर से पूछूंगा।"

अंक निर्धारण। निर्धारित मानदंड के अनुसार, इस उत्तर को ट्रेड-ऑफ तर्क (दो विकल्प, लागत, एक कारण) पर 2 अंक, समस्या निर्माण (मान्यताओं का उल्लेख, प्रश्न पूछना) पर 2 अंक और साक्षात्कारकर्ता द्वारा कोई बाधा जोड़ने तक परिवर्तन को संभालने पर 1 अंक प्राप्त होता है। ध्यान दें कि साक्षात्कारकर्ता साक्ष्य का मूल्यांकन कर रहा है, न कि उम्मीदवार के डिज़ाइन को अपने पसंदीदा डिज़ाइन से मिलाने का।

जहां इंटरैक्टिव डिलीवरी मददगार होती है

यहां आप जो कौशल विकसित कर रहे हैं, वह साक्षात्कारकर्ताओं के लिए है, और इंटरैक्टिव अभ्यास इसके लिए उपयुक्त है। एक लाइव कैलिब्रेशन सत्र में, उदाहरण डिज़ाइन दिखाएं, प्रत्येक मूल्यांकनकर्ता से प्रत्येक मानदंड को निजी तौर पर स्कोर करने के लिए कहें, और चर्चा से पहले स्कोर का दायरा प्रकट करें। लोग कमरे में सबसे तेज़ आवाज़ सुनने से पहले ही स्कोर तय कर लेते हैं, और असहमति उन बिंदुओं की ओर इशारा करती है जिन्हें फिर से लिखने की आवश्यकता है। बाद में शामिल होने वाले नए साक्षात्कारकर्ताओं के लिए उसी उदाहरण और रूब्रिक को स्व-गति से चलाया जा सकता है, जिसमें अस्पष्ट मामलों पर चर्चा के लिए एक लाइव सत्र शामिल है। AhaSlides इंटरैक्टिव लर्निंग और लाइव और स्व-गति से डिलीवरी के बीच स्विच करने की सुविधा प्रदान करता है। यह एक प्रस्तुति और सीखने का उपकरण है, न कि साक्षात्कार मंच या आवेदक ट्रैकिंग सिस्टम, इसलिए अपने भर्ती उपकरणों में वास्तविक उम्मीदवार डेटा रखें। किसी भी विशिष्ट लेखन, प्रतिक्रिया या रिपोर्टिंग फ़ंक्शन की जांच करें जिस पर आप अपने स्वयं के वर्कफ़्लो के अनुसार निर्भर रहने की योजना बना रहे हैं। प्रारूप चुनने में सहायता के लिए, अनुकूली, इंटरैक्टिव और लाइव लर्निंग का उपयोग कब करें , इस बारे में हमारी मार्गदर्शिका देखें, और प्रतिक्रिया डिज़ाइन के लिए उपयोगी प्रतिक्रिया के साथ इंटरैक्टिव अभ्यास डिज़ाइन करना देखें ।

जो परिवर्तन हुआ उसे मापें

पहले से ही तय कर लें कि मूल्यांकन मानदंड के कारगर होने के क्या प्रमाण होंगे। दो उपाय व्यावहारिक हैं। पहला, सहमति: क्या एक ही रिकॉर्ड किए गए या लिखित डिज़ाइन पर, स्वतंत्र साक्षात्कारकर्ता अंशांकन के बाद पहले की तुलना में अधिक समान निष्कर्ष पर पहुँचते हैं? इसमें शामिल लोगों, हर का निर्धारण करने वाले कारकों और समय को परिभाषित करें। दूसरा, प्रासंगिकता: कुछ महीनों बाद, क्या अंक नए कर्मचारियों के डिज़ाइन समीक्षाओं में प्रदर्शन से संबंधित हैं? कम संख्या में कर्मचारियों के मामले में यह केवल एक मोटा-मोटा संकेत होगा, इसलिए इसे मूल्यांकन मानदंड की समीक्षा करने के लिए एक संकेत के रूप में लें, न कि प्रमाण के रूप में। यदि परिणाम बेहतर होते हैं, तो मूल्यांकन मानदंड को अंतिम रूप देने से पहले यह जांच लें कि उसी समय और क्या परिवर्तन हुए, जैसे कि नई भूमिका की परिभाषा या अलग स्रोत चैनल।

वे बाधाएं जो बनी रह सकती हैं

• प्रतिनिधित्व। एक समस्या नौकरी के एक हिस्से का नमूना प्रस्तुत करती है। इसे अन्य साक्ष्यों जैसे कि कार्य का नमूना या पिछले निर्णयों के बारे में एक संरचित बातचीत के साथ प्रस्तुत करें।
• निष्पक्षता। मूल्यांकन मानदंड भिन्नता को कम करता है, लेकिन यह अपने आप में पूर्वाग्रह को दूर नहीं करता है। पृष्ठभूमि के बारे में धारणाओं के लिए मामले और आधारों की समीक्षा करें, और अपनी मानव संसाधन टीम के साथ विभिन्न समूहों में परिणामों की जाँच करें।
• साक्षात्कारकर्ता का समय। अंशांकन में घंटों लग जाते हैं। इसके बिना, मूल्यांकन मानदंड केवल एक लंबा प्रपत्र बनकर रह जाता है।
• भूमिका स्पष्ट होनी चाहिए। यदि टीम इस बात पर सहमत नहीं है कि "वरिष्ठ" का क्या अर्थ है, तो कोई भी मानदंड इसे हल नहीं कर पाएगा।
• कानूनी संदर्भ। भर्ती मूल्यांकन के नियम अलग-अलग स्थानों पर अलग-अलग होते हैं। प्रक्रिया में बदलाव करने से पहले स्थानीय आवश्यकताओं की जांच कर लें।

ज़्यादातर पूछे जाने वाले सवाल

सिस्टम डिजाइन इंटरव्यू के मूल्यांकन मानदंड में क्या-क्या शामिल होना चाहिए?

समस्या का निरूपण, समझौता तर्क, गहराई, परिवर्तन से निपटना और संचार जैसे तीन से पांच मानदंड, प्रत्येक के लिए 0 से 2 का एक निर्धारित स्कोर, और गंभीर त्रुटियों की एक अलग सूची।

आप इंटरव्यू लेने वालों को आत्मविश्वास के आधार पर अंक देने से कैसे रोक सकते हैं?

उन्हें अंक देने से पहले प्रत्येक मानदंड के लिए प्रत्यक्ष साक्ष्य लिखने के लिए कहें, और प्रत्येक अंक को व्यवहार से जोड़ें, जैसे कि "दो विकल्पों की तुलना करता है और न चुने गए विकल्प की लागत बताता है"।

सिस्टम डिजाइन इंटरव्यू कितने समय का होना चाहिए?

साक्षात्कार आमतौर पर लगभग एक घंटे के लिए निर्धारित किए जाते हैं, लेकिन सही समय वह है जो उम्मीदवार को आपके मूल्यांकन मानदंडों के अनुसार हर एक को प्रदर्शित करने की अनुमति देता है। एक प्रायोगिक परीक्षण करके देखें।

क्या मूल्यांकन मानदंड भर्ती प्रक्रिया को वस्तुनिष्ठ बना सकता है?

इससे प्रक्रिया अधिक सुसंगत और ऑडिट करना आसान हो जाता है, लेकिन निर्णय लेने की प्रक्रिया वही रहती है। इसका उद्देश्य साक्षात्कारकर्ताओं को समान कारणों से सहमत कराना है, न कि निर्णय प्रक्रिया से लोगों को हटाना।

कहा से शुरुवात करे

किसी एक रिक्त पद का चयन करें और उस पर एक वाक्य में प्रदर्शन विवरण लिखें। तीन मानदंड तैयार करें, जिनमें मुख्य बिंदु और त्रुटियों की एक संक्षिप्त सूची शामिल हो। फिर किसी वरिष्ठ इंजीनियर से अपने मामले का स्वतंत्र रूप से समाधान करवाएं। साक्षात्कारकर्ताओं के साथ एक कैलिब्रेशन सत्र आयोजित करें, असहमति पैदा करने वाले मुख्य बिंदुओं को पुनः लिखें और व्यापक रूप से उपयोग करने से पहले कुछ वास्तविक साक्षात्कारों पर इस मानदंड का परीक्षण करें।

यह देखने के लिए कि कैलिब्रेशन सेशन आपके अपने इंटरव्यू लेने वालों के साथ लाइव कैसे चलाया जा सकता है, और बाद में इसे अपनी गति से कैसे दोबारा इस्तेमाल किया जा सकता है, AhaSlides को एक्सप्लोर करें।