जोखिम प्रशिक्षण अभ्यासों का मॉडल तैयार करना: विश्लेषकों को मान्यताओं को चुनौती देना सिखाने वाली तनाव-परीक्षण प्रयोगशालाओं को कैसे डिजाइन किया जाए

एक क्रेडिट जोखिम मॉडल ने तीन वर्षों तक अच्छा प्रदर्शन किया है। इसका बैक-टेस्ट बिल्कुल सटीक है, इसके परिणाम निर्धारित सीमा के भीतर हैं और व्यवसाय को इस पर पूरा भरोसा है। एक प्रशिक्षण प्रयोगशाला में, एक विश्लेषक ने एक स्वीकृत इनपुट अनुमान, यानी एक विशेष प्रकार के ऋणों पर अपेक्षित वसूली दर, को कम विश्वसनीय मान में बदल दिया। मुख्य परिणाम में मामूली बदलाव आया। लेकिन दो खंडों में काफी बदलाव हुआ। विश्लेषक को यह तय करना है कि इसका क्या अर्थ है, मॉडल के मालिक को क्या बताना है और मॉडल का उपयोग किन उद्देश्यों के लिए नहीं किया जाना चाहिए।

यह एक उदाहरण मात्र है, किसी प्रमाणित ग्राहक का मामला नहीं। यह दर्शाता है कि मॉडल जोखिम प्रशिक्षण अभ्यासों में किन कौशलों का विकास होना आवश्यक है: मान्यताओं का परीक्षण करना, सीमाओं को स्पष्ट करना और मॉडल के स्थिर दिखने पर निर्णय को उचित ठहराना। यह मार्गदर्शिका जोखिम प्रशिक्षण प्रमुखों और अनुपालन एवं मॉडल जोखिम प्रमुखों के लिए है, जिनके पास सभी प्रश्नों के उत्तर देने की ज़िम्मेदारी है। इसमें केवल प्रशिक्षण डिज़ाइन को शामिल किया गया है। प्रशिक्षण अभ्यास किसी वास्तविक वित्तीय मॉडल का सत्यापन नहीं करता है, और उपयोग से पहले प्रत्येक मामले की समीक्षा एक मॉडल जोखिम विशेषज्ञ द्वारा की जानी चाहिए।

मॉडल रिस्क ट्रेनिंग एक्सरसाइज क्या हैं?

मॉडल जोखिम प्रशिक्षण अभ्यास संरचित अभ्यास कार्य होते हैं जिनमें विश्लेषक किसी मॉडल (आमतौर पर सरलीकृत या कृत्रिम मॉडल) की जांच करते हैं, मान्यताओं और इनपुट को बदलते हैं, फिर परिणामों की व्याख्या करते हैं और मॉडल की क्षमताओं की सीमा बताते हैं। स्ट्रेस-टेस्टिंग लैब इसका व्यावहारिक रूप है: एक सुरक्षित मॉडल, स्वीकृत परिवर्तनों का एक समूह और निष्कर्षों को सही ठहराने की आवश्यकता।

त्वरित तथ्य

1. प्रदर्शन संबंधी समस्या का वर्णन करें।

निर्णय से शुरू करें। जब कोई मॉडल सही प्रतीत होता है, तो एक विश्लेषक को क्या करना चाहिए? इसे एक क्रिया-प्रधान वाक्य में लिखें: "एक स्वीकृत धारणा को बदलें, देखें कि क्या परिवर्तन होता है, इससे उजागर होने वाली सीमा को स्पष्ट करें और बताएं कि मॉडल का उपयोग किस लिए किया जाना चाहिए और किस लिए नहीं किया जाना चाहिए।"

पर्यवेक्षकों ने इस कौशल का नाम रखा है। अमेरिकी फेडरल रिजर्व और मुद्रा नियंत्रक कार्यालय ने इसे जारी किया है। एसआर 11-7, मॉडल जोखिम प्रबंधन पर पर्यवेक्षी मार्गदर्शन4 अप्रैल 2011 को जारी एक दिशानिर्देश में मॉडल जोखिम को गलत या दुरुपयोग किए गए मॉडल आउटपुट पर आधारित निर्णयों से उत्पन्न होने वाले प्रतिकूल परिणामों की संभावना के रूप में वर्णित किया गया है, और "प्रभावी चुनौती" को एक मार्गदर्शक सिद्धांत बताया गया है: वस्तुनिष्ठ, जानकार पक्षों द्वारा गहन विश्लेषण जो मॉडल की सीमाओं और मान्यताओं की पहचान कर सकें और उचित परिवर्तन कर सकें। यह अमेरिकी दिशानिर्देश है, हर क्षेत्राधिकार के लिए नियम नहीं है, इसलिए अपने क्षेत्र पर लागू होने वाली आवश्यकताओं की जांच अवश्य करें। यह प्रशिक्षण के माध्यम से विकसित होने वाले प्रदर्शन का सटीक वर्णन है।

2. सीखने और संदर्भ संबंधी कमियों का निदान करें

वर्तमान प्रशिक्षण पद्धतियों और मूल्यांकन के आधार पर इस भूमिका की आवश्यकताओं की तुलना करें।

1. विश्लेषक आजकल क्या अभ्यास करते हैं? यदि प्रशिक्षण में मॉडल गवर्नेंस पर व्याख्यान और दस्तावेज़ीकरण चेकलिस्ट शामिल है, तो उन्होंने शब्दावली तो सीख ली है, लेकिन जानबूझकर मॉडल को तोड़ने का अभ्यास नहीं किया है।
2. संज्ञानात्मक आवश्यकता क्या है? ब्लूम के संशोधित वर्गीकरण में, परीक्षण चलाना अनुप्रयोग है, मॉडल की विफलता के कारणों की व्याख्या करना विश्लेषण है, मॉडल किसी उपयोग के लिए उपयुक्त है या नहीं, इसका निर्णय करना मूल्यांकन है, और एक नया स्ट्रेस टेस्ट डिज़ाइन करना सृजन है। हमारी मार्गदर्शिका ब्लूम के वर्गीकरण के अनुसार अधिगम गतिविधियों का मिलान करना यह बताता है कि इन मांगों को कैसे पढ़ा जाए।
3. क्या कौशल के अलावा कोई और चीज बाधा बन रही है? सबसे पहले कर्मचारियों, उपकरणों और प्रक्रियाओं की जाँच करें। यदि विश्लेषकों के पास सवाल उठाने का समय नहीं है, मॉडल की मान्यताओं तक उनकी पहुँच नहीं है या किसी सीमा को उठाने का कोई रास्ता नहीं है, तो प्रयोगशाला सोमवार को होने वाली प्रक्रिया में कोई बदलाव नहीं ला पाएगी।
4. क्या चुनौतियों का स्वागत है? यदि किसी मॉडल को चुनौती देने का अर्थ उसके मालिक की आलोचना करना है, तो लोग चुप रहेंगे। प्रशिक्षण शुरू करने से पहले यह तय कर लें कि चुनौती को कैसे लिया जाएगा।

3. उद्देश्यपूर्ण तैयारी और अभ्यास की योजना बनाएं

प्रत्येक चरण को उसका अपना कार्य सौंपें।

तैयारी: आवश्यक शर्तें जांच लें। मॉडल के उद्देश्य, इसके मुख्य इनपुट और प्रयोगशाला के लिए आवश्यक सांख्यिकीय अवधारणाओं पर एक संक्षिप्त स्व-संचालित नैदानिक ​​परीक्षण। इस प्रकार की पुनरावलोकन जांच केवल पूर्वापेक्षाओं की पुष्टि करती है। इसे क्षमता के रूप में रिपोर्ट न करें।

अभ्यास: मॉडल स्ट्रेस-टेस्टिंग प्रयोगशालाएँ। एक छोटा, सुरक्षित मॉडल बनाएं, या किसी अनुमोदित कृत्रिम मॉडल का उपयोग करें, और शिक्षार्थियों को अनुमोदित परिवर्तनों की एक सूची दें। मांग के बढ़ते क्रम में तीन अभ्यास:

• एक धारणा बदलें। शिक्षार्थी एक स्वीकृत इनपुट को स्थानांतरित करता है और यह रिकॉर्ड करता है कि कौन से आउटपुट स्थानांतरित होते हैं, कितनी मात्रा में और कौन से स्थानांतरित नहीं होते हैं।
• वह खंड ज्ञात कीजिए जिसे यह तोड़ता है। शिक्षार्थी शीर्षक संख्या के नीचे देखता है और पता लगाता है कि मॉडल सबसे कम स्थिर कहाँ है, फिर बताता है कि वे इसका उपयोग किस लिए नहीं करेंगे।
• अगले परीक्षण को डिजाइन करें। शिक्षार्थी एक और तनाव परीक्षण का प्रस्ताव रखता है, बताता है कि किस परिणाम से उनका दृष्टिकोण बदल जाएगा और इसे चलाने में कितना खर्च आएगा।

निर्णयों से संबंधित प्रतिक्रिया। "आपने शीर्षक परिवर्तन की रिपोर्ट तो की, लेकिन सबसे अधिक प्रभावित होने वाले दो खंडों की जाँच नहीं की" यह कथन स्कोर से अधिक उपयोगी है। निर्णय, उपयोग किए गए या छूट गए साक्ष्य और स्वीकृत मानदंड का उल्लेख करें।

क्या यह लाइव इंस्ट्रक्टर इनपुट होगा या एसिंक्रोनस रिव्यू? लाइव इनपुट तब सबसे अधिक उपयोगी होता है जब कोई मॉडल जोखिम विशेषज्ञ यह समझाता है कि कोई सीमा क्यों महत्वपूर्ण है, या कोई परीक्षण कमजोर क्यों था। अवधारणाओं को समझने, परीक्षण परिणामों की तुलना कुंजी से करने और लिखित सीमा विवरण तैयार करने के लिए, जिसे विशेषज्ञ बाद में पढ़ सकता है, अतुल्यकालिक समीक्षा पर्याप्त है। एक सामान्य संयोजन में स्व-गति से तैयारी, एक सुगम प्रयोगशाला सत्र और फिर एक अधिक अनुभवी सहकर्मी द्वारा वास्तविक मॉडल का पर्यवेक्षित परीक्षण शामिल होता है।

4. एक वास्तविक उदाहरण के माध्यम से काम करें

उदाहरण के तौर पर। उपयोग से पहले एक मॉडल जोखिम विशेषज्ञ को मामले का सत्यापन करना चाहिए और मानदंडों का उत्तर देना चाहिए।

मामला। सरलीकृत ऋण हानि मॉडल में अपेक्षित वसूली दर 60 प्रतिशत मानी गई है। बैक-टेस्टिंग में कोई त्रुटि नहीं पाई गई। स्वीकृत स्ट्रेस के कारण असुरक्षित ऋणों के लिए दर 40 प्रतिशत हो गई। पोर्टफोलियो हानि का अनुमान कुल मिलाकर 4 प्रतिशत बढ़ गया। दो सेगमेंट, जिनमें दोनों ही छोटे व्यवसायों के असुरक्षित ऋण शामिल हैं, में 30 प्रतिशत से अधिक की वृद्धि हुई।

कार्य। शिक्षार्थी यह बताता है कि परीक्षण क्या दर्शाता है, इसकी सीमा को स्पष्ट करता है और एक निर्णय की सिफारिश करता है।

पहला प्रयास। "कुल बदलाव केवल 4 प्रतिशत है, इसलिए यह मॉडल इस धारणा के प्रति मजबूत है।"

प्रतिक्रिया दें और पुनः प्रयास करें। सुविधादाता पूछता है कि किन खंडों में सबसे अधिक बदलाव आया, पोर्टफोलियो में उनका आकार कितना है और समग्र आंकड़े में क्या छिपा है। पुनः प्रयास में व्याख्या, सीमाएँ और अनुशंसा पूछी जाती है।

एक और मजबूत प्रयास। "प्रभावित खंड पोर्टफोलियो का एक छोटा हिस्सा होने के कारण मुख्य आंकड़े में मामूली बदलाव होता है। इनमें, अनुमान 30 प्रतिशत से अधिक बढ़ जाता है, इसलिए मॉडल छोटे व्यवसायों के असुरक्षित ऋण के लिए रिकवरी की धारणा के प्रति अत्यधिक संवेदनशील है। मैं इन खंडों के लिए 60 प्रतिशत के एकल आंकड़े पर भरोसा नहीं करूंगा। मैं खंड स्तर पर रिकवरी की धारणाओं और एक दस्तावेजित संवेदनशीलता सीमा की सिफारिश करूंगा, और मैं मॉडल के मालिक को बताऊंगा कि मैंने केवल एक इनपुट का परीक्षण किया है। मैंने सहसंबंध या डेटा गुणवत्ता का परीक्षण नहीं किया है।"

प्रत्येक प्रतिक्रिया तर्कसंगत है या अपूर्ण है? प्रत्येक मूल्यांकन को स्वीकृत मानदंडों के आधार पर करें, न कि प्रशिक्षक की पसंद के आधार पर। पहला प्रयास समग्र विश्लेषण करता है और रुक जाता है। बेहतर प्रयास मॉडल की कमियों को पहचानता है, उपयोग से संबंधित सीमा बताता है, एक सीमित कार्रवाई की सिफारिश करता है और यह बताता है कि क्या अभी तक परखा नहीं गया है। यह मॉडल को गलत नहीं बताता।

5. क्षमता का आकलन करें और स्थानांतरण की योजना बनाएं

क्षमता का प्रमाण एक नए मॉडल केस पर प्रतिक्रिया है जिसे शिक्षार्थी ने पहले नहीं देखा है। प्रत्येक मानदंड के लिए 0 से 2 तक के संक्षिप्त अंकमान का उपयोग करें, जिसे आपके विशेषज्ञ के साथ मिलकर परिभाषित किया गया है। हमारी मार्गदर्शिका प्रशिक्षण में निर्णय क्षमता और समस्या समाधान का आकलन करना इसमें एंकर और कैलिब्रेटिंग असेसर्स शामिल हैं।

मुख्य बिंदु: 0 का अर्थ है अनुपस्थित या असमर्थित, 1 का अर्थ है प्रासंगिक कमियों के साथ आंशिक, और 2 का अर्थ है पूर्ण और सहमत मानदंडों के अनुसार उचित। गंभीर त्रुटियों को अलग से परिभाषित करें, उदाहरण के लिए किसी लाइव मॉडल के सत्यापन के रूप में स्ट्रेस टेस्ट परिणाम प्रस्तुत करना, ताकि अच्छे समग्र स्कोर से ऐसी त्रुटि छिप न सके। यह मूल्यांकन मानदंड एक प्रस्तावित प्रारंभिक बिंदु है, न कि एक मान्य तत्परता मानक।

कार्यस्थल पर अनुवर्ती कार्रवाई। उपयुक्त समय बीतने के बाद, एक नया मॉडल केस दें या लाइव मॉडल पर पर्यवेक्षित चुनौती की समीक्षा करें, और इसकी तुलना बेसलाइन से दो समान मापदंडों पर करें: स्ट्रेस टेस्ट की गुणवत्ता और विफलता की व्याख्या। जनसंख्या, भाजक और समय को पहले से परिभाषित करें, और यह रिकॉर्ड करें कि प्रशिक्षण में लोगों ने कौन से केस देखे थे ताकि आप स्मरण और स्थानांतरण में अंतर कर सकें।

किस प्रकार के साक्ष्य से यह सिद्ध होगा कि प्रशिक्षण कारगर रहा?

ऐसे विश्लेषकों की तलाश करें जो किसी ऐसे मॉडल पर, जिसे उन्होंने देखा नहीं है, जानबूझकर कोई धारणा बदल देते हैं, मुख्य बिंदु से परे जाकर, किसी उपयोग से जुड़ी सीमा का उल्लेख करते हैं और ऐसी बातें कहते हैं जिनका उन्होंने परीक्षण नहीं किया है। उनके चुनौती नोट्स की समीक्षा से जो पता चलता है, उसे भी शामिल करें: सामान्य चेतावनियों के बजाय विशिष्ट सीमाएँ।

निष्कर्षों की संख्या जैसे परिणामों के प्रति सतर्क रहें। एक नए मॉडल की सूची, एक नियामक परीक्षा या कार्य की समीक्षा करने वाले व्यक्ति में परिवर्तन से एक ही अवधि में निष्कर्षों की संख्या में बदलाव हो सकता है। अधिक निष्कर्षों का अर्थ कड़ी चुनौती या बदले हुए मानदंड हो सकते हैं, इसलिए प्रशिक्षण को मान्यता देने से पहले अच्छी तरह जांच लें।

जहां इंटरैक्टिव डिलीवरी मददगार होती है

Interactive formats help where everyone should commit to a prediction before the group sees the result. In a live session, a facilitator can describe a change, ask each analyst to predict which outputs will move and then reveal the result, which exposes how far intuition and the model differ. The same cases can run self-paced as preparation. AhaSlides supports interactive learning and moving between live and self-paced delivery. Check any authoring, feedback or reporting function you plan to rely on against your own workflow. Treat simulators, virtual reality, AI and system integrations as external or unconfirmed until you have seen them work. A lab on a safe model is practice, not a substitute for the validation of a live one.

प्रशिक्षण से क्या ठीक नहीं होगा

• कमजोर शासन व्यवस्था। यदि किसी चुनौती के अनुवर्ती कार्रवाई की जिम्मेदारी किसी को नहीं दी जाती है, तो निष्कर्ष निरर्थक हो जाएंगे। पहले जिम्मेदारी तय करें।
• चुनौती देने का समय नहीं है। जिन लोगों का मूल्यांकन थ्रूपुट के आधार पर किया जाता है, वे अतिरिक्त परीक्षण नहीं करेंगे।
• बंद मॉडल। यदि विश्लेषक मान्यताओं को नहीं देख सकते, तो वे उनका परीक्षण नहीं कर सकते।
• साक्ष्य की सीमाएँ। मामलों के एक समूह पर प्राप्त स्कोर विश्लेषक द्वारा सामना की जाने वाली हर चुनौती का वर्णन नहीं करता है, और कोई भी प्रशिक्षण अभ्यास एक लाइव वित्तीय मॉडल को मान्य नहीं करता है।

इन समस्याओं के बारे में प्रायोजकों को पहले ही बता दें और यह तय कर लें कि प्रत्येक समस्या को कौन ठीक करेगा।

ज़्यादातर पूछे जाने वाले सवाल

मॉडल रिस्क ट्रेनिंग एक्सरसाइज क्या हैं?

अभ्यास कार्य जिनमें विश्लेषक एक सुरक्षित मॉडल में मान्यताओं को बदलते हैं, यह व्याख्या करते हैं कि क्या बदलता है और मॉडल की सीमाओं और उपयुक्त उपयोगों की व्याख्या करते हैं।

क्या कोई ट्रेनिंग लैब लाइव मॉडल को वैलिडेट कर सकती है?

नहीं। प्रयोगशाला किसी सुरक्षित या कृत्रिम मॉडल पर विधि सिखाती है। लाइव मॉडल का सत्यापन आपके अपने नियमों और संबंधित दिशानिर्देशों के अनुसार किया जाता है।

क्या इन प्रयोगशालाओं को चलाने के लिए विश्लेषकों को कोडिंग की आवश्यकता होती है?

जरूरी नहीं। एक स्प्रेडशीट मॉडल या तनाव परिवर्तन के विकल्पों वाला कोई स्वीकृत उपकरण ही काफी है। यहाँ व्याख्या का कौशल सिखाया जा रहा है, प्रोग्रामिंग का नहीं।

आप चुनौतीपूर्ण कौशल का निष्पक्ष मूल्यांकन कैसे करते हैं?

एक नए मामले, एक संक्षिप्त रूपरेखा और सहमत आधारों का उपयोग करें, और एक मॉडल जोखिम विशेषज्ञ से स्कोरिंग को कैलिब्रेट करवाएं।

कहा से शुरुवात करे

किसी मॉडल जोखिम विशेषज्ञ से एक छोटा, सुरक्षित मॉडल और तीन स्वीकृत धारणा परिवर्तन मांगें। तीन मानदंडों वाली रूपरेखा तैयार करें, एक टीम के साथ "एक धारणा परिवर्तन" अभ्यास करें, और फिर इसे लागू करने से पहले एक नए मामले का मूल्यांकन करें।

To see how a predict-then-reveal lab like this could run live and be reused self-paced afterwards, explore AhaSlides.