Kredito rizikos modelis trejus metus veikė gerai. Jo praeities testai yra nepriekaištingi, rezultatai patogiai atitinka tolerancijos ribas, o verslas juo pasitiki. Mokymo laboratorijoje analitikas pakeičia vieną patvirtintą įvesties prielaidą – numatomą paskolų klasės susigrąžinimo normą – į mažiau patogią vertę. Pagrindinė rezultatų vertė beveik nepasikeičia. Du segmentai pasikeičia labai. Analitikas turi nuspręsti, ką tai reiškia, ką pasakyti modelio savininkui ir kam modelis neturėtų būti naudojamas.
Tai iliustracinis scenarijus, o ne dokumentuotas kliento atvejis. Jis parodo įgūdžius, kuriuos turi ugdyti modelio rizikos mokymai: prielaidų testavimas, apribojimų paaiškinimas ir sprendimo pagrindimas, kai modelis atrodo stabilus. Šis vadovas skirtas rizikos mokymų vadovams ir atitikties bei modelio rizikos vadovams, kurie yra atsakymų autoriai. Jame aptariamas tik mokymų planas. Mokymo metu nepatvirtinamas realus finansinis modelis, todėl modelio rizikos specialistas turėtų peržiūrėti kiekvieną atvejį prieš jį naudodamas.
Kas yra modelinės rizikos mokymo pratimai?
Modelių rizikos mokymo pratimai yra struktūrizuotos praktinės užduotys, kurių metu analitikai tiria modelį, dažniausiai supaprastintą arba sintetinį, keisdami prielaidas ir įvesties duomenis, o tada interpretuoja, kas vyksta, ir paaiškina modelio galimybių ribas. Stresinių sąlygų testavimo laboratorija yra praktinė šio metodo forma: saugus modelis, patvirtintų pakeitimų rinkinys ir reikalavimas pagrįsti išvadas.
Greiti faktai
| klausimas | Trumpas atsakymas |
|---|---|
| Kokia užduotis? | Patikrinkite prielaidas ir paaiškinkite modelio apribojimus. |
| Ką skaičiuoji? | Stresinių testų kokybė ir nepavykusių testų interpretavimas. |
| Ar laboratorija patvirtina gyvą modelį? | Ne. Jis moko metodo pagal saugų arba sintetinį modelį. |
| Kas patvirtina bylą? | Modelio rizikos specialistas, o ne treneris. |
| Gyvai ar savarankiškai? | Savarankiškas tempas koncepcijoms ir įrankiams, gyvai arba moderuojamai interpretacijai. |
| Ko negali išspręsti treniruotės? | Silpnas valdymas, laiko stoka ginčyti ir neaiški atsakomybė. |
| Iš kur žinai, kad suveikė? | Naujas pavyzdinis atvejis arba prižiūrima peržiūra po spragos, įvertinta pagal vertinimo kriterijus. |
1. Aprašykite našumo problemą
Pradėkite nuo sprendimo. Ką analitikas turi daryti, kai modelis atrodo tinkamas? Parašykite tai kaip vieną veiksmažodžiu pagrįstą sakinį: „Pakeiskite patvirtintą prielaidą, stebėkite, kas keičiasi, paaiškinkite apribojimą, kurį tai atskleidžia, ir nurodykite, kam modelis turėtų būti naudojamas, o kam ne.“
Prižiūrėtojai įvardija šį įgūdį. JAV Federalinis rezervų bankas ir Valiutos kontrolieriaus tarnyba išleido SR 11-7, Priežiūros gairės dėl modelių rizikos valdymo, 2011 m. balandžio 4 d. Jame modelio rizika apibūdinama kaip galimos neigiamos pasekmės priimant sprendimus, pagrįstus neteisingais arba netinkamai panaudotais modelio rezultatais, o „veiksmingas ginčijimas“ vadinamas pagrindiniu principu: kritiška analizė, kurią atlieka objektyvios, informuotos šalys, galinčios nustatyti modelio apribojimus ir prielaidas bei atlikti atitinkamus pakeitimus. Tai yra JAV rekomendacijos, o ne taisyklė kiekvienai jurisdikcijai, todėl patikrinkite jums taikomus reikalavimus. Tai išsamus aprašymas, kokius rezultatus turėtų ugdyti mokymai.
2. Nustatykite mokymosi ir konteksto spragas
Palyginkite, ko reikalauja pareigos, su tuo, ką dabartiniai mokymai atlieka ir vertina.
- Ką dabar praktikuoja analitikai? Jei mokymai yra paskaita apie modelio valdymą ir dokumentacijos kontrolinis sąrašas, jie išmoko žodyną. Jie nesipraktikavo tyčia sugadinti modelio.
- Koks yra kognityvinis poreikis? Pagal atnaujintą Bloomo taksonomiją, testo atlikimas yra taikymas, modelio nesėkmės priežasčių aiškinimas – analizė, modelio tinkamumo naudoti nustatymas – vertinimas, o naujo testavimo nepalankiausiomis sąlygomis kūrimas – kūrimas. Mūsų vadovas mokymosi veiklų derinimas su Bloomo taksonomija paaiškina, kaip skaityti šiuos reikalavimus.
- Ar kliūtis yra kažkas kita, o ne įgūdžiai? Pirmiausia patikrinkite personalą, įrankius ir procedūras. Jei analitikai neturi laiko ginčyti, neturi prieigos prie modelio prielaidų ar neturi būdo iškelti apribojimo, laboratorija nekeis to, kas įvyko pirmadienį.
- Ar iššūkis laukiamas? Jei modelio iššūkis reiškia jo savininko kritiką, žmonės tylės. Prieš pradėdami ruoštis modeliui, susitarkite, kaip bus reaguojama į iššūkį.
3. Planuokite tikslingą pasiruošimą ir praktiką
Kiekvienam etapui skirkite savo užduotį.
Pasiruošimas: patikrinkite būtinąsias sąlygas. Trumpa savarankiška modelio paskirties, pagrindinių įvesties duomenų ir laboratorijai reikalingų statistinių idėjų diagnostika. Toks patikrinimas, kaip šis, patvirtina tik būtinąsias sąlygas. Nenurodykite to kaip gebėjimo.
Praktika: modeliavimo streso testavimo laboratorijos. Sukurkite nedidelį, saugų modelį arba naudokite patvirtintą sintetinį modelį ir pateikite besimokantiesiems patvirtintų pakeitimų meniu. Trys pratimai didėjančia paklausos tvarka:
- Pakeiskite vieną prielaidą. Besimokantysis perkelia vieną patvirtintą įvestį ir užfiksuoja, kurie išvestys juda, kiek, o kurie ne.
- Raskite segmentą, kurį jis nutraukia. Besimokantysis pažvelgia žemiau antraštės numerio ir nustato, kur modelis yra mažiausiai stabilus, tada nurodo, kam jo nenaudotų.
- Sukurkite kitą bandymą. Besimokantysis pasiūlo atlikti tolesnį testavimą nepalankiausiomis sąlygomis, pasako, koks rezultatas pakeistų jo požiūrį ir kiek kainuotų jį atlikti.
Su sprendimais susiję atsiliepimai. „Pranešėte apie antraštės pakeitimą ir nepatikrinote dviejų segmentų, kurie pasikeitė labiausiai“ yra naudingiau nei balas. Įvardykite sprendimą, panaudotus arba praleistus įrodymus ir patvirtintą kriterijų.
Tiesioginis instruktoriaus indėlis ar asinchroninė peržiūra? Tiesioginė analizė suteikia daugiausia vertės, kai modelio rizikos specialistas paaiškina, kodėl apribojimas yra svarbus arba kodėl testas buvo silpnas. Asinchroninės peržiūros pakanka koncepcijoms, testo rezultatams patikrinti pagal raktą ir rašytiniams apribojimų teiginiams, kuriuos specialistas gali perskaityti vėliau. Įprastas derinys yra savarankiškas pasiruošimas, moderuojamas laboratorinis darbas, o vėliau labiau patyrusio kolegos prižiūrimas tikro modelio išbandymas.
4. Pateikite realų pavyzdį
Iliustracinis pavyzdys. Prieš naudodamas modelio rizikos specialistas turėtų patvirtinti atvejį ir atsakyti į kriterijus.
Byla. Supaprastintame paskolų nuostolių modelyje numatoma 60 procentų susigrąžinimo norma. Atgalinis testavimas yra be trūkumų. Patvirtintas stresas pakeičia neužtikrintų paskolų normą iki 40 procentų. Portfelio nuostolių įvertis iš viso padidėja 4 procentais. Dviejų segmentų, kurių abu yra neužtikrintos mažųjų įmonių paskolos, padaugėja daugiau nei 30 procentų.
Užduotis. Besimokantysis nurodo, ką rodo testas, paaiškina apribojimus ir rekomenduoja sprendimą.
Pirmas bandymas. "Bendras pokytis yra tik 4 procentai, todėl modelis yra patikimas šiai prielaidai."
Atsiliepimas ir bandymas dar kartą. Fasilitatorius klausia, kurie segmentai labiausiai pasikeitė, kokio dydžio jie užima portfelyje ir ką slepia bendras skaičius. Pakartotinio bandymo metu prašoma pateikti interpretaciją, apribojimus ir rekomendacijas.
Stipresnis bandymas. „Pagrindinis skaičius mažai keičiasi, nes paveikti segmentai sudaro nedidelę portfelio dalį. Juose įvertis padidėja daugiau nei 30 procentų, todėl modelis yra labai jautrus atsigavimo prielaidai dėl neužtikrintų paskolų mažoms įmonėms. Šiems segmentams nesiremčiau vienu 60 procentų skaičiumi. Rekomenduočiau segmentų lygmens atsigavimo prielaidas ir dokumentuotą jautrumo diapazoną, o modelio savininkui pasakyčiau, kad išbandžiau tik vieną įvestį. Netikrinau koreliacijos ar duomenų kokybės.“
Kodėl kiekvienas atsakymas yra pagrįstas arba neišsamus. Vertinkite kiekvieną pagal patvirtintus kriterijus, o ne pagal moderatoriaus pageidavimus. Pirmojo bandymo metu nuskaitomi suvestiniai duomenys ir jie sustoja. Stipresnio bandymo metu nustatoma, kur modelis yra jautrus, nurodomas su naudojimu susijęs apribojimas, rekomenduojamas ribotas veiksmas ir nurodoma, kas lieka neišbandyta. Tai neteigia, kad modelis yra klaidingas.
5. Įvertinkite pajėgumus ir planuokite perdavimą
Gebėjimų įrodymas yra atsakas į naują pavyzdinį atvejį, kurio besimokantysis nematė. Įvertinkite trumpą vertinimo skalę nuo 0 iki 2 balų už kiekvieną kriterijų, nustatytą kartu su jūsų specialistu. Mūsų vadovas vertinant sprendimus ir problemų sprendimą mokymuose apima inkarus ir kalibruojančius vertintojus.
| kriterijus | Stebimi įrodymai |
|---|---|
| Užduoties vykdymas | Atlieka patvirtintus streso testus ir užfiksuoja veiksmus bei jų įrodymus. |
| Priežastys | Paaiškinama, kas nepavyko, kokie apribojimai ir kas nebuvo išbandyta, įskaitant nesėkmės interpretaciją. |
| Ribos | Naudoja patvirtintas procedūras ir kreipiasi pagalbos, kai trūksta informacijos ar įgaliojimų. |
Inkarai: 0 reiškia, kad nėra arba neparemta, 1 reiškia dalinį su atitinkamais praleidimais, o 2 reiškia, kad išsamus ir pagrįstas pagal sutartus kriterijus. Kritines klaidas apibrėžkite atskirai, pavyzdžiui, pateikite streso testo rezultatą kaip gyvo modelio patvirtinimą, kad geras bendras balas negalėtų jos paslėpti. Ši vertinimo skalė yra siūlomas atspirties taškas, o ne patvirtintas pasirengimo standartas.
Tolesnė stebėsena darbo vietoje. Po tinkamo laikotarpio pateikite naują modelio atvejį arba peržiūrėkite prižiūrimą iššūkio analizę realiame modelyje ir palyginkite jį su pradiniais rodikliais pagal tuos pačius du rodiklius: streso testų kokybę ir gedimo interpretavimą. Iš anksto apibrėžkite populiaciją, vardiklį ir laiką, ir užsirašykite, kuriuos atvejus žmonės matė mokymų metu, kad galėtumėte atskirti atšauktus nuo perkėlimo.
Kokie įrodymai patvirtintų, kad mokymai buvo veiksmingi?
Ieškokite analitikų, kurie, remdamiesi modeliu, kurio nematė, tyčia pakeičia prielaidą, žiūri žemiau antraštės, nurodo su naudojimu susijusį apribojimą ir pasako, ko neišbandė. Pridėkite tai, ką rodo jų iššūkių pastabų peržiūra: konkrečius apribojimus, o ne bendrinius įspėjimus.
Būkite atsargūs vertindami tokius rezultatus kaip iškeltų išvadų skaičius. Naujas modelių sąrašas, reguliavimo institucijų patikrinimas arba darbo peržiūros asmens pasikeitimas gali perkelti juos į tą patį laikotarpį. Daugiau išvadų gali reikšti rimtesnį ginčą arba pasikeitusią ribą, todėl prieš įskaitydami mokymus patikrinkite.
Kur padeda interaktyvus pristatymas
Interactive formats help where everyone should commit to a prediction before the group sees the result. In a live session, a facilitator can describe a change, ask each analyst to predict which outputs will move and then reveal the result, which exposes how far intuition and the model differ. The same cases can run self-paced as preparation. AhaSlides supports interactive learning and moving between live and self-paced delivery. Check any authoring, feedback or reporting function you plan to rely on against your own workflow. Treat simulators, virtual reality, AI and system integrations as external or unconfirmed until you have seen them work. A lab on a safe model is practice, not a substitute for the validation of a live one.
Ko treniruotės neištaisys
- Silpnas valdymas. Jei niekas neprisiima atsakomybės už tolesnius veiksmus, susijusius su iššūkiu, išvados bus anuliuotos. Pirmiausia susitarkite dėl savininkų.
- Nėra laiko iššūkiams. Žmonės, kurių pralaidumas vertinamas, neatliks papildomų testų.
- Uždaryti modeliai. Jei analitikai nemato prielaidų, jie negali jų patikrinti.
- Įrodymų ribos. Atvejų rinkinio balas neapibūdina kiekvieno analitiko iškelto iššūkio, ir jokie mokymai nepatvirtina realaus finansinio modelio.
Iš anksto įvardykite juos rėmėjams ir susitarkite, kas kiekvieną iš jų pataisys.
Dažnai užduodami klausimai
Kas yra modelinės rizikos mokymo pratimai?
Praktinės užduotys, kuriose analitikai keičia saugaus modelio prielaidas, interpretuoja, kas keičiasi, ir paaiškina modelio apribojimus bei tinkamą panaudojimą.
Ar mokymo laboratorija gali patvirtinti gyvą modelį?
Ne. Laboratorijoje metodas mokomas naudojant saugų arba sintetinį modelį. Gyvo modelio patvirtinimas atliekamas vadovaujantis jūsų pačių valdymo principais ir atitinkamomis gairėmis.
Ar analitikams reikia programuoti, kad galėtų valdyti šias laboratorijas?
Nebūtinai. Pakanka skaičiuoklės modelio arba patvirtinto įrankio su kirčių keitimo meniu. Mokomasi interpretavimo, o ne programavimo įgūdžių.
Kaip teisingai vertinate iššūkio įgūdžius?
Naudokite naują atvejį, trumpą vertinimo kriterijų ir sutartus pagrindus, o vertinimo balus sukalibruokite pas modelio rizikos specialistą.
Kur pradėti
Paprašykite modelio rizikos specialisto pateikti vieną nedidelį, saugų modelį ir tris patvirtintus prielaidų pakeitimus. Parengkite trijų kriterijų vertinimo kriterijų projektą, su viena komanda atlikite pratimą „pakeisti vieną prielaidą“, tada įvertinkite naują atvejį prieš jį diegdami.
To see how a predict-then-reveal lab like this could run live and be reused self-paced afterwards, explore AhaSlides.
