Un modello di rischio di credito si è comportato bene per tre anni. Il suo backtest è impeccabile, i suoi risultati rientrano ampiamente nei limiti di tolleranza e l'azienda si fida. In un laboratorio di formazione, un analista modifica un'ipotesi di input approvata, ovvero il tasso di recupero previsto per una classe di prestiti, impostandolo su un valore meno attendibile. Il risultato principale rimane pressoché invariato. Due segmenti, invece, subiscono variazioni significative. L'analista deve decidere cosa significa, cosa comunicare al responsabile del modello e per quali scopi il modello non dovrebbe essere utilizzato.
Questo è uno scenario esemplificativo, non un caso reale di un cliente. Mostra le competenze che le esercitazioni di formazione sul rischio dei modelli devono sviluppare: testare le ipotesi, spiegare i limiti e giustificare una decisione quando un modello appare stabile. Questa guida è destinata ai responsabili della formazione sul rischio e ai responsabili della conformità e del rischio dei modelli che hanno la responsabilità di fornire le risposte. Tratta esclusivamente la progettazione della formazione. Un'esercitazione di formazione non convalida un modello finanziario reale e uno specialista del rischio dei modelli dovrebbe esaminare ogni caso prima dell'utilizzo.
Che cosa sono gli esercizi di addestramento al rischio di modello?
Le esercitazioni di simulazione del rischio di modello sono attività pratiche strutturate in cui gli analisti mettono alla prova un modello, solitamente semplificato o sintetico, modificando ipotesi e input, per poi interpretare i risultati e spiegare i limiti del modello. Un laboratorio di stress test rappresenta la versione pratica di queste esercitazioni: un modello sicuro, una serie di modifiche approvate e la necessità di giustificare le conclusioni.
I fatti in breve
| La Domanda | Risposta breve |
|---|---|
| Qual è il compito? | Verificare le ipotesi e spiegare i limiti di un modello. |
| Che punteggio ottieni? | La qualità degli stress test e l'interpretazione dei risultati negativi. |
| Il laboratorio convalida un modello vivente? | No. Insegna un metodo su un modello sicuro o sintetico. |
| Chi approva il caso? | Uno specialista in gestione del rischio, non il formatore. |
| In diretta o a ritmo personalizzato? | Apprendimento autonomo di concetti e strumenti, con possibilità di interpretazione in diretta o con un facilitatore. |
| Cosa non si può risolvere con l'allenamento? | Governance debole, mancanza di tempo per intervenire e responsabilità poco chiare. |
| Come fai a sapere che ha funzionato? | Un nuovo caso modello o una revisione supervisionata dopo un periodo di interruzione, valutata in base alla griglia di valutazione. |
1. Descrivi il problema di prestazioni
Partiamo dalla decisione. Cosa deve fare un analista quando un modello sembra valido? Scrivilo come una frase incentrata su un verbo: "Modifica un'ipotesi approvata, osserva cosa cambia, spiega il limite che questo evidenzia e indica per cosa il modello dovrebbe e non dovrebbe essere utilizzato".
I supervisori definiscono questa competenza. La Federal Reserve statunitense e l'Office of the Comptroller of the Currency hanno emesso SR 11-7, Linee guida di vigilanza sulla gestione del rischio dei modelliIl documento, pubblicato il 4 aprile 2011, descrive il rischio del modello come la potenziale presenza di conseguenze negative derivanti da decisioni basate su risultati del modello errati o utilizzati in modo improprio, e definisce la "verifica efficace" come principio guida: un'analisi critica condotta da soggetti obiettivi e informati in grado di identificare i limiti e le ipotesi del modello e di apportare le modifiche appropriate. Si tratta di linee guida statunitensi, non di una norma valida per tutte le giurisdizioni, quindi è necessario verificare i requisiti applicabili al proprio caso. Descrive in modo accurato le competenze che la formazione dovrebbe sviluppare.
2. Diagnosticare le lacune di apprendimento e di contesto
Confronta i requisiti del ruolo con le competenze e le pratiche valutate nella tua attuale formazione.
- Che cosa praticano oggi gli analisti? Se la formazione consiste in una lezione sulla governance dei modelli e in una lista di controllo della documentazione, i partecipanti hanno appreso il vocabolario, ma non si sono esercitati a violare un modello intenzionalmente.
- Qual è il carico cognitivo richiesto? Nella tassonomia rivista di Bloom, eseguire un test è applicazione, interpretare perché il modello ha fallito è analisi, giudicare se il modello è adatto a un uso è valutazione e progettare un nuovo stress test è creazione. La nostra guida a abbinamento delle attività di apprendimento alla tassonomia di Bloom spiega come interpretare queste richieste.
- C'è qualcos'altro, oltre all'abilità, che ostacola il cammino? Innanzitutto, verificate il personale, gli strumenti e le procedure. Se gli analisti non hanno tempo per sollevare obiezioni, non hanno accesso alle ipotesi del modello o non esiste un modo per segnalare una limitazione, il laboratorio non cambierà ciò che accade il lunedì.
- Le sfide sono ben accette? Se contestare un modello significa criticarne il proprietario, le persone resteranno in silenzio. Concordate come verrà accolta la contestazione prima di prepararvi ad affrontarla.
3. Progettare una preparazione e una pratica mirate
Assegna a ciascuna fase un compito specifico.
Preparazione: verificare i prerequisiti. Una breve autodiagnosi sullo scopo del modello, i suoi input principali e i concetti statistici necessari al laboratorio. Un controllo di questo tipo conferma solo i prerequisiti. Non deve essere riportato come competenza.
Esercitazione: laboratorio modello per test di resistenza. Costruisci un modello piccolo e sicuro, oppure utilizzane uno sintetico approvato, e fornisci agli studenti un elenco di modifiche consentite. Tre esercizi in ordine crescente di difficoltà:
- Modifica un'ipotesi. Lo studente sposta un input approvato e registra quali output si spostano, di quanto e quali rimangono immobili.
- Individua il segmento che si rompe. Lo studente guarda sotto il numero principale e individua il punto in cui il modello è meno stabile, quindi indica per cosa non lo utilizzerebbe.
- Progetta il prossimo test. Lo studente propone un ulteriore stress test, indicando quale risultato cambierebbe la sua opinione e quali sarebbero i costi di esecuzione.
Feedback collegato alle decisioni. "Hai segnalato il cambio di titolo ma non hai controllato i due segmenti che hanno registrato le maggiori variazioni" è più utile di un punteggio. Indica la decisione, le prove utilizzate o omesse e il criterio approvato.
Intervento in diretta del docente o revisione asincrona? L'apporto in tempo reale è più utile quando uno specialista del rischio di modello spiega perché una limitazione è importante o perché un test è risultato inadeguato. La revisione asincrona è sufficiente per i concetti, per verificare i risultati dei test rispetto a una legenda e per le dichiarazioni scritte sulle limitazioni che uno specialista può consultare in seguito. Una combinazione comune prevede una preparazione autonoma, un laboratorio guidato e infine la verifica di un modello reale sotto la supervisione di un collega più esperto.
4. Analizza un esempio realistico
A titolo esemplificativo. Prima dell'utilizzo, uno specialista in gestione del rischio dovrebbe convalidare il caso e i criteri di risposta.
Il caso. Un modello semplificato di perdita su crediti utilizza un tasso di recupero previsto del 60%. I test retrospettivi non mostrano anomalie. Lo stress test approvato modifica il tasso al 40% per i prestiti non garantiti. La stima delle perdite di portafoglio aumenta complessivamente del 4%. Due segmenti, entrambi relativi a prestiti non garantiti per piccole imprese, registrano un aumento superiore al 30%.
Il compito. Lo studente descrive i risultati del test, ne spiega i limiti e propone una soluzione.
Un primo tentativo. "La variazione complessiva è solo del 4%, quindi il modello è robusto rispetto a questa ipotesi."
Invia feedback e riprova. Il facilitatore chiede quali segmenti si sono mossi maggiormente, quanto sono importanti nel portafoglio e cosa nasconde la cifra complessiva. Il secondo richiede l'interpretazione, la limitazione e la raccomandazione.
Un tentativo più deciso. "La cifra principale varia poco perché i segmenti interessati rappresentano una piccola quota del portafoglio. All'interno di questi segmenti, la stima aumenta di oltre il 30%, quindi il modello è altamente sensibile all'ipotesi di recupero per i prestiti non garantiti alle piccole imprese. Non mi affiderei alla singola cifra del 60% per questi segmenti. Raccomanderei ipotesi di recupero a livello di segmento e un intervallo di sensibilità documentato, e informerei il proprietario del modello di aver testato un solo input. Non ho testato la correlazione o la qualità dei dati."
Perché ciascuna risposta è difendibile o incompleta. Valutare ciascuna proposta in base ai criteri approvati, non alle preferenze del facilitatore. Il primo tentativo si limita a leggere il quadro generale e si ferma. Un tentativo più approfondito individua i punti deboli del modello, ne indica una limitazione legata a un utilizzo specifico, raccomanda un'azione circoscritta e specifica cosa resta da testare. Non si tratta di affermare che il modello sia errato.
5. Valutare le capacità e pianificare il trasferimento
La prova di capacità è una risposta a un nuovo caso modello che lo studente non ha mai visto. Valuta una breve rubrica da 0 a 2 per ogni criterio, definita con il tuo specialista. La nostra guida a valutazione del giudizio e della capacità di risoluzione dei problemi nella formazione copre gli ancoraggi e i valutatori di calibrazione.
| Criterio | Prove osservabili |
|---|---|
| Esecuzione dell'attività | Esegue test di stress approvati e registra l'azione intrapresa e le relative prove. |
| Ragionamento | Spiega cosa non ha funzionato, i limiti che ciò evidenzia e cosa non è stato testato, inclusa l'interpretazione del guasto. |
| Confini | Utilizza procedure approvate e chiede aiuto quando mancano informazioni o l'autorità necessaria. |
Criteri di valutazione: 0 indica assenza o mancanza di supporto, 1 indica parziale con omissioni rilevanti e 2 indica completo e giustificato in base a criteri concordati. Definire separatamente gli errori critici, ad esempio la presentazione del risultato di uno stress test come convalida di un modello reale, in modo che un buon punteggio complessivo non possa nasconderne uno. Questa griglia di valutazione è un punto di partenza proposto, non uno standard di preparazione validato.
Monitoraggio sul luogo di lavoro. Dopo un periodo adeguato, presentare un nuovo caso modello o rivedere una sfida supervisionata su un modello reale e confrontarla con la linea di base utilizzando le stesse due misure: qualità dei test di stress e interpretazione del fallimento. Definire in anticipo la popolazione, il denominatore e la tempistica e registrare quali casi sono stati visti dai partecipanti durante la formazione, in modo da poter distinguere il ricordo dal trasferimento.
Quali prove dimostrerebbero l'efficacia dell'addestramento?
Cercate analisti che, su un modello che non hanno mai visto, modifichino intenzionalmente un'ipotesi, vadano oltre le apparenze, indichino una limitazione legata a un utilizzo e specifichino cosa non hanno testato. Aggiungete ciò che emerge da una revisione delle loro note di contestazione: limitazioni specifiche anziché avvertenze generiche.
È necessario prestare attenzione ai risultati, come ad esempio il numero di rilievi rilevati. Un nuovo modello di inventario, un esame normativo o un cambio di persona incaricata della revisione del lavoro potrebbero modificarli nello stesso periodo. Un maggior numero di rilievi potrebbe significare una sfida più ardua o una soglia modificata, quindi è opportuno verificare prima di attribuire il merito alla formazione.
Dove la consegna interattiva aiuta
Interactive formats help where everyone should commit to a prediction before the group sees the result. In a live session, a facilitator can describe a change, ask each analyst to predict which outputs will move and then reveal the result, which exposes how far intuition and the model differ. The same cases can run self-paced as preparation. AhaSlides supports interactive learning and moving between live and self-paced delivery. Check any authoring, feedback or reporting function you plan to rely on against your own workflow. Treat simulators, virtual reality, AI and system integrations as external or unconfirmed until you have seen them work. A lab on a safe model is practice, not a substitute for the validation of a live one.
Cosa non risolverà l'allenamento
- Governance debole. Se nessuno si assume la responsabilità del seguito di una contestazione, i risultati decadranno. Definite prima chi ne è responsabile.
- Non c'è tempo per contestare. Le persone che vengono valutate in base alla produttività non eseguiranno test aggiuntivi.
- Modelli chiusi. Se gli analisti non possono vedere le ipotesi, non possono verificarle.
- Limiti delle prove. Il punteggio ottenuto in una serie di casi non descrive tutte le sfide che un analista dovrà affrontare, e nessuna esercitazione di formazione convalida un modello finanziario reale.
Comunicate questi problemi agli sponsor fin da subito e concordate chi si occuperà di risolverli.
Domande frequenti
Che cosa sono gli esercizi di addestramento al rischio di modello?
Esercizi pratici in cui gli analisti modificano le ipotesi in un modello sicuro, interpretano le variazioni e spiegano i limiti del modello e i suoi usi appropriati.
Un laboratorio di addestramento può convalidare un modello reale?
No. Il laboratorio insegna un metodo su un modello sicuro o sintetico. La validazione di un modello reale segue le vostre procedure interne e le relative linee guida.
Gli analisti devono saper programmare per gestire questi laboratori?
Non necessariamente. Un modello su foglio di calcolo o uno strumento approvato con un menu di modifiche allo stress è sufficiente. L'abilità che si insegna è l'interpretazione, non la programmazione.
Come si valutano in modo equo le capacità di affrontare le sfide?
Utilizzate un nuovo caso, una breve griglia di valutazione e dei criteri di ancoraggio concordati, e fate calibrare il punteggio da uno specialista in gestione del rischio.
Dove iniziare
Chiedete a uno specialista di rischio di modello un modello piccolo e sicuro e tre modifiche approvate alle ipotesi. Elaborate la griglia di valutazione a tre criteri, eseguite l'esercizio "modifica un'ipotesi" con un team, quindi valutate un nuovo caso prima di implementarlo.
To see how a predict-then-reveal lab like this could run live and be reused self-paced afterwards, explore AhaSlides.
