モデルリスクトレーニング演習：アナリストが前提を検証することを学ぶためのストレステストラボの設計方法

信用リスクモデルは3年間、良好な挙動を示してきた。バックテストの結果は良好で、出力値は許容範囲内に収まり、企業もこのモデルを信頼している。トレーニングラボで、アナリストは承認済みの入力仮定の一つである、ある種類のローンの予想回収率を、やや不利な値に変更した。主要な出力値はほとんど変化しなかったが、2つのセグメントで大きな変動が見られた。アナリストは、これが何を意味するのか、モデル所有者に何を伝えるべきか、そしてこのモデルをどのような用途に使用すべきでないかを判断しなければならない。

これはあくまで例示シナリオであり、実際の顧客事例ではありません。モデルリスク研修で育成すべきスキル、すなわち前提条件の検証、限界の説明、そしてモデルが安定しているように見える場合の意思決定の正当化を示すものです。このガイドは、リスク研修責任者、コンプライアンス担当者、およびモデルリスク担当者（回答の責任者）を対象としています。研修設計のみを扱っており、研修演習は実際の金融モデルの妥当性を検証するものではありません。モデルリスク専門家は、使用前にすべての事例をレビューする必要があります。

モデルリスク訓練演習とは何ですか？

モデルリスクトレーニング演習とは、アナリストが仮定や入力値を変更することで、通常は簡略化されたモデルや合成モデルを検証し、その結果を解釈して、モデルがサポートできる限界を説明する、構造化された実践的なタスクです。ストレステストラボは、この実践的な形式であり、安全なモデル、承認された変更セット、そして結論を​​正当化する要件が与えられます。

クイック事実

1. パフォーマンス上の問題点を説明する

まずは意思決定から始めましょう。モデルが問題なさそうに見える場合、アナリストは何をすべきでしょうか？動詞を先頭にした一文で次のように記述してください。「承認済みの前提条件を変更し、その変化を観察し、それによって明らかになる限界を説明し、モデルを何に使うべきか、何に使うべきでないかを述べる。」

監督者はこのスキルを命名する。米国連邦準備制度理事会と通貨監督庁は、 SR 11-7、モデルリスク管理に関する監督上の指針2011年4月4日。この文書では、モデルリスクを、不正確または誤用されたモデル出力に基づく意思決定から生じる悪影響の可能性と定義し、「効果的な検証」を指導原則としています。これは、モデルの限界と前提条件を特定し、適切な変更を生み出すことができる、客観的で情報に通じた関係者による批判的分析を意味します。これは米国のガイダンスであり、すべての法域に適用される規則ではないため、ご自身に適用される要件を確認してください。これは、研修によって構築されるべきパフォーマンスを的確に表しています。

2. 学習と状況のギャップを診断する

その職務に求められる能力と、現在行っている研修の内容や評価方法を比較してください。

1. アナリストは現在、どのような業務を行っているのか？ 研修がモデルガバナンスに関する講義と文書化チェックリストだけであれば、彼らは用語を覚えただけで、意図的にモデルを壊す練習はしていない。
2. 認知的な要求とは何ですか？ ブルームの改訂版分類法では、テストを実行することは応用、モデルが失敗した理由を解釈することは分析、モデルが用途に適しているかどうかを判断することは評価、新しいストレス テストを設計することは創造です。 学習活動をブルームの分類法に合わせる これらの要求事項の読み方を解説します。
3. スキル以外の何かが邪魔をしているのだろうか？ まず、人員配置、ツール、手順を確認してください。アナリストに異議を唱える時間がなく、モデルの前提条件にアクセスできず、制限事項を提起する手段がない場合、研究所は月曜日に起こることを変えることはできません。
4. 挑戦は歓迎されますか？ もしモデルに異議を唱えることがその所有者を批判することを意味するなら、人々は沈黙を守るだろう。異議申し立てへの対応策を訓練する前に、異議申し立てをどのように受け止めるかを合意しておこう。

3. 目的意識を持った準備と練習を計画する

各段階にそれぞれの役割を与えましょう。

準備：前提条件を確認してください。 モデルの目的、主な入力項目、および研究室に必要な統計的概念に関する、短時間で自己学習型の診断テストです。このような復習チェックは、前提条件を確認するためのものであり、能力として報告しないでください。

実践：ストレス試験ラボの模型を作成する。 小型で安全なモデルを作成するか、承認済みの合成モデルを使用し、学習者に承認済みの変更メニューを提供する。需要の高い順に3つの演習を行う。

• 前提を一つ変えてみましょう。 学習者は承認された入力を1つ動かし、どの出力がどれだけ動くか、そしてどの出力が動かないかを記録します。
• 分割される区間を見つけてください。 学習者は見出しの数字の下を見て、モデルが最も不安定な箇所を見つけ、それをどのような用途には使用しないかを述べる。
• 次のテストを設計してください。 学習者はさらなるストレステストを提案し、どのような結果が出れば考えが変わるか、またテストを実施するのにどれくらいの費用がかかるかを述べる。

フィードバックは意思決定と連動している。 「見出しの変更は報告したが、最も変動の大きかった2つのセグメントを確認しなかった」という指摘は、点数よりも有用です。決定内容、使用された（または見落とされた）証拠、承認された基準を明記してください。

講師によるリアルタイムの指導か、非同期の復習か？ モデルリスクの専門家が、制限事項がなぜ重要なのか、あるいはテストがなぜ不十分だったのかを説明する際に、ライブでの説明が最も価値を発揮します。非同期のレビューは、概念の理解、テスト結果と基準との照合、そして専門家が後で確認できる制限事項の記述には十分です。一般的な学習方法は、自己学習、ファシリテーター付きの演習、そして経験豊富な同僚による実際のモデルへの検証という流れです。

4. 現実的な例題に取り組む

例示です。モデルリスクの専門家は、使用前に事例と回答基準を検証する必要があります。

ケース。 簡略化された貸倒損失モデルでは、予想回収率を60%としています。バックテストの結果は良好です。承認されたストレステストでは、無担保ローンの回収率を40%に変更します。ポートフォリオ全体の損失見積額は4%増加します。中小企業向け無担保ローンの2つのセグメントでは、30%以上増加します。

その任務。 学習者は、テスト結果が示す内容を説明し、その限界点を解説し、解決策を提案する。

最初の試み。 「全体的な変化はわずか4％なので、この仮定に対してモデルは頑健である。」

フィードバックと再試行。 ファシリテーターは、どのセグメントが最も大きく変動したか、ポートフォリオにおけるそのセグメントの規模はどれくらいか、そして全体の数値には何が隠されているかを尋ねます。再挑戦では、その解釈、制約、そして推奨事項を求めます。

より強力な試み。 「影響を受けるセグメントはポートフォリオのごく一部であるため、主要な数値はほとんど変動しません。しかし、そのセグメント内では推定値が30%以上上昇するため、このモデルは中小企業向け無担保融資の回復率に関する想定に非常に敏感です。これらのセグメントについては、単一の60%という数値に頼るべきではありません。セグメントごとの回復率に関する想定と、文書化された感度範囲を推奨します。また、モデルの所有者には、入力値は1つしかテストしていないこと、相関関係やデータ品質はテストしていないことを伝えるべきです。」

それぞれの回答が妥当である理由、あるいは不完全である理由。 それぞれの評価は、ファシリテーターの好みではなく、承認された基準に基づいて行うべきです。最初の試みは集計結果を読み取って停止します。より高度な試みは、モデルの感度が高い箇所を特定し、使用方法に関連する制限事項を明示し、限定的な対策を推奨し、未検証事項を指摘します。モデルが間違っているとは主張しません。

5．能力を評価し、移転計画を策定する

能力の証拠とは、学習者が見たことのない新しいモデルケースに対する反応です。専門家と定義した基準ごとに、0から2までの短いルーブリックで採点してください。 研修における判断力と問題解決能力の評価 アンカーとキャリブレーション評価者を対象としています。

評価基準：0は欠落または根拠なし、1は関連する項目が欠落している部分的、2は合意された基準に照らして完全かつ正当化されていることを意味します。重大なエラーは個別に定義してください。例えば、ストレステストの結果を実稼働モデルの検証として提示する場合など、全体的なスコアが高くても重大なエラーを隠蔽できないようにしてください。この評価基準は提案された出発点であり、検証済みの準備基準ではありません。

職場でのフォローアップ。 適切な期間が経過したら、新しいモデルケースを与えるか、実際のモデルで指導付きの課題を復習し、同じ2つの指標（ストレステストの質と失敗の解釈）でベースラインと比較します。対象集団、分母、タイミングを事前に定義し、トレーニングでどのケースを見たかを記録して、記憶と転移を区別できるようにします。

研修が効果があったことを示す証拠は何でしょうか？

見ていないモデルについて、意図的に前提条件を変更したり、見出しの下の内容を詳しく調べたり、使用方法に関連する制限事項を述べたり、テストしていないことを指摘したりするアナリストを探しましょう。また、彼らの指摘事項を精査して、一般的な注意書きではなく、具体的な制限事項を指摘している点も考慮に入れましょう。

指摘事項の数などの結果については注意が必要です。新しいモデルインベントリ、規制当局による検査、またはレビュー担当者の変更によって、同じ期間内に結果が変わる可能性があります。指摘事項が増えるということは、より厳しい審査や基準値の変更を意味する可能性があるので、研修の単位認定を行う前に確認してください。

インタラクティブな配信が役立つ場面

Interactive formats help where everyone should commit to a prediction before the group sees the result. In a live session, a facilitator can describe a change, ask each analyst to predict which outputs will move and then reveal the result, which exposes how far intuition and the model differ. The same cases can run self-paced as preparation. AhaSlides supports interactive learning and moving between live and self-paced delivery. Check any authoring, feedback or reporting function you plan to rely on against your own workflow. Treat simulators, virtual reality, AI and system integrations as external or unconfirmed until you have seen them work. A lab on a safe model is practice, not a substitute for the validation of a live one.

トレーニングでは解決できないこと

• ガバナンスが弱い。 課題に対するフォローアップの責任者がいないと、発見された内容は無駄になってしまう。まずは責任者を明確にしておくことが重要だ。
• 異議を唱えている時間はない。 処理能力で評価される人は、追加のテストを実施しないだろう。
• クローズドモデル。 アナリストが前提条件を把握できなければ、それを検証することはできない。
• 証拠には限界がある。 一連の事例に対するスコアは、アナリストが直面するすべての課題を網羅するものではなく、いかなる訓練演習も実際の財務モデルの妥当性を検証するものではない。

これらの問題を早めにスポンサーに伝え、それぞれ誰が解決するのかを合意しておくこと。

よくある質問

モデルリスク訓練演習とは何ですか？

アナリストが安全モデルにおける前提条件を変更し、その変化を解釈し、モデルの限界と適切な使用方法を説明する練習課題。

トレーニングラボは、実際のモデルの有効性を検証できるか？

いいえ。当研究室では、安全なモデルまたは合成モデルを用いて手法を指導します。生体モデルの検証は、貴機関のガバナンスおよび関連するガイドラインに従って実施してください。

アナリストはこれらのラボを実行するためにプログラミングの知識が必要ですか？

必ずしもそうとは限りません。スプレッドシートモデルや、ストレス変化のメニューを備えた承認済みのツールで十分です。ここで教えられているスキルは解釈であり、プログラミングではありません。

チャレンジスキルを公平に評価するにはどうすれば良いでしょうか？

新しい事例、簡潔な評価基準、合意されたアンカーポイントを使用し、モデルリスク専門家に採点方法を調整してもらう。

どこから始めれば

モデルリスクの専門家に、小規模で安全なモデルを1つと、承認済みの前提条件の変更点を3つ依頼してください。3つの評価基準からなるルーブリックを作成し、1つのチームで「前提条件を1つ変更する」演習を実施した後、展開する前に新しいケースを評価してください。

To see how a predict-then-reveal lab like this could run live and be reused self-paced afterwards, explore AhaSlides.