Оценить решение о риске можно еще до вложения капитала, но только если вы оцениваете обоснование и проверку лимитов, а не прибыль, которую приносит симуляция. В симуляции обучающийся может заработать деньги по счастливой случайности и потерять их из-за здравого суждения, поэтому сам результат мало что говорит. В этом руководстве показано, как построить оценку симуляции по управлению рисками на основе четкой рубрики, практического примера с возможностью повторной попытки и нового примера, проверяющего перенос средств.
Данный документ предназначен для руководителей отделов обучения управлению рисками, а также для специалистов по борьбе с финансовыми преступлениями и соблюдению нормативных требований, которым необходимо решить, готов ли сотрудник к реальной работе. Он охватывает только разработку учебных программ. Это не финансовое руководство, и каждый случай, ограничение и критерий должны быть рассмотрены квалифицированным специалистом и согласованы с вашей собственной политикой.
Интересные факты
| Вопрос | Короткий ответ |
|---|---|
| Что вы оцениваете? | Качество решения и его обоснование, а не смоделированная прибыль или убыток. |
| Какой критерий оценки? | Четко сформулированная оценочная шкала, оцениваемая по каждому критерию от 0 до 2 баллов, с указанием критических ошибок. |
| Как выглядит хороший случай? | Несколько обоснованных вариантов с различным уровнем риска потерь. |
| Как проверить перевод? | Новый, ранее не встречавшийся случай, выявленный после задержки, получил аналогичную оценку. |
| Что нельзя исправить с помощью обучения? | Нечеткие ограничения, некачественные инструменты и нехватка персонала. |
| Кто проверяет обоснованность случая и критерии оценки? | Перед использованием проконсультируйтесь со специалистом по управлению рисками или соблюдению нормативных требований. |
1. Опишите проблему с производительностью.
Начинайте с задачи, а не с курса. В этой роли необходимо оценивать решения, используя четкую систему оценки рисков: взвешивать риски каждого варианта, сравнивать их с действующими ограничениями, фиксировать обоснование и сообщать о проблемах, если отсутствует информация или полномочия.
Вот показательный пример. Торговому отделу показывают три возможных варианта реагирования на позицию, которая изменилась не в его пользу. Первый — резкое сокращение риска и принятие небольшого гарантированного убытка. Второй — удержание и хеджирование части позиции. Третий — увеличение позиции на основе предположения о возможном развороте рынка. Каждый вариант спорный, и каждый несёт в себе разные потенциальные убытки. Ни один из них заранее не обозначен как «правильный». Отличить готового к обучению человека от неготового — это то, как он выбирает и как объясняет свой выбор. Это вымышленный сценарий, а не случай из практики клиента, и он должен оставаться отдельным от любых реальных финансовых рекомендаций.
2. Диагностика пробелов в знаниях и контексте.
Прежде чем создавать симуляцию, сравните, что должна делать участница роли, с тем, что проверяют существующие системы обучения и оценки. Тест на знание продукта проверяет запоминание информации. Кейс с оценкой по критериям проверяет применение знаний и навыки оценки. Наше руководство по соответствие учебных мероприятий таксономии Блума объясняет, как определить это различие.
Затем поищите причины, которые невозможно устранить с помощью обучения:
- Пределы. Четко ли прописаны лимиты риска, и все ли их читают одинаково? Совет по финансовой стабильности Принципы эффективной системы оценки допустимого уровня риска (2013) рассматривают ограничения риска как одну из четырех областей, в которых организация должна правильно определить риски, наряду с концептуальной основой, заявлением о допустимом уровне риска и ролями совета директоров и высшего руководства. Если ограничения неоднозначны, моделирование только выявит это.
- Инструменты. Могут ли люди быстро увидеть последствия своих рисков в реальных системах?
- Власть. Знают ли учащиеся, когда следует обратиться к вышестоящему руководству и к кому?
- Практикуйтесь. Они когда-нибудь раньше звонили, чтобы получить обратную связь?
Только последний представляет собой очевидный пробел в обучении. Назовите остальные спонсорам и договоритесь о том, кто является владельцем каждого из них.
3. Разработайте целенаправленную подготовку и практику.
Качественная имитационная модель управления рисками состоит из трех уровней, и каждый из них выполняет свою задачу.
Подготовка: проверьте необходимые условия. Дайте краткую диагностику правил, ограничений и концепций, необходимых для решения данного кейса. Проверка на знание материала подтверждает только наличие необходимых предварительных условий. Не следует сообщать о ней как о готовности.
Практика: принимайте решения и получайте обратную связь по ним. Используйте сценарии с разветвлением, в которых обучающийся выбирает ответ, обосновывает его и видит последствия. Обратная связь должна касаться конкретного решения: «Вы указали ограничение, но не сказали, что будете делать, если оно будет нарушено». Наше руководство по разработка интерактивных методов обучения с полезной обратной связью идет дальше.
Обзор и перенос: обсудите один неоднозначный вариант выбора. Вводные комментарии преподавателя в режиме реального времени наиболее полезны там, где ответ зависит от субъективной оценки, например, когда два правильных варианта тянут в противоположных направлениях. Асинхронного просмотра достаточно для простых проверок по четко определенным критериям. Наше руководство по сочетание самостоятельной подготовки с интерактивным коучингом показывает, как разделить эти две части.
4. Пример решения задачи с обратной связью и возможностью повторной попытки.
Это иллюстративный пример. Специалист по управлению рисками или соблюдению нормативных требований должен проверить кейс и критерии ответа перед использованием.
Дело. Позиция изменилась в сторону снижения цены и теперь близка к своему лимиту риска. У обучающегося есть три опциона с разным уровнем риска потерь, и отсутствует одна важная информация о рынке.
Задача. Объясните принятое решение, приведите доказательства, которые вы использовали, и укажите, какая дополнительная информация или поддержка вам необходима.
Первая попытка. «Я бы подождал, потому что, вероятно, всё вернётся на круги своя». Рецензент спрашивает, какой предел применим, насколько близка позиция к критической точке и что бы сделал обучающийся, если бы ситуация вышла за её пределы. На последние два вопроса обучающийся не может ответить.
Отправьте отзыв и попробуйте снова. Рецензент указывает на ограничение в материалах дела и просит обучающегося пересмотреть решение, на этот раз указав степень воздействия после каждого варианта.
Более убедительная попытка. Учащийся выбирает частичное хеджирование, указывает результирующий уровень риска по отношению к лимиту, говорит, что послужит поводом для дальнейшего снижения, и запрашивает недостающие данные, прежде чем принимать дальнейшие решения.
Почему каждый ответ является обоснованным или неполным. Оценивайте по утвержденным критериям, а не по собственным предпочтениям рецензента. Первая попытка может выбрать разумный вариант, но при этом игнорируется ограничение и не срабатывает триггер. Вторая попытка правильна, поскольку в ней присутствуют все необходимые аргументы, проверка ограничения и механизм эскалации, независимо от выбранного варианта. Включите вариант, в котором обучающийся делает правильный выбор, но никогда не проверяет ограничение, и спросите группу, как следует изменить оценку.
5. Оцените возможности с помощью четко определенной оценочной шкалы.
Оцените каждый критерий по шкале от 0 до 2. Согласуйте критерии со своим специалистом; данная рубрика является предлагаемой отправной точкой, а не утвержденным стандартом готовности.
| Критерий | 0: отсутствует или не поддерживается | 1: частичный, с пропусками | 2: полный и обоснованный |
|---|---|---|---|
| Выполнение задачи | Решение не принято, или же нет никаких записей о его принятии. | Решение было принято без подтверждающих доказательств. | Решение и подтверждающие его доказательства фиксируются. |
| аргументация | Отсутствует описание ограничений или альтернативных вариантов. | Некоторые ограничения указаны, неопределенность игнорируется. | Ограничения, альтернативы и неопределенность объяснены последовательно. |
| Соблюдение ограничений | Лимит не проверен или превышен. | Указан предельный уровень воздействия, но он к нему не применяется. | Показатель риска проверен на соответствие лимиту для каждого варианта. |
| Границы | Действует вне утвержденных процедур. | Относится к процедуре непоследовательно. | Использует утвержденные процедуры и обращается за помощью в случае сомнений. |
Критические ошибки следует определять отдельно, например, решение, нарушающее установленный лимит. Общая оценка ни в коем случае не должна скрывать критическую ошибку. Рубрики помогают оценивать каждый раз одинаково: a 2007 обзор исследований по критериям оценки В журнале Educational Research Review были рассмотрены их надежность, валидность и образовательные последствия, и было отмечено, что надежность оценки может быть повышена с помощью рубрик, особенно аналитических, тематически ориентированных, подкрепленных примерами или обучением экспертов. Последовательность по-прежнему зависит от согласования критериев и проверки того, что два эксперта дают одинаковую оценку одному и тому же ответу.
6. Спланируйте перевод.
Показатель симуляции показывает, что делал обучающийся в ходе симуляции. Чтобы узнать, сохраняется ли этот результат, протестируйте его на новом примере с задержкой, а затем добавьте контролируемое рабочее задание.
В соответствии с этим планом действуют два правила: последовательность рассуждений по случаям и соблюдение пределов риска В случае, если обучающийся сталкивался с подобными ситуациями, сравните базовый вариант с незнакомым последующим вариантом, определите генеральную совокупность, знаменатель и временные рамки, прежде чем начать. Затем проверьте сопутствующие изменения, такие как новая структура лимитов или изменение рыночных условий, прежде чем засчитывать обучение. Наше руководство по Оценка способности принимать решения и решать проблемы в процессе обучения В данном разделе более подробно рассматриваются вопросы, касающиеся опорных точек и калибровки оценщиков.
Где интерактивная доставка помогает
Interactive formats help where people should commit to a decision before they see the group. In a live session, a facilitator can present the case, ask every learner to choose an option and submit a one-line reason, then reveal the spread before discussion. That makes disagreement visible, which is where the most useful teaching happens. The same case can run self-paced for the preparation layer and for the unseen follow-up. AhaSlides supports interactive learning and moving between live and self-paced delivery. Check any specific authoring, feedback or reporting function you plan to rely on against your own workflow, and treat trading simulators, AI and system integrations as external or unconfirmed until you have seen them work.
Что обучение не исправит
- Неоднозначные пределы. Чёткие правила не могут исправить нечёткие границы.
- Инструменты. Если воздействие трудно заметить в реальных системах, никакое моделирование этого не изменит.
- Кадровое обеспечение и время. Люди, которых нельзя освободить, не могут заниматься врачебной деятельностью.
- Ограничения по количеству доказательств. Рассматривайте величину эффекта как контекст и измеряйте показатели в своей собственной выборке. Результаты моделирования не являются доказательством эффективности при использовании реального капитала.
Часто задаваемые вопросы
Как оценивать решения по управлению рисками в условиях моделирования?
Оценивайте обоснование и проверку пределов по четко определенной рубрике, а не по смоделированной прибыли. Добавьте определенные критические ошибки, чтобы хороший общий результат не скрывал серьезного сбоя.
Что должен содержать смоделированный сценарий риска?
Несколько обоснованных вариантов с различными уровнями риска убытков, действующими лимитами, некоторыми доказательствами для подтверждения и как минимум одним пробелом в информации.
Может ли викторина заменить симуляцию?
Нет. Тест на запоминание подтверждает, что правила и ограничения известны. Он не показывает, может ли обучающийся применить их к решению, которое ощущается в реальной жизни.
Как вы поняли, что обучение сработало?
Проведите оценку нового, ранее не встречавшегося случая после некоторой задержки по той же рубрике, сравните его с базовым показателем и проверьте, что еще изменилось за это время.
Кто должен проверять дело и критерии оценки?
Специалист по управлению рисками или соблюдению нормативных требований, который знает ваши правила и ограничения еще до того, как будет произведена оценка на их основе.
Когда начать
Выберите одно решение, которое входит в ваши должностные обязанности и за которое вы несете реальную ответственность. Составьте кейс с тремя обоснованными вариантами, адаптируйте четырехкритериальную рубрику вместе со своим специалистом и проведите его в небольшой группе. Через месяц оцените новый кейс, прежде чем масштабировать его. Для более широкого обзора обучения управлению рисками см. наше руководство по... курсы, необходимые каждому риск-менеджеру.
To see how a case like this could run live and be reused self-paced afterwards, explore AhaSlides.
