แบบฝึกหัดการฝึกอบรมด้านความเสี่ยงของแบบจำลอง: วิธีการออกแบบห้องปฏิบัติการทดสอบภาวะวิกฤตที่สอนให้นักวิเคราะห์ตั้งคำถามต่อสมมติฐานต่างๆ

แบบจำลองความเสี่ยงด้านเครดิตทำงานได้ดีมาตลอดสามปีที่ผ่านมา การทดสอบย้อนหลังนั้นราบรื่น ผลลัพธ์อยู่ในช่วงที่ยอมรับได้ และฝ่ายธุรกิจก็ไว้วางใจในแบบจำลองนี้ ในห้องฝึกอบรม นักวิเคราะห์ได้เปลี่ยนสมมติฐานอินพุตที่ได้รับการอนุมัติข้อหนึ่ง ซึ่งก็คืออัตราการฟื้นตัวที่คาดหวังของกลุ่มสินเชื่อ ไปเป็นค่าที่ไม่สบายใจมากขึ้น ผลลัพธ์หลักแทบไม่เปลี่ยนแปลง แต่มีสองส่วนที่เปลี่ยนแปลงไปอย่างมาก นักวิเคราะห์ต้องตัดสินใจว่านั่นหมายความว่าอย่างไร จะบอกอะไรกับเจ้าของแบบจำลอง และไม่ควรใช้แบบจำลองนี้กับอะไรบ้าง

นี่เป็นเพียงสถานการณ์จำลอง ไม่ใช่กรณีศึกษาของลูกค้าที่บันทึกไว้ แสดงให้เห็นถึงทักษะที่การฝึกอบรมด้านความเสี่ยงของแบบจำลองต้องสร้างขึ้น ได้แก่ การทดสอบสมมติฐาน การอธิบายข้อจำกัด และการให้เหตุผลในการตัดสินใจเมื่อแบบจำลองดูมีเสถียรภาพ คู่มือนี้จัดทำขึ้นสำหรับหัวหน้าฝ่ายฝึกอบรมด้านความเสี่ยง และสำหรับผู้นำด้านการปฏิบัติตามกฎระเบียบและความเสี่ยงของแบบจำลองที่เป็นเจ้าของคำตอบ ครอบคลุมเฉพาะการออกแบบการฝึกอบรมเท่านั้น การฝึกอบรมไม่ได้เป็นการตรวจสอบความถูกต้องของแบบจำลองทางการเงินที่ใช้งานจริง และผู้เชี่ยวชาญด้านความเสี่ยงของแบบจำลองควรตรวจสอบทุกกรณีศึกษาก่อนนำไปใช้

แบบฝึกหัดการฝึกอบรมเกี่ยวกับความเสี่ยงของแบบจำลองคืออะไร?

แบบฝึกหัดการประเมินความเสี่ยงของแบบจำลอง คือ แบบฝึกหัดที่มีโครงสร้าง ซึ่งนักวิเคราะห์จะตรวจสอบแบบจำลอง โดยปกติจะเป็นแบบจำลองที่ง่ายขึ้นหรือแบบจำลองสังเคราะห์ โดยการเปลี่ยนแปลงสมมติฐานและข้อมูลป้อนเข้า จากนั้นตีความสิ่งที่เกิดขึ้นและอธิบายข้อจำกัดของสิ่งที่แบบจำลองสามารถรองรับได้ ห้องปฏิบัติการทดสอบภาวะวิกฤต (stress-testing lab) คือรูปแบบการปฏิบัติจริงของแบบฝึกหัดนี้: แบบจำลองที่ปลอดภัย ชุดการเปลี่ยนแปลงที่ได้รับการอนุมัติ และข้อกำหนดในการให้เหตุผลประกอบข้อสรุป

ข้อเท็จจริงด่วน

1. อธิบายปัญหาด้านประสิทธิภาพ

เริ่มต้นด้วยการตัดสินใจ นักวิเคราะห์ต้องทำอย่างไรเมื่อแบบจำลองดูดี? เขียนเป็นประโยคเดียวที่นำด้วยคำกริยา: "เปลี่ยนสมมติฐานที่ได้รับการอนุมัติ สังเกตสิ่งที่เปลี่ยนแปลง อธิบายข้อจำกัดที่เกิดขึ้น และบอกว่าแบบจำลองควรและไม่ควรใช้ทำอะไร"

ผู้บังคับบัญชาระบุทักษะนี้ ธนาคารกลางสหรัฐและสำนักงานผู้ควบคุมดูแลสกุลเงินได้ออกประกาศนี้ SR 11-7 แนวทางการกำกับดูแลด้านการจัดการความเสี่ยงของแบบจำลองเมื่อวันที่ 4 เมษายน 2011 เอกสารฉบับนี้อธิบายถึงความเสี่ยงของแบบจำลองว่าเป็นศักยภาพที่จะเกิดผลเสียจากการตัดสินใจที่อิงจากผลลัพธ์ของแบบจำลองที่ไม่ถูกต้องหรือใช้ในทางที่ผิด และเรียก "การท้าทายอย่างมีประสิทธิภาพ" ว่าเป็นหลักการชี้นำ: การวิเคราะห์เชิงวิพากษ์โดยฝ่ายที่มีความรู้และเป็นกลางซึ่งสามารถระบุข้อจำกัดและข้อสมมติของแบบจำลอง และทำการเปลี่ยนแปลงที่เหมาะสมได้ นี่คือแนวทางของสหรัฐอเมริกา ไม่ใช่กฎสำหรับทุกเขตอำนาจศาล ดังนั้นโปรดตรวจสอบข้อกำหนดที่ใช้กับคุณ นี่คือคำอธิบายที่ใกล้เคียงกับประสิทธิภาพที่การฝึกอบรมควรสร้างขึ้น

2. วิเคราะห์ช่องว่างด้านการเรียนรู้และบริบท

เปรียบเทียบสิ่งที่บทบาทใหม่ต้องการกับแนวทางการฝึกอบรมและการประเมินผลในปัจจุบันของคุณ

1. ปัจจุบันนักวิเคราะห์ทำงานอะไรบ้าง? ถ้าการฝึกอบรมเป็นการบรรยายเกี่ยวกับการกำกับดูแลแบบจำลองพร้อมกับรายการตรวจสอบเอกสาร พวกเขาก็ได้เรียนรู้คำศัพท์แล้ว แต่พวกเขาไม่เคยฝึกฝนการทำลายแบบจำลองโดยเจตนา
2. ความต้องการด้านการรับรู้คืออะไร? ในระบบการจำแนกประเภทที่ปรับปรุงใหม่ของบลูม การทดสอบคือการประยุกต์ใช้ การตีความว่าทำไมแบบจำลองจึงล้มเหลวคือการวิเคราะห์ การตัดสินว่าแบบจำลองเหมาะสมกับการใช้งานหรือไม่คือการประเมิน และการออกแบบการทดสอบความเครียดใหม่คือการสร้างสรรค์ คู่มือของเราเกี่ยวกับ การจับคู่กิจกรรมการเรียนรู้กับอนุกรมวิธานของบลูม อธิบายวิธีการอ่านข้อเรียกร้องเหล่านี้
3. มีปัจจัยอื่นนอกเหนือจากทักษะที่เป็นอุปสรรคหรือไม่? ตรวจสอบจำนวนบุคลากร เครื่องมือ และขั้นตอนการทำงานก่อน หากนักวิเคราะห์ไม่มีเวลาที่จะตั้งคำถาม ไม่มีสิทธิ์เข้าถึงข้อสมมติฐานของแบบจำลอง หรือไม่มีช่องทางที่จะแจ้งข้อจำกัด ห้องปฏิบัติการก็จะไม่เปลี่ยนแปลงสิ่งที่เกิดขึ้นในวันจันทร์
4. ยินดีรับความท้าทายหรือไม่? ถ้าการท้าทายแบบจำลองหมายถึงการวิพากษ์วิจารณ์เจ้าของแบบจำลองนั้น ผู้คนก็จะเงียบไป ควรตกลงกันก่อนว่าการท้าทายนั้นจะได้รับการยอมรับอย่างไร ก่อนที่จะฝึกฝนเพื่อรับมือ

3. ออกแบบการเตรียมตัวและการฝึกฝนอย่างมีเป้าหมาย

มอบหมายงานให้แต่ละขั้นตอนอย่างชัดเจน

การเตรียมตัว: ตรวจสอบข้อกำหนดเบื้องต้น แบบทดสอบวินิจฉัยตนเองสั้นๆ เกี่ยวกับวัตถุประสงค์ของแบบจำลอง ข้อมูลป้อนเข้าหลัก และแนวคิดทางสถิติที่ห้องปฏิบัติการต้องการ การตรวจสอบความจำแบบนี้เป็นการยืนยันเฉพาะข้อกำหนดเบื้องต้นเท่านั้น ห้ามรายงานว่าเป็นความสามารถ

การฝึกปฏิบัติ: การฝึกปฏิบัติในห้องปฏิบัติการทดสอบความเครียดของแบบจำลอง สร้างแบบจำลองขนาดเล็กที่ปลอดภัย หรือใช้แบบจำลองสังเคราะห์ที่ได้รับการอนุมัติ แล้วให้ผู้เรียนเลือกปรับเปลี่ยนตามที่ได้รับอนุมัติ มีแบบฝึกหัด 3 ข้อ เรียงตามระดับความยากง่าย:

• เปลี่ยนสมมติฐานข้อหนึ่ง ผู้เรียนจะย้ายข้อมูลนำเข้าที่ได้รับอนุมัติหนึ่งรายการ และบันทึกว่าข้อมูลส่งออกใดบ้างที่เปลี่ยนแปลง เปลี่ยนแปลงไปเท่าใด และข้อมูลส่งออกใดบ้างที่ไม่เปลี่ยนแปลง
• ค้นหาส่วนที่มันขาด ผู้เรียนจะพิจารณาตัวเลขที่อยู่ด้านล่างของหัวข้อข่าวและหาจุดที่แบบจำลองมีความเสถียรน้อยที่สุด จากนั้นจึงระบุว่าพวกเขาจะไม่ใช้แบบจำลองนี้กับงานอะไรบ้าง
• ออกแบบการทดสอบครั้งต่อไป ผู้เรียนเสนอให้ทำการทดสอบความเครียดเพิ่มเติม ระบุว่าผลลัพธ์แบบใดที่จะเปลี่ยนมุมมองของพวกเขา และค่าใช้จ่ายในการดำเนินการทดสอบจะเป็นเท่าใด

ข้อเสนอแนะที่เชื่อมโยงกับการตัดสินใจ การระบุว่า "คุณรายงานการเปลี่ยนแปลงหัวข้อข่าว แต่ไม่ได้ตรวจสอบสองส่วนที่มีการเปลี่ยนแปลงมากที่สุด" นั้นมีประโยชน์มากกว่าการให้คะแนน ควรระบุการตัดสินใจ หลักฐานที่ใช้หรือที่ขาดหายไป และเกณฑ์ที่ได้รับการอนุมัติ

การป้อนข้อมูลสดจากผู้สอนหรือการทบทวนแบบไม่พร้อมกัน? การป้อนข้อมูลแบบเรียลไทม์จะเพิ่มคุณค่าสูงสุดเมื่อผู้เชี่ยวชาญด้านความเสี่ยงของแบบจำลองอธิบายว่าเหตุใดข้อจำกัดจึงมีความสำคัญ หรือเหตุใดการทดสอบจึงอ่อนแอ การทบทวนแบบไม่พร้อมกันนั้นเพียงพอสำหรับแนวคิด การตรวจสอบผลการทดสอบเทียบกับเกณฑ์ และข้อจำกัดที่เป็นลายลักษณ์อักษรที่ผู้เชี่ยวชาญสามารถอ่านได้ในภายหลัง การผสมผสานที่นิยมคือ การเตรียมตัวด้วยตนเอง การฝึกปฏิบัติในห้องปฏิบัติการที่มีผู้ช่วยอำนวยความสะดวก จากนั้นจึงทำการทดสอบแบบจำลองจริงภายใต้การดูแลของเพื่อนร่วมงานที่มีประสบการณ์มากกว่า

4. ลองทำตัวอย่างที่สมจริงดู

เป็นเพียงตัวอย่างเท่านั้น ผู้เชี่ยวชาญด้านความเสี่ยงของแบบจำลองควรตรวจสอบความถูกต้องของกรณีและเกณฑ์การตอบคำถามก่อนนำไปใช้

กรณี. แบบจำลองการสูญเสียสินเชื่อแบบง่ายใช้ค่าอัตราการฟื้นตัวที่คาดการณ์ไว้ที่ 60 เปอร์เซ็นต์ การทดสอบย้อนหลังให้ผลลัพธ์ที่ดี การปรับแบบจำลองความเครียดที่ได้รับการอนุมัติทำให้ค่าอัตราดังกล่าวลดลงเหลือ 40 เปอร์เซ็นต์สำหรับสินเชื่อที่ไม่มีหลักประกัน การประมาณการการสูญเสียของพอร์ตโฟลิโอโดยรวมเพิ่มขึ้น 4 เปอร์เซ็นต์ ในสองกลุ่มสินเชื่อ ซึ่งเป็นสินเชื่อที่ไม่มีหลักประกันสำหรับธุรกิจขนาดเล็ก การสูญเสียเพิ่มขึ้นมากกว่า 30 เปอร์เซ็นต์

ภารกิจนั้น ผู้เรียนระบุสิ่งที่การทดสอบแสดงให้เห็น อธิบายข้อจำกัด และเสนอแนะการตัดสินใจ

เป็นการลองทำครั้งแรก "การเปลี่ยนแปลงโดยรวมอยู่ที่เพียง 4 เปอร์เซ็นต์ ดังนั้นแบบจำลองจึงมีความแม่นยำภายใต้สมมติฐานนี้"

ให้ข้อเสนอแนะและลองใหม่อีกครั้ง ผู้ดำเนินรายการถามว่าส่วนใดมีการเปลี่ยนแปลงมากที่สุด มีขนาดใหญ่แค่ไหนในพอร์ตโฟลิโอ และตัวเลขโดยรวมนั้นซ่อนอะไรไว้บ้าง ส่วนการถามซ้ำจะถามถึงการตีความ ข้อจำกัด และข้อเสนอแนะ

ความพยายามที่หนักแน่นกว่าเดิม "ตัวเลขหลักเปลี่ยนแปลงเล็กน้อยเนื่องจากกลุ่มที่ได้รับผลกระทบมีสัดส่วนน้อยในพอร์ตโฟลิโอ ภายในกลุ่มเหล่านั้น การประมาณการเพิ่มขึ้นมากกว่า 30 เปอร์เซ็นต์ ดังนั้นแบบจำลองจึงมีความอ่อนไหวสูงต่อสมมติฐานการฟื้นตัวสำหรับสินเชื่อที่ไม่ต้องมีหลักประกันสำหรับธุรกิจขนาดเล็ก ผมไม่แนะนำให้ใช้ตัวเลข 60 เปอร์เซ็นต์เพียงตัวเดียวสำหรับกลุ่มเหล่านั้น ผมขอแนะนำให้ใช้สมมติฐานการฟื้นตัวในระดับกลุ่มย่อยและช่วงความอ่อนไหวที่บันทึกไว้ และผมจะบอกเจ้าของแบบจำลองว่าผมได้ทดสอบเพียงข้อมูลป้อนเข้าเดียวเท่านั้น ผมยังไม่ได้ทดสอบความสัมพันธ์หรือคุณภาพของข้อมูล"

เหตุใดคำตอบแต่ละข้อจึงสมเหตุสมผลหรือไม่สมบูรณ์ จงประเมินแต่ละชิ้นงานตามเกณฑ์ที่ได้รับการอนุมัติ ไม่ใช่ตามความชอบของผู้จัดงาน การทดลองครั้งแรกจะอ่านผลรวมแล้วหยุด การทดลองที่แข็งแกร่งกว่าจะค้นหาจุดที่แบบจำลองมีความอ่อนไหว ระบุข้อจำกัดที่เกี่ยวข้องกับการใช้งาน แนะนำการดำเนินการที่จำกัด และระบุสิ่งที่ยังไม่ได้ทดสอบ โดยจะไม่กล่าวอ้างว่าแบบจำลองนั้นผิด

5. ประเมินศักยภาพและวางแผนการถ่ายโอน

หลักฐานแสดงความสามารถคือการตอบสนองต่อกรณีตัวอย่างใหม่ที่ผู้เรียนยังไม่เคยเห็นมาก่อน ให้คะแนนตามเกณฑ์สั้นๆ ตั้งแต่ 0 ถึง 2 ต่อเกณฑ์ โดยกำหนดเกณฑ์ร่วมกับผู้เชี่ยวชาญของคุณ คู่มือของเราเกี่ยวกับ การประเมินวิจารณญาณและการแก้ปัญหาในการฝึกอบรม ครอบคลุมถึงผู้กำหนดจุดยึดและผู้ประเมินการสอบเทียบ

เกณฑ์การให้คะแนน: 0 หมายถึง ขาดหายไปหรือไม่ได้รับการสนับสนุน 1 หมายถึง บางส่วนและมีข้อบกพร่องที่เกี่ยวข้อง และ 2 หมายถึง ครบถ้วนและมีเหตุผลตามเกณฑ์ที่ตกลงกันไว้ กำหนดข้อผิดพลาดที่สำคัญแยกต่างหาก ตัวอย่างเช่น การนำเสนอผลการทดสอบความเครียดเป็นการตรวจสอบความถูกต้องของแบบจำลองที่ใช้งานจริง เพื่อให้คะแนนโดยรวมที่ดีไม่สามารถปกปิดข้อผิดพลาดที่สำคัญได้ เกณฑ์การให้คะแนนนี้เป็นเพียงจุดเริ่มต้นที่เสนอ ไม่ใช่มาตรฐานความพร้อมที่ได้รับการตรวจสอบแล้ว

การติดตามผลในสถานที่ทำงาน หลังจากผ่านไปช่วงเวลาที่เหมาะสม ให้ลองใช้กรณีตัวอย่างใหม่ หรือทบทวนแบบฝึกหัดภายใต้การดูแลบนแบบจำลองจริง แล้วเปรียบเทียบกับค่าพื้นฐานในสองมาตรวัดเดียวกัน ได้แก่ คุณภาพของการทดสอบความเครียดและการตีความความล้มเหลว กำหนดกลุ่มตัวอย่าง ตัวหาร และช่วงเวลาไว้ล่วงหน้า และบันทึกว่าผู้เข้าร่วมได้เห็นกรณีใดบ้างในการฝึกอบรม เพื่อให้คุณสามารถแยกแยะความแตกต่างระหว่างการจดจำและการถ่ายทอดความรู้ได้

หลักฐานใดที่จะแสดงให้เห็นว่าการฝึกอบรมได้ผล?

มองหานักวิเคราะห์ที่จงใจเปลี่ยนแปลงสมมติฐานในแบบจำลองที่พวกเขาไม่เคยเห็นมาก่อน ตรวจสอบรายละเอียดให้ลึกซึ้งกว่าหัวข้อข่าว ระบุข้อจำกัดที่เกี่ยวข้องกับการใช้งาน และบอกสิ่งที่พวกเขายังไม่ได้ทดสอบ เพิ่มสิ่งที่การตรวจสอบบันทึกข้อโต้แย้งของพวกเขาแสดงให้เห็น: ข้อจำกัดที่เฉพาะเจาะจงมากกว่าคำเตือนทั่วไป

ควรระมัดระวังผลลัพธ์ต่างๆ เช่น จำนวนข้อค้นพบ การตรวจสอบแบบจำลองใหม่ การสอบตามกฎระเบียบ หรือการเปลี่ยนแปลงผู้ตรวจสอบงาน อาจทำให้ผลลัพธ์เหล่านั้นเปลี่ยนแปลงไปในช่วงเวลาเดียวกัน ข้อค้นพบที่มากขึ้นอาจหมายถึงความท้าทายที่เข้มงวดมากขึ้น หรือเกณฑ์ที่เปลี่ยนแปลงไป ดังนั้นควรตรวจสอบก่อนที่จะให้เครดิตการฝึกอบรม

ในกรณีที่การนำเสนอแบบโต้ตอบมีประโยชน์

Interactive formats help where everyone should commit to a prediction before the group sees the result. In a live session, a facilitator can describe a change, ask each analyst to predict which outputs will move and then reveal the result, which exposes how far intuition and the model differ. The same cases can run self-paced as preparation. AhaSlides supports interactive learning and moving between live and self-paced delivery. Check any authoring, feedback or reporting function you plan to rely on against your own workflow. Treat simulators, virtual reality, AI and system integrations as external or unconfirmed until you have seen them work. A lab on a safe model is practice, not a substitute for the validation of a live one.

สิ่งที่การฝึกอบรมแก้ไขไม่ได้

• การบริหารจัดการที่อ่อนแอ หากไม่มีใครรับผิดชอบในการติดตามผลความท้าทาย ผลการค้นพบก็จะหมดอายุลง ควรตกลงหาผู้รับผิดชอบก่อน
• ไม่มีเวลาที่จะโต้แย้งแล้ว คนที่ได้รับการประเมินจากปริมาณงานที่ทำ จะไม่ทำการทดสอบเพิ่มเติม
• โมเดลแบบปิด หากนักวิเคราะห์ไม่สามารถมองเห็นสมมติฐานได้ พวกเขาก็ไม่สามารถทดสอบสมมติฐานเหล่านั้นได้
• ข้อจำกัดของหลักฐาน คะแนนจากชุดกรณีศึกษาไม่ได้อธิบายถึงความท้าทายทั้งหมดที่นักวิเคราะห์จะต้องเผชิญ และแบบฝึกหัดการฝึกอบรมใดๆ ก็ไม่สามารถยืนยันความถูกต้องของแบบจำลองทางการเงินที่ใช้งานจริงได้

แจ้งปัญหาเหล่านี้ให้ผู้สนับสนุนทราบตั้งแต่เนิ่นๆ และตกลงกันว่าใครจะเป็นผู้รับผิดชอบในการแก้ไขปัญหาแต่ละข้อ

คำถามที่พบบ่อย

แบบฝึกหัดการฝึกอบรมเกี่ยวกับความเสี่ยงของแบบจำลองคืออะไร?

ฝึกฝนทักษะการวิเคราะห์โดยการเปลี่ยนแปลงสมมติฐานในแบบจำลองที่ปลอดภัย ตีความสิ่งที่เปลี่ยนแปลง และอธิบายข้อจำกัดของแบบจำลองและการใช้งานที่เหมาะสม

ห้องปฏิบัติการฝึกอบรมสามารถตรวจสอบความถูกต้องของแบบจำลองที่มีชีวิตได้หรือไม่?

ไม่ ห้องปฏิบัติการสอนวิธีการโดยใช้แบบจำลองที่ปลอดภัยหรือแบบจำลองสังเคราะห์ การตรวจสอบความถูกต้องของแบบจำลองจริงเป็นไปตามหลักเกณฑ์และแนวทางที่เกี่ยวข้องของคุณเอง

นักวิเคราะห์จำเป็นต้องเขียนโค้ดเพื่อใช้งานแล็บเหล่านี้หรือไม่?

ไม่จำเป็นเสมอไป แบบจำลองในสเปรดชีตหรือเครื่องมือที่ได้รับการอนุมัติพร้อมเมนูการเปลี่ยนแปลงความเครียดก็เพียงพอแล้ว ทักษะที่สอนคือการตีความ ไม่ใช่การเขียนโปรแกรม

คุณประเมินทักษะการแก้โจทย์ปัญหาอย่างยุติธรรมได้อย่างไร?

ใช้กรณีศึกษาใหม่ เกณฑ์การประเมินสั้นๆ และตัวชี้วัดที่ตกลงกันไว้ พร้อมทั้งให้ผู้เชี่ยวชาญด้านความเสี่ยงแบบจำลองปรับเทียบการให้คะแนน

จะเริ่มที่ไหนดี

ขอแบบจำลองขนาดเล็กที่ปลอดภัยหนึ่งแบบและข้อสมมติฐานที่ได้รับการอนุมัติสามข้อจากผู้เชี่ยวชาญด้านความเสี่ยงของแบบจำลอง ร่างเกณฑ์การประเมินสามข้อ ดำเนินการทดสอบ "เปลี่ยนข้อสมมติฐานหนึ่งข้อ" กับทีมหนึ่งทีม จากนั้นประเมินกรณีใหม่ก่อนที่จะนำไปใช้จริง

To see how a predict-then-reveal lab like this could run live and be reused self-paced afterwards, explore AhaSlides.