Ein Krankenhausteam optimiert seinen Abrechnungsprozess. Es schult die Verwaltungsmitarbeiter im neuen Verfahren, und sechs Monate später sind die Kosten pro Abrechnungsfall niedriger. Die Finanzabteilung ist zufrieden und fragt nach einer konkreten Zahl: Wie viel hat die Schulung eingespart?
Die ehrliche Antwort ist schwieriger als die Frage. Innerhalb von sechs Monaten veränderten sich die Personalstruktur, das Leistungsvolumen schwankte und ein Kostenträger passte seine Richtlinien an. Ein Teil der Einsparungen resultierte aus der Umstrukturierung, ein Teil aus den Schulungen und ein Teil aus keinem der genannten Faktoren. Die Rentabilität von Schulungen zur Qualitätsverbesserung hängt davon ab, diese einzelnen Faktoren zu analysieren und die verbleibenden Ergebnisse mit einem bestimmten Konfidenzniveau zu berichten.
Dies ist ein beispielhaftes Szenario, kein dokumentierter Fall. Dieser Leitfaden richtet sich an Leiter der Geburtshilfe und Entwicklungsabteilung von Krankenhäusern sowie an die mit ihnen zusammenarbeitenden Verantwortlichen für Informatik oder Compliance. Er beschreibt, wie man den Vergleich definiert, die tatsächliche Aufgabe misst, diese Erkenntnisse mit Betriebsdaten verknüpft, andere Erklärungen ausschließt und Ergebnisse ohne Übertreibung darstellt.
Was ist der ROI von Schulungen zur Qualitätsverbesserung?
Der ROI von Qualitätsverbesserungstrainings vergleicht den Nutzen eines trainingsbezogenen Verbesserungsprojekts mit seinen Kosten. Er untersucht, welchen zusätzlichen Nutzen das Unternehmen durch das Training erzielt hätte und ob dieser Nutzen die Kosten für Training und Projekt rechtfertigt. Die gängigste Methode ist einfach: Nettogewinn (Nutzen minus Kosten) geteilt durch Kosten, dargestellt als Prozentsatz.
Die Berechnung ist der einfache Teil. Schwieriger ist es, die Nutzen der Schulung zuzuordnen. Das ROI Institute, das ein fünfstufiges Bewertungsmodell empfiehlt, nennt die „Isolierung der Projekteffekte“ als eigenen Schritt bei der Datenanalyse ( ROI Institute ). Die fünf Stufen sind Reaktion, Lernen, Anwendung, Wirkung und ROI. Zufriedenheit und Abschluss befinden sich auf der ersten Stufe. Sie sind zwar nützliche Indikatoren für die Durchführung, aber kein Beleg für Einsparungen.
Schnelle Fakten
| Frage | Kurze Antwort |
|---|---|
| Was ist die Aufgabe? | Ermitteln Sie die Kosten und den Nutzen eines mit Schulungen verbundenen Verbesserungsprojekts. |
| Welche Punktzahl erreichst du? | Nettokostenschätzungen und das Vertrauen in die Zuordnung. |
| Reicht eine Zufriedenheitsumfrage aus? | Nein. Es zeigt, wie der Kurs aufgenommen wurde, nicht, was er eingespart hat. |
| Wer validiert die Methode? | Ein Finanzpartner und ein Leiter für Informatik oder Compliance. |
| Was kann Training nicht beheben? | Personalveränderungen, Volumenschwankungen und Regelungen der Kostenträger treten gleichzeitig auf. |
| Woran erkennt man, dass es funktioniert hat? | Ein Vergleich der Ausgangswerte und der Folgewerte sowie der Betriebsdaten, wobei andere Ursachen geprüft wurden. |
1. Definieren Sie das Ergebnis und den Vergleich.
Bevor Sie Daten erheben, notieren Sie drei Dinge: die Maßnahme, die betroffenen Rollen und die Entscheidung, die die Analyse stützen soll. „Hat die Schulung Kosten gespart?“ ist zu vage. „Sollen wir das Programm zur Optimierung des Abrechnungsprozesses auf den zweiten Standort ausweiten?“ ist eine Entscheidung und gibt an, welche Nachweise ausreichend wären.
Unterteilen Sie anschließend die Kosten in zwei Kategorien. Die Durchführungskosten umfassen die Planungszeit, die Zeit der Trainer oder Coaches, die Teilnehmerstunden, die Materialien und die Software. Die Betriebskosten decken die Prozessänderungen selbst ab: neue Tools, überarbeitete Verfahren und vorübergehende Doppelbelastung, während die Mitarbeiter die neue Methode erlernen. Ein ROI, der nur die Durchführungskosten berücksichtigt, verzerrt das Bild des Programms. Ein ROI, der alle Kostenfaktoren einbezieht, mag zwar für das Verbesserungsprojekt das richtige Maß sein, wird der Schulung selbst aber nicht gerecht. Entscheiden Sie, welche Frage Sie beantworten möchten, und geben Sie dies im Bericht an.
Die Arbeitszeit der Mitarbeiter verdient Wertschätzung. Auch wenn keine Rechnung gestellt wird, verursachen Schulungsstunden reale Kosten. Erfassen Sie diese daher zu einem mit Ihrem Finanzpartner vereinbarten Stundensatz.
2. Messen Sie die tatsächliche Aufgabe
Die Aufgabe besteht hier nicht in der bloßen Teilnahme am Programm. Vielmehr geht es darum, dass die Lernenden im Arbeitsalltag praktische Tätigkeiten ausführen, wie beispielsweise die Korrektur von Ansprüchen anhand der neuen Checkliste, die Kodierung von Ablehnungen nach Ursache oder die Erfassung von Ausnahmen. Dies sollte anhand beobachtbarer Daten gemessen werden.
- Legen Sie eine Basislinie fest Vor dem Training: eine Auswahl realer oder realistischer Aufgaben, die anhand vereinbarter Kriterien bewertet werden.
- Führen Sie eine vergleichbare Bewertung durch. Nach dem Training neue Aufgaben von ähnlichem Schwierigkeitsgrad anstelle derjenigen, mit denen die Lernenden geübt haben, verwenden.
- Fertigstellung und Zufriedenheit sicherstellen als Lieferindikatoren, die separat ausgewiesen werden.
Hier kommt die praktische Erfahrung ins Spiel. Können die Mitarbeitenden die Aufgabe nun anhand unbekannter Fälle präziser lösen, wird der Zusammenhang zwischen Schulung und betrieblicher Veränderung plausibel. Gelingt ihnen dies nicht, ist eine Kostenersparnis wahrscheinlich nicht auf die Schulung zurückzuführen. Weitere Informationen zum Verfassen von Übungen und Feedback, die sich auf eine Aufgabe beziehen, finden Sie in unserem Leitfaden zur Gestaltung interaktiver Übungen mit hilfreichem Feedback.
3. Aufgabennachweise mit operativen Daten verknüpfen
Ordnen Sie nun die Aufgabennachweise den operativen Daten zu. Erfassen Sie für jede Kennzahl vier Angaben: die Grundgesamtheit (wer wird einbezogen?), den Nenner (pro Leistungsfall, pro Mitarbeiter oder pro Monat), den Zeitraum und die Quelle.
Gängige Kennzahlen in Projekten zur Verwaltungsoptimierung sind die Nachbearbeitungsquote, der Anteil der aus vermeidbaren Gründen abgelehnten Anträge, die Bearbeitungszeit einer Aufgabe und die Kosten pro Transaktion. Rechnen Sie jede Änderung nur anhand der von Ihrem Finanzpartner genehmigten Stückkosten in Geldwerte um. Ermitteln Sie anschließend die relevante Kennzahl:
- Geschätzter Nutzen: die Änderung der Maßnahme multipliziert mit den vereinbarten Stückkosten.
- Anteil, der auf Schulungen zurückzuführen ist: eine begründete Prozentzahl, keine Schätzung, mit schriftlicher Begründung.
- Nettoschätzung: Der zurechenbare Nutzen abzüglich der Schulungs- und Projektkosten, die Sie einbezogen haben.
Behandeln Sie einen plausiblen Zusammenhang als solchen. Ein Rückgang der Nacharbeit nach einer Schulung spricht zwar dafür, dass die Schulung funktioniert hat, beweist dies aber nicht.
4. Alternative Erklärungen berücksichtigen
Überlegen Sie, was sich im Vergleichszeitraum sonst noch geändert hat. Eine kurze Checkliste ist dabei hilfreich:
- Arbeitsbelastung. Sind die Umsätze gestiegen oder gefallen? Ein ruhigeres Quartal bedeutet oft weniger Fehler.
- Personal. Haben erfahrene Mitarbeiter das Unternehmen verlassen oder sind neue, ungeschulte Mitarbeiter hinzugekommen?
- Kunden- bzw. Zahlermix. Haben sich die Schadensarten geändert?
- Prozess- oder Systemänderungen. Hat sich gleichzeitig sonst noch etwas am Arbeitsablauf geändert?
Nutzen Sie nach Möglichkeit einen Vergleich. Ein direkter Vergleich betrachtet ein ähnliches Team, das die Schulung noch nicht erhalten hat. Eine schrittweise Einführung ermöglicht diesen Vergleich nahezu kostenlos: Die später geschulten Teams dienen als Kontrollgruppe für die zuerst geschulten. Beides ist im Krankenhausalltag nicht immer möglich, da dort möglicherweise alle Teams die Umstellung gleichzeitig benötigen. In diesem Fall sollten Sie ehrlicherweise ein niedrigeres Konfidenzniveau angeben.
Eine 2022 in BMC Health Services Research veröffentlichte Übersichtsarbeit zum Nutzen groß angelegter Qualitätsverbesserungen im Gesundheitswesen ist hier hilfreich. Die Autoren definieren Nutzen weit gefasst als jeglichen monetären oder nicht-monetären Wert, der sich aus Qualitätsverbesserungen ergibt, und weisen darauf hin, dass die Ergebnisse miteinander verknüpft und schwer zu erfassen sind. Sie schlagen vor, den Beitrag zu den Ergebnissen zu bewerten, anstatt einen direkten Zusammenhang zu behaupten, und bezeichnen den traditionellen ROI als „einen indirekten und unvollständigen Indikator für den Wert von Qualitätsverbesserungen“ ( Thusini et al., BMC Health Services Research, 2022 ). Dies gilt auch für administrative Projekte. Berichten Sie über die Belege für den Beitrag und Ihr Vertrauen in diese Belege, nicht über eine einzelne Zahl mit vermeintlicher Genauigkeit.
5. Ergebnisse melden und nächste Schritte auswählen
Ein Bericht, auf dessen Grundlage ein Finanzausschuss handeln kann, passt auf eine Seite. In diesem Beispiel-Layout sind die Ergebnisfelder absichtlich leer. Tragen Sie dort Ihre eigenen Daten ein, niemals übernommene Effektstärken.
| Feld | Was aufgezeichnet werden soll | Lösung |
|---|---|---|
| Intervention und Rollen | Programm, Projekt und Teilnehmer | |
| Bevölkerung und Zeitraum | Wer ist eingeschlossen, von wann bis wann | |
| Ausgangswerte und Ergebnisse der Folgeuntersuchung | Gleiche Kriterien, unterschiedliche Fälle | |
| Operationelles Maß und Nenner | Zum Beispiel die Nachbearbeitungsquote pro 100 Schadensfälle | |
| Geschätzter Nutzen | Änderung multipliziert mit den genehmigten Stückkosten | |
| Anteil, der auf Schulungen zurückzuführen ist, und warum | Argumentation, Vergleichsmethode | |
| Liefer- und Betriebskosten | Separat aufgeführt | |
| Nettoschätzung und Vertrauen | Hoch, mittel oder niedrig, mit Begründung | |
| Weitere Änderungen in diesem Zeitraum | Arbeitsbelastung, Personalbesetzung, Personalmix, Prozess | |
| Empfohlene Aktion | Skalieren, überarbeiten oder stoppen |
Legen Sie im Voraus fest, was jede Maßnahme rechtfertigt. Sie könnten das Programm ausweiten, wenn sich die Aufgabenbewertungen in unbekannten Fällen verbessern, die operativen Kennzahlen sich erwartungsgemäß entwickeln, andere Erklärungen geprüft wurden und die Nettoschätzung unter vorsichtigen Annahmen positiv bleibt. Sie könnten das Programm überarbeiten, wenn sich die Aufgabenbewertungen verbessern, die operativen Kennzahlen jedoch nicht, was auf Einschränkungen außerhalb des Trainings hindeutet. Sie könnten das Programm beenden, wenn sich keine der beiden Kennzahlen verbessert. Stimmen Sie diese Regeln mit Ihrem Auftraggeber ab, bevor Sie die Zahlen einsehen, damit die Ergebnisse nicht die Kriterien bestimmen.
Arbeiten Sie ein realistisches Beispiel durch.
Zur Veranschaulichung. Ein Finanzpartner und ein Verantwortlicher für Informatik oder Compliance sollten den Fall und die Antwortkriterien vor der Anwendung prüfen.
Der Fall: Ein Team überarbeitet den Workflow für die Schadensbearbeitung, während sich gleichzeitig Personalbestand und Arbeitsaufkommen ändern. In den sechs Monaten nach der Schulung ging der Nachbearbeitungsaufwand zurück. Zwei erfahrene Kodierer verließen das Team im selben Zeitraum, und das Arbeitsaufkommen sank im zweiten Quartal leicht.
Die Aufgabe. Der Lernende schätzt die Einsparungen, die durch die Schulung vernünftigerweise erzielt werden können, erläutert die Entscheidung, führt die Belege an und benennt die noch fehlenden Informationen.
Ein erster Versuch. „Die Nacharbeit ging zurück, die Schulung hat also die gesamte Differenz kompensiert. Ich habe die Reduzierung mit unseren Kosten pro Nacharbeit multipliziert und das als ROI angegeben.“ Damit wird alles der Schulung zugeschrieben, andere Veränderungen werden ignoriert.
Feedback und erneuter Versuch. Der Coach fragt nach weiteren Änderungen, nach Unterschieden zwischen geschultem und ungeschultem Personal und nach der Herkunft der Stückkosten. Der Lernende wird gebeten, den Nutzen aufzuteilen.
Ein verstärkter Versuch. „Der Nachbearbeitungsaufwand sank, aber zwei erfahrene Programmierer haben das Unternehmen verlassen und das Auftragsvolumen ging zurück, daher kann ich den Erfolg nicht allein den Schulungen zuschreiben. Die Aufgabenbewertungen bei unbekannten Fällen stiegen, was einen positiven Einfluss der Schulungen nahelegt. Ich würde die beobachteten Einsparungen, einen reduzierten Anteil, den ich rechtfertigen kann, und eine niedrige bis mittlere Konfidenzbewertung angeben. Um die Konfidenz zu erhöhen, benötige ich Daten zur Nachbearbeitung durch geschultes und ungeschultes Personal sowie die Stückkosten aus der Finanzabteilung.“ Dies trennt beobachtete von verursachten Einsparungen und zeigt auf, welche Belege fehlen.
Beurteilen Sie die Fähigkeiten anhand einer einfachen Bewertungsmatrix
Bewerten Sie jedes Kriterium mit 0 bis 2 Punkten:
| Kriterium | Sichtbare Beweise |
|---|---|
| Aufgabenausführung | Erfasst die Kosten und den Nutzen eines mit der Ausbildung verbundenen Projekts und dokumentiert die Belege, die jede Zahl stützen. |
| Argumentation | Erläutert Einschränkungen, Alternativen und Unsicherheiten und überprüft die Nettokostenabschätzungen sowie das Vertrauen in die Zuordnung. |
| Boundaries | Wendet genehmigte Verfahren an und sucht Hilfe, wenn Informationen oder Befugnisse nicht ausreichen. |
Bewertungskriterien: 0 bedeutet fehlend oder unbegründet, 1 bedeutet teilweise mit relevanten Auslassungen und 2 bedeutet vollständig und anhand der vereinbarten Kriterien begründet. Kritische Fehler sollten separat definiert werden, z. B. die alleinige Zuschreibung der Veränderung zu einer Schulung ohne Prüfung anderer Ursachen, damit ein solcher Fehler nicht in der Gesamtbewertung verborgen bleibt. Diese Rubrik ist ein Vorschlag, kein validierter Bereitschaftsstandard: Passen Sie sie gemeinsam mit der Praxis an und erproben Sie sie. Um jede Aktivität dem erforderlichen Denkvermögen zuzuordnen, konsultieren Sie unseren Leitfaden zur Zuordnung von Lernaktivitäten zur Bloomschen Taxonomie.
Wo interaktive Bereitstellung hilft
Interaktive Formate sind hilfreich, wenn Teilnehmende sich festlegen sollen, bevor sie die Antwort erhalten. In einer Live-Sitzung kann ein Moderator den Fall präsentieren, jede/n Teilnehmende/n bitten, ihren Anteil der Einsparungen anzugeben, den sie dem Training zuschreiben würden, und anschließend die Streuung aufzeigen, bevor die Unterschiede in den Schätzungen erläutert werden. Derselbe Fall kann zur Vorbereitung im Selbststudium bearbeitet werden. AhaSlides unterstützt interaktives Lernen und den Wechsel zwischen Live- und Selbststudium. Überprüfen Sie alle Funktionen zur Erstellung, zum Feedback oder zur Berichtserstellung, die Sie nutzen möchten, anhand Ihres eigenen Workflows und betrachten Sie KI, Simulatoren und Systemintegrationen als extern oder unbestätigt, bis Sie deren Funktionsfähigkeit getestet haben. Hinweise zur Auswahl des passenden Formats finden Sie in unserem Artikel „ Wann Sie adaptives, interaktives und Live-Lernen einsetzen“.
Einschränkungen, die möglicherweise bestehen bleiben
- Namensnennung. Ohne eine Vergleichsgruppe kann man einen Beitrag schätzen, aber keine Ursache beweisen.
- Zeitverzögerung. Manche Ersparnisse werden erst nach einigen Viertelstunden gutgeschrieben, und in einem kurzen Zeitfenster können sie verpasst werden.
- Datenqualität. Die Betriebsdaten können unvollständig sein oder ihre Definitionen können sich während des Berichtszeitraums ändern.
- Weitere Änderungen. Personalmangel, Arbeitsaufkommen und Kostenträgerbestimmungen können einen geringen Schulungseffekt zunichtemachen.
- Übertragung. Die Leistung in einer Trainingssimulation ist nicht dasselbe wie die Leistung unter dem Druck des Alltags.
Nennen Sie diese Punkte den Sponsoren frühzeitig. Schulungen verbessern die Fähigkeiten der Teilnehmer. Sie verändern jedoch nicht die Arbeitsbedingungen.
Häufig gestellte Fragen
Was ist der ROI von Schulungen zur Qualitätsverbesserung?
Dabei werden die Vorteile eines mit Schulungen verbundenen Verbesserungsprojekts seinen Kosten gegenübergestellt, üblicherweise als Nettogewinn geteilt durch Kosten. Der entscheidende Schritt besteht darin, zu ermitteln, welcher Anteil des Nutzens tatsächlich der Schulung zuzuschreiben ist.
Lässt sich nachweisen, dass die Schulungen die Einsparungen verursacht haben?
Selten. Ein direkter Vergleich oder eine schrittweise Einführung liefern stärkere Belege, aber in den meisten Krankenhäusern berichtet man über einen begründeten Beitrag und ein Konfidenzniveau anstatt über einen Beweis.
Sollen Lieferkosten und Betriebskosten zusammen gerechnet werden?
Weisen Sie die Kosten separat aus. Die Durchführungskosten beschreiben die Schulung selbst. Die Betriebskosten beschreiben das gesamte Verbesserungsprojekt. Geben Sie an, auf welcher Gesamtsumme Ihre ROI-Berechnung basiert.
Ist eine Zufriedenheitsumfrage ein Beleg für Einsparungen?
Nein. Zufriedenheit und Fertigstellung sind Leistungsindikatoren. Einsparungen erfordern Nachweise über die erbrachten Leistungen und operative Daten.
Wo soll ich anfangen
Wählen Sie ein Verbesserungsprojekt mit bereits vorhandener Ausgangsbasis. Formulieren Sie die Entscheidung, die die Analyse stützen soll, listen Sie die einzubeziehenden Kosten auf, wählen Sie eine operative Kennzahl mit ihrem Nenner und lassen Sie die Stückkosten von einem Finanzpartner genehmigen. Erstellen Sie einen einseitigen Bericht ohne Ergebnisfelder und legen Sie die Skalierungs-, Überarbeitungs- oder Abbruchregeln fest, bevor die Daten eintreffen.
Um zu sehen, wie ein solcher Fall live mit Ihrem eigenen Team durchgeführt und anschließend im eigenen Tempo wiederverwendet werden kann, erkunden Sie AhaSlides.
