Uma equipe hospitalar reformula seu fluxo de trabalho de processamento de solicitações de reembolso. Ela treina a equipe administrativa no novo processo e, seis meses depois, o custo por solicitação é menor. O departamento financeiro fica satisfeito e pede um número: quanto o treinamento economizou?
A resposta honesta é mais difícil do que a pergunta. Nesses mesmos seis meses, houve mudanças na equipe, o volume de solicitações de reembolso aumentou e uma operadora de saúde alterou suas regras. Parte da economia veio da reformulação do projeto, parte do treinamento e parte de nenhuma das duas. O ROI (retorno sobre o investimento) do treinamento em melhoria da qualidade consiste em separar esses elementos e relatar o que resta com um nível de confiança definido.
Este é um cenário ilustrativo, não um caso documentado. Este guia destina-se a diretores de centros de treinamento e desenvolvimento hospitalares e aos responsáveis pela informática ou conformidade que trabalham com eles. Ele aborda como definir a comparação, mensurar a tarefa em si, conectar essa evidência aos dados operacionais, descartar outras explicações e relatar os resultados sem exagerar.
Qual é o ROI (retorno sobre o investimento) do treinamento em melhoria da qualidade?
O ROI (Retorno sobre o Investimento) do treinamento em melhoria da qualidade compara os benefícios de um projeto de melhoria vinculado ao treinamento com seus custos. Ele questiona o que a organização ganhou que não teria ganho sem o treinamento e se esse ganho justificou o custo do treinamento e do projeto. A forma mais comum é simples: benefícios líquidos (benefícios menos custos) divididos pelos custos, apresentados em porcentagem.
A aritmética é a parte fácil. A parte difícil é decidir quais benefícios pertencem ao treinamento. O ROI Institute, que promove uma estrutura de avaliação de cinco níveis, lista "isolar os efeitos do projeto" como uma etapa à parte na análise dos dados ( ROI Institute ). Seus cinco níveis são reação, aprendizado, aplicação, impacto e ROI. Satisfação e conclusão estão no primeiro nível. São indicadores úteis de entrega, mas não comprovam a economia.
Fatos rápidos
| Questão | Resposta curta |
|---|---|
| Qual é a tarefa? | Avalie os custos e benefícios de um projeto de melhoria vinculado ao treinamento. |
| Qual é a sua pontuação? | Estimativas de custos líquidos e a confiança na atribuição. |
| Uma pesquisa de satisfação é suficiente? | Não. Mostra como o curso foi recebido, não o quanto ele economizou. |
| Quem valida o método? | Um parceiro da área financeira e um responsável pela área de informática ou conformidade. |
| O que o treinamento não consegue corrigir? | Mudanças na equipe, variações no volume de atendimentos e regulamentações das operadoras de planos de saúde acontecendo simultaneamente. |
| Como você sabe que funcionou? | Comparação das tarefas iniciais e de acompanhamento, além de dados operacionais, com verificação de outras causas. |
1. Defina o resultado e a comparação.
Antes de coletar quaisquer dados, anote três coisas: a intervenção, as funções afetadas e a decisão que a análise deve embasar. "O treinamento gerou economia?" é muito vago. "Devemos estender o programa de fluxo de trabalho de sinistros para a segunda unidade?" é uma decisão, e indica quais evidências seriam suficientes.
Em seguida, separe dois tipos de custos. Os custos de implementação abrangem o tempo de planejamento, o tempo do facilitador ou instrutor, as horas de aprendizado, os materiais e qualquer software. Os custos operacionais abrangem as mudanças no próprio processo: novas ferramentas, procedimentos revisados, duplicação temporária de tarefas enquanto a equipe aprende o novo método. Um ROI de treinamento que considera apenas os custos de implementação favorece o programa. Um ROI que considera tudo pode ser a métrica correta para o projeto de melhoria, mas injusto para o treinamento em si. Decida qual pergunta você está respondendo e deixe isso claro no relatório.
O tempo da equipe merece atenção. As horas dedicadas ao treinamento representam um custo real, mesmo quando ninguém emite uma fatura, portanto, registre-as utilizando uma taxa acordada com seu parceiro financeiro.
2. Meça a tarefa real
A tarefa aqui não é "participar do programa". Trata-se de algo que o aluno faz no trabalho, como corrigir solicitações de acordo com a nova lista de verificação, codificar negativas por causa ou registrar uma exceção. Meça isso usando evidências observáveis.
- Defina uma linha de base Antes do treinamento: uma amostra de tarefas reais ou realistas, avaliadas de acordo com critérios previamente acordados.
- Realize uma avaliação comparável. Após o treinamento, serão utilizadas novas tarefas de dificuldade semelhante, em vez daquelas que os alunos praticaram.
- Mantenha a conclusão e a satisfação como indicadores de entrega, relatados separadamente.
É aqui que a evidência da tarefa se torna crucial. Se a equipe agora consegue executar a tarefa com mais precisão em casos inéditos, a relação entre o treinamento e qualquer mudança operacional se torna plausível. Caso contrário, é improvável que a economia resultante seja fruto do treinamento. Para mais informações sobre prática de escrita e feedback relacionado à tarefa, consulte nosso guia para o desenvolvimento de práticas interativas com feedback útil.
3. Conecte as evidências da tarefa com os dados operacionais.
Agora, coloque as evidências da tarefa ao lado dos dados operacionais. Para cada indicador, registre quatro informações: a população (quem está incluído), o denominador (por solicitação, por funcionário ou por mês), o período e a fonte.
As métricas comuns em projetos de melhoria administrativa incluem a taxa de retrabalho, a porcentagem de solicitações negadas por motivos evitáveis, o tempo para concluir uma tarefa e o custo por transação. Converta cada alteração em valor monetário apenas com um custo unitário aprovado pelo seu parceiro financeiro. Em seguida, apresente o valor que realmente importa:
- Benefício estimado: a variação na medida multiplicada pelo custo unitário acordado.
- Participação atribuída ao treinamento: Uma porcentagem justificada, não um palpite, com o raciocínio por escrito.
- Estimativa líquida: Benefício atribuído menos os custos de treinamento e projeto que você decidiu incluir.
Considere uma ligação plausível como tal. Uma queda na necessidade de retrabalho após o treinamento é consistente com a eficácia do treinamento. Isso não prova que ele funcionou.
4. Apresente explicações alternativas.
Analise o que mais mudou durante o período de comparação. Uma breve lista de verificação pode ajudar:
- Carga de trabalho. Os volumes aumentaram ou diminuíram? Um trimestre mais tranquilo geralmente significa menos erros.
- Pessoal. Será que pessoas experientes saíram ou entraram pessoas novas que nunca receberam treinamento?
- Composição de clientes ou pagadores. Os tipos de reclamação mudaram?
- Alterações de processo ou sistema. Houve alguma outra mudança no fluxo de trabalho ao mesmo tempo?
Sempre que possível, utilize uma comparação. Uma comparação pareada analisa uma equipe semelhante que ainda não recebeu o treinamento. Uma implementação faseada oferece essa comparação praticamente de forma automática: as equipes treinadas posteriormente servem como controle para as equipes treinadas primeiro. Nenhuma dessas opções é sempre viável em um hospital, onde todas as equipes podem precisar da mudança simultaneamente, e nesse caso, você deve relatar um nível de confiança menor, honestamente.
Uma revisão de 2022 publicada no BMC Health Services Research sobre o retorno do investimento em melhorias de qualidade em larga escala na área da saúde é útil neste contexto. Os autores definem retorno de forma ampla, como qualquer valor monetário ou não monetário derivado da melhoria da qualidade, e apontam que os resultados são interligados e difíceis de observar. Eles sugerem avaliar a contribuição para os resultados em vez de reivindicar atribuição direta, e consideram o ROI tradicional "um marcador distal e incompleto do valor da melhoria da qualidade" ( Thusini et al., BMC Health Services Research, 2022 ). Isso também se aplica a projetos administrativos. Apresente as evidências da contribuição e o grau de confiança que você tem nelas, e não um único número com falsa precisão.
5. Apresente os resultados e escolha a próxima ação.
Um relatório que possa ser analisado por um comitê financeiro cabe em uma página. Este exemplo de layout deixa os campos de resultados vazios propositalmente. Preencha-os com seus próprios dados, nunca com medidas de efeito pré-definidas.
| Campo | O que gravar | Resultado |
|---|---|---|
| Intervenção e funções | Programa, projeto e participantes | |
| População e período | Quem está incluído, de quando a quando? | |
| Pontuações da tarefa inicial e de acompanhamento | Mesmos critérios, casos diferentes. | |
| Medida operacional e denominador | Por exemplo, a taxa de retrabalho por 100 solicitações. | |
| Benefício estimado | Variação multiplicada pelo custo unitário aprovado | |
| Compartilhe o que foi atribuído ao treinamento e explique o porquê. | Raciocínio, comparação utilizada | |
| Custos de entrega e operacionais | Listados separadamente | |
| Estimativa líquida e confiança | Alto, médio ou baixo, com a devida justificativa. | |
| Outras alterações no período | Carga de trabalho, equipe, combinação, processo | |
| ação recomendada | Dimensionar, rever ou parar |
Decida antecipadamente o que justificaria cada ação. Você pode ampliar o programa quando as pontuações das tarefas melhorarem em casos não vistos, as medidas operacionais evoluírem na direção esperada, outras explicações forem verificadas e a estimativa líquida permanecer positiva, considerando suposições cautelosas. Você pode revisá-lo quando as pontuações das tarefas melhorarem, mas as medidas operacionais não, o que sugere restrições externas ao treinamento. Você pode interrompê-lo quando nenhuma das duas apresentar mudanças. Combine essas regras com seu patrocinador antes de ver os números, para que o resultado não determine os critérios.
Analise um exemplo realista.
Exemplo ilustrativo. Um parceiro da área financeira e um responsável pela área de informática ou conformidade devem validar o caso e os critérios de resposta antes de sua utilização.
O caso. Uma equipe redesenha o fluxo de trabalho de sinistros enquanto o quadro de funcionários e o volume de trabalho também mudam. O retrabalho diminuiu nos seis meses seguintes ao treinamento. Dois codificadores experientes deixaram a equipe no mesmo período, e o volume de trabalho caiu ligeiramente no segundo trimestre.
A tarefa. O aluno estima a economia que o treinamento pode razoavelmente comprovar, explica a decisão, cita as evidências e indica as informações que ainda faltam.
Primeira tentativa. "A necessidade de retrabalho diminuiu, então o treinamento compensou toda a diferença. Multipliquei a redução pelo nosso custo por retrabalho e relatei isso como o ROI." Isso atribui todo o crédito ao treinamento e ignora as outras mudanças.
Feedback e nova tentativa. O instrutor pergunta o que mais mudou, se a equipe treinada e a não treinada diferem e de onde veio o custo unitário. O aluno é convidado a dividir o benefício.
Uma tentativa mais robusta. "O retrabalho diminuiu, mas dois programadores experientes saíram e o volume caiu, então não posso atribuir tudo isso ao treinamento. As pontuações das tarefas em casos não vistos aumentaram, o que corrobora a contribuição do treinamento. Eu relataria a economia observada, uma parcela reduzida que posso justificar e um nível de confiança baixo a médio. Para aumentar a confiança, preciso do retrabalho realizado por funcionários treinados e não treinados, e do custo unitário fornecido pelo departamento financeiro." Isso separa a economia observada da economia causada e indica quais evidências estão faltando.
Avalie a capacidade com uma rubrica simples.
Atribua uma pontuação de 0 a 2 a cada critério:
| Critério | Evidências observáveis |
|---|---|
| Execução de tarefa | Avalia os custos e benefícios de um projeto vinculado a treinamento e registra as evidências que sustentam cada valor. |
| Raciocínio | Explica as restrições, alternativas e incertezas, e verifica as estimativas de custo líquido e a confiança na atribuição. |
| Limites | Utiliza procedimentos aprovados e busca ajuda quando as informações ou a autoridade são insuficientes. |
Critérios de avaliação: 0 significa ausente ou sem suporte, 1 significa parcial com omissões relevantes e 2 significa completo e justificado de acordo com os critérios acordados. Defina erros críticos separadamente, como atribuir toda a mudança ao treinamento sem verificar outras causas, para que uma pontuação geral não possa ocultar um erro. Esta rubrica é uma proposta, não um padrão de prontidão validado: adapte-a com o profissional e teste-a. Para adequar cada atividade ao raciocínio que ela exige, consulte nosso guia para adequar atividades de aprendizagem à Taxonomia de Bloom.
Onde a entrega interativa ajuda
Os formatos interativos ajudam a incentivar as pessoas a se comprometerem antes de ouvirem a resposta. Em uma sessão ao vivo, um facilitador pode apresentar o caso, pedir a cada participante que digite a porcentagem da economia que atribuiria ao treinamento e, em seguida, mostrar a variação antes de discutir por que as estimativas diferem. O mesmo caso pode ser apresentado em ritmo próprio para preparação. O AhaSlides oferece suporte ao aprendizado interativo e à transição entre apresentações ao vivo e em ritmo próprio. Verifique se alguma função específica de autoria, feedback ou relatório que você planeja utilizar está de acordo com seu próprio fluxo de trabalho e considere IA, simuladores e integrações de sistemas como externos ou não confirmados até que você os veja funcionando. Para obter orientações sobre a escolha de formatos, consulte nosso artigo sobre quando usar aprendizado adaptativo, interativo e ao vivo.
Restrições que podem permanecer
- Atribuição. Sem um grupo de comparação, você pode estimar uma contribuição, mas não provar uma causa.
- Atraso. Algumas economias demoram a aparecer, e um período curto pode fazer com que você não as receba.
- Qualidade dos dados. Os dados operacionais podem estar incompletos ou suas definições podem mudar durante o período.
- Outras mudanças. As regras relativas à equipe, ao volume de trabalho e aos planos de saúde podem anular o efeito de um treinamento pequeno.
- Transferência. O desempenho em um caso de treinamento não é o mesmo que o desempenho sob pressão diária.
Informe esses pontos aos patrocinadores o quanto antes. O treinamento aprimora as habilidades das pessoas, mas não altera as condições de trabalho.
Perguntas frequentes
Qual é o ROI (retorno sobre o investimento) do treinamento em melhoria da qualidade?
A análise compara os benefícios de um projeto de melhoria vinculado a treinamento com seus custos, geralmente como benefícios líquidos divididos por custos. O passo fundamental é isolar a parcela do benefício que o treinamento pode, de fato, reivindicar.
Você pode comprovar que o treinamento foi a causa da economia?
Raramente. Uma comparação pareada ou uma implementação faseada fornece evidências mais robustas, mas na maioria dos ambientes hospitalares, relata-se uma contribuição justificada e um nível de confiança, em vez de uma prova concreta.
Os custos de entrega e os custos operacionais devem ser contabilizados em conjunto?
Apresente-os separadamente. Os custos de entrega descrevem o treinamento em si. Os custos operacionais descrevem o projeto de melhoria em geral. Indique qual total seu ROI utiliza.
Uma pesquisa de satisfação comprova a existência de economia?
Não. Satisfação e conclusão são indicadores de entrega. Economias precisam de evidências de tarefas e dados operacionais.
Por onde começar
Escolha um projeto de melhoria que já possua uma linha de base. Redija a decisão que a análise deve embasar, liste os custos que serão incluídos, selecione uma métrica operacional com seu denominador e obtenha a aprovação do custo unitário por um parceiro da área financeira. Elabore o relatório de uma página com os campos de resultado em branco e defina a escala, as regras de revisão ou de interrupção antes da chegada dos dados.
Para ver como um caso como este pode ser simulado ao vivo com sua própria equipe e reutilizado posteriormente em seu próprio ritmo, explore o AhaSlides.
