Usando dados para avaliar a competência durante todo o currículo
Ouça os especialistas.
Se você estuda enfermagem, é provável que sua escola esteja coletando muitas formas de dados. Você talvez descubra que esses dados se originam de diferentes fontes e são organizados em silos, mas nem sempre são utilizados. Mas ao juntar todos esses dados, eles podem contar uma história — importante para a instituição, o programa, o corpo docente e os alunos.
Conversamos com alguns especialistas de três escolas de enfermagem para saber como eles usaram os dados para adotarem a educação com foco nas competências. Deixamos abaixo algumas conclusões do nosso webinar "O currículo na avaliação da competência".
1. Os dados podem maximizar os resultados da sua aprendizagem com grande eficiência.
Rosemary Samia, MSN, RN, CNS, CHSE, Diretora do Centro de Educação Clínica e Pesquisa da Universidade de Massachusetts Boston, introduziu a avaliação entre pares e a prática de habilidades via SimCapture for Skills nos cursos de avaliação de saúde e fundamentos de enfermagem de sua escola no primeiro semestre clínico. Para aproximar o corpo docente dos alunos, o SimCapture for Skills combina a eficácia da metodologia de aprendizagem entre pares com ferramentas digitais de avaliação.
Sob a supervisão de um aluno de pós-graduação ou educador de simulação, grupos de três alunos se revezam na habilidade como aprendiz, avaliando outra pessoa realizando a habilidade como facilitador, além de ter a habilidade realizada neles mesmos como pacientes.
Ao analisar as notas dos testes dos alunos após a implementação dessa abordagem, Rosemary descobriu que o corpo docente do laboratório que adotava regularmente a aprendizagem entre pares tinha muito mais alunos aprovados na primeira tentativa do que outros grupos. "Vimos que essa era uma estratégia útil," explicou ela.
O SimCapture for Skills no tempo da prática diminuiu de 60 para 9 repetições de um semestre para o seguinte.
Para aumentar a eficiência, a UMass Boston também recorreu à abordagem entre pares (P2P) para agilizar o processo de recuperação.
"Os programas de enfermagem estão enfrentando vários desafios. Temos menos professores, maior rotatividade, nossas turmas estão crescendo... Precisávamos ser estratégicos sobre como abordar a recuperação, pois não era possível enfraquecer esse processo."
- Rosemary Samia, MSN, RN, CNS, CHSE
Diretora do Centro de Educação e Pesquisa Clínica da Universidade de Massachusetts Boston
Com o SimCapture for Skills, eles recuperaram 30 alunos por hora, com menos docentes.
2. Os dados podem identificar a necessidade de mudança na abordagem
Para Chris Garrison, PhD, RN, CNE, CHSE, Professor Associado de Ensino e Diretor do Laboratório de Simulação na Universidade Estadual da Pensilvânia, a coleta de dados sobre o desempenho dos alunos revelou uma história que levou à reavaliação da abordagem de sua escola em relação ao treinamento de habilidades em seu extenso programa de pré-licenciatura.
Assim como em muitos outros programas de enfermagem, a Penn State tradicionalmente utilizava pesquisas de satisfação dos alunos para avaliar as experiências na simulação. Mas eles notaram que, para medir os resultados da aprendizagem, precisariam coletar dados dos objetivos de desempenho. "Queríamos algo objetivo e válido para tomar decisões", explicou Chris. E, com o novo Essentials da AACN exigindo uma avaliação com foco nas competências, eles sabiam que precisariam desses dados para documentar como os alunos estavam se saindo com essas competências da AACN.
Usando o sistema de gerenciamento de aprendizagem (LMS) SimCapture com o Instrumento de Avaliação de Competências Creighton para avaliar simulações de alta fidelidade, eles descobriram várias habilidades nas quais os alunos demonstraram forte competência. Ao se aprofundarem, eles descobriram que os alunos deixavam a desejar em outras áreas — como em alguns dos elementos da administração segura de medicamentos e na execução correta dos procedimentos. Ao verem esses dados, Chris e os colegas se perguntaram: "Como levar nossos alunos ao nível de competência que eles precisam ter para a prática?"
Chris explicou que apresentar as habilidades antecipadamente e não revê-las é um problema comum.
"Acho que é errado acreditar que, uma vez que você considera alguém competente no curso 'Fundamentos' ou 'Básico', essa pessoa manterá essa competência ao longo de todo o currículo."
- Christopher Garrison, PhD, RN, CNS, CHSE
Diretor e professor associado da Universidade Estadual da Pensilvânia
Por fim, os dados levaram à decisão de adotar uma prática mais intencional e rever as habilidades ao longo de todo o currículo. Eles se certificaram de dar aos alunos oportunidades de desenvolver novamente as competências e passaram a usar metodologias entre pares com rubricas para que os alunos recebessem feedback enquanto praticavam. À medida que continuam a coletar dados sobre essa abordagem, Chris espera ver grandes melhorias nessas áreas com a turma atual.
3. Os dados podem descobrir oportunidades de desenvolvimento profissional.
Os especialistas deram alguns exemplos de como os dados elevaram o desenvolvimento profissional:
Dando feedback eficaz aos alunos.
Ao analisar as pontuações dos alunos obtidas com o uso da Rubrica de Julgamento Clínico Lasater, Rosemary observou que as pontuações eram exemplares — apesar de ser a primeira simulação que os alunos já tinham feito. "Vi uma oportunidade de desenvolvimento para alguns docentes aqui", relembra. Eles abordaram a necessidade entre os semestres. Quando os dados não mostravam nenhuma melhora após tentarem resolver o problema, eles alteravam o formato das perguntas às quais os professores responderiam para dar feedback aos alunos. Em vez de uma classificação de 1 a 4, eles usaram as mesmas categorias e solicitaram, aos professores, comentários sem texto para os alunos. "No fim do semestre, vimos que o feedback dado era muito mais valioso, os instrutores estavam tirando um tempo para ler as avaliações e reflexões para, então, realmente orientar os alunos por essas quatro fases."
Garantindo a competência no debriefing
Rosemary contou que a UMass Boston deixou de usar pesquisas de satisfação dos alunos para medir a eficácia da simulação e adotou a ferramenta Debriefing Assessment for Simulation in Healthcare© (DASH). Desenvolvida pelo Center for Medical Simulation em Boston, a DASH adota uma abordagem objetiva para avaliar os debriefings. A UMass Boston começou com a versão para alunos da ferramenta, que permite que os alunos avaliem os facilitadores. Depois, eles adotaram a versão para instrutores, com os educadores de simulação vendo os debriefings e conferindo onde precisam se concentrar no desenvolvimento profissional.
Jennifer Roye, MSN, RN, CHSE, CNE, a Reitora Assistente de Simulação e Tecnologia e Professora Assistente Clínica da Universidade do Texas em Arlington, adotou um método padronizado de debriefing fácil de usar chamado Plus Delta na escola. Ela conduziu vários workshops de desenvolvimento do corpo docente para garantir uma utilização eficaz e padronizada. Reconhecendo a importância dos dados objetivos para medir a eficácia, Jenny também planeja utilizar a ferramenta DASH para avaliar o uso do método Plus Delta pelo corpo docente.
Bônus: por onde começar?
Após o webinar, pedimos para os especialistas darem algumas dicas para as escolas que estão começando a usar os dados.
Assista ao webinar completo sob demanda
Avaliando a competência durante todo o currículo
Biografia dos palestrantes
Rosemary Samia, MSN, RN, CNS, CHSE
Rosemary Samia, MSN, RN, CNS, CHSE, é a diretora do Centro de Educação Clínica e Pesquisa da Universidade de Massachusetts Boston. Ela teve 15 anos de experiência em enfermagem médico-cirúrgica antes de fazer a transição para o ensino com simulação no ambiente acadêmico, em 2014. Em 2020, ela concluiu o Programa de Desenvolvimento de Liderança para Educadores de Simulação da National League for Nursing, com duração de um ano. Rosemary facilita um grupo de networking local para educadores de simulação na área metropolitana de Boston e auxilia no desenvolvimento e organização de simpósios regionais de simulação. Ela faz parte do conselho consultivo do safeMedicate, um ambiente virtual para administração simulada das medicações. Em 2020, Rosemary foi reconhecida pela Sigma Theta Alpha pela excelência na prática de enfermagem e recebeu o prêmio Maureen Oh Eigartaigh.
Christopher Garrison PhD, RN, CNE, CHSE
Christopher Garrison, PhD, RN, CNE, CHSE, é Professor Associado de Ensino na Faculdade de Enfermagem Ross e Carol Nese da Universidade Estadual da Pensilvânia e Diretor do Laboratório de Simulação no campus de University Park. Tem histórico clínico com experiências em clínico-cirúrgico, cardiologia, saúde domiciliar e como enfermeiro adulto/gerontológico. É Educador Certificado de Enfermagem (CNE) e Educador Certificado de Simulação de Saúde (CHSE). Christopher tem diploma da Northern Virginia Community College, é bacharelado pela Pennsylvania State University, tem MSN pela George Mason University e tem doutorado em Educação em Enfermagem pela Nova Southeastern University. Ele leciona em sala de aula, simulação e ambientes clínicos em todo o currículo do programa BSN na Penn State. Em 2020, Christopher recebeu o prêmio Janet A. Williamson Excellence in Teaching Award da Penn State College of Nursing. Ele conta com 13 anos de experiência em criar e ministrar a aprendizagem baseada em simulação. Seus interesses de pesquisa incluem avaliar a eficácia da simulação e da simulação virtual como estratégia educacional. Christopher já se apresentou em congressos nacionais e internacionais sobre simulação e outros tópicos de educação em enfermagem.
Jennifer Roye, MSN, RN, CHSE, CNE
Jennifer Roye, MSN, RN, CHSE, CNE é a Reitora Assistente de Simulação e Tecnologia e Professora Assistente Clínica na Faculdade de Enfermagem e Inovação em Saúde da Universidade do Texas em Arlington. É a professora principal do curso Fundamental Telehealth Skills no Programa de Certificação em Informática em Saúde. A Sra. Roye recebeu um MSN da UTA em 2003 e atualmente está na Universidade do Alabama no programa de Liderança Instrucional EdD. Ela atuou como CPNP em consultório particular por dez anos e como RN no Departamento de Emergência do Cook Children's Medical Center em Ft. Worth, no Texas, por 16 anos. As áreas de interesse de pesquisa incluem simulação, telessaúde, envolvimento estudantil, aprimoramento da educação online e sofrimento moral na população dos alunos de graduação em enfermagem.
