Den objektive strukturerte kliniske eksaminasjonen (OSCE) har fått et rykte som "gullstandarden" for vurdering av kompetanse i medisinsk utdanning.¹ OSCEs verdi ligger i dens evne til nøyaktig å avgjøre om en student kan utføre praktiske ferdigheter, i stedet for bare å huske, skrive og snakke om dem.²

I godt utformede OSCE-er er studentenes karakterer utelukkende basert på deres prestasjoner, med minimal påvirkning fra andre faktorer. Hvis du allerede bruker OSCE-er i ditt medisinske utdanningsprogram, er du sannsynligvis klar over at kvalitetssikring av eksamenene kan bidra til å opprettholde den konsistensen og standardiseringen som er avgjørende for en vellykket OSCE.

I denne artikkelen diskuterer vi tre områder som er verdt å fokusere på for å sikre kvaliteten på dine OSCE-er.

Når det gjelder å sikre påliteligheten til dine OSCE-er, vet du at konsekvent vurdering av sensorene dine er avgjørende.⁴ Forskning har vist at selv når en OSCE er godt utformet og valid, er sensorfaktorer en betydelig bidragsyter til eksamensfeil.⁵ Dette antyder at opplæring av sensorene spiller en viktig rolle i å opprettholde påliteligheten.
 

En studie fra 2020 fant at et strukturert opplæringsprogram bestående av en modellvurdering, opplæringswebinarer, praksisvurderinger og fasilitert diskusjon bidro til høyere inter- og intra-rater pålitelighet.⁶ Opplæringsprogrammet hjalp sensorene med å utvikle en felles mental modell, eller "felles forståelse" av hva kompetanse ser ut som. Å utvikle denne felles mentale modellen er avgjørende for å gjøre vurderingene rettferdige og konsistente – men kan være ganske vanskelig å oppnå.⁷

Det er viktig å huske at effektiv opplæring vil ta tid, og sensorene dine vil ha nytte av gjentatt praksis. Du kan vurdere å bruke videoinnspillinger av ekte OSCE-er og la sensorene øve på å vurdere innspillingene. Under sin opplæring bemerket en sensor at "Jo flere videoer jeg gjennomgikk, desto bedre ble jeg til å legge merke til kriteriene jeg vurderte."⁸

Utover den innledende opplæringen er det viktig å holde øye med hvordan påliteligheten din utvikler seg. Programvare som SimCapture kan gjøre denne ofte skremmende oppgaven lettere å håndtere ved å gi rapporter om inter- og intra-rater konsistens, slik at du enkelt kan identifisere eventuelle problemer som trenger oppmerksomhet.

Hvis du allerede har prøvd grundig opplæring for sensorene dine og fortsatt sliter med pålitelighet, kan det være nødvendig å gå dypere inn i de individuelle sensorene. Du kan finne "uteliggere" som påvirker tallene dine. Dette kan være en "hauk" som alltid gir for strenge karakterer, en "due" som gir for milde karakterer, eller en sensor som mangler konsistens i sin vurdering. Det er en vanlig antakelse at alle kliniske instruktører er godt forberedt på å nøyaktig vurdere studenter.⁹ Men noen ganger, av forskjellige grunner, er ikke alle egnet til å være sensor.¹⁰

Standardiserte pasienter (SP-er) er en essensiell del av OSCE. De bidrar til å skape realistiske scenarioer der studentene kan demonstrere sin kompetanse, og de gir ofte verdifulle tilbakemeldinger til studentene. Omfattende opplæring av SP-er er et viktig steg for å bygge opp en gruppe av høyt presterende SP-er.

Å dekke alle disse områdene i opplæringen vil kreve tid og innsats. En studie fant at det kan ta opptil 15 timer å trene en SP tilstrekkelig, avhengig av deres rolle, erfaring og tilpasningsevne.¹² Men å sikre at hver SP er godt trent vil være verdt innsatsen, da det vil bidra til å opprettholde kvaliteten på dine OSCE-er.

Etter at opplæringen er fullført, kan det være lurt å kvalitetssikre hver SPs prestasjon før de deltar i en OSCE. En måte å gjøre dette på er å ta opp deres prestasjon og få den evaluert av en gruppe trenere.¹³

Når SP-en har begynt å delta i OSCE-er, er det viktig å gi dem tilbakemelding på deres prestasjon. National Board of Medical Examiners anbefaler å lage en sjekkliste over ønskede atferder, og deretter gå gjennom den med SP-en enten umiddelbart etter møtet eller senere ved hjelp av videoinnspillinger. Hvis du bruker video, bør tidspunktet for problemet på sjekklisten noteres for enkel lokalisering under gjennomgangen.¹⁴ Alternativt kan du bruke videodebriefing-programvare som SimCapture, som lar deg annotere videoer, for å gjøre denne prosessen enklere.