Proefimplementatie van een op item respons gebaseerde gecomputeriseerde adaptieve test voor psychosociale problemen in de Nederlandse Jeugdgezondheidszorg voor kinderen van 7-12 jaar

-Het project is een vervolg op een eerder succesvol ZonMw-onderzoek en is
noodzakelijk om de resultaten daarvan in de praktijk te implementeren. Het
primaire doel van dit onderzoek is te bepalen welke factoren van belang zijn
voor een succesvolle implemantie van de eerder ontwikkelde Computerized
Adaptive Test (CAT) in de praktijk van de JGZ. Bovendien wil het onderzoek in
real life vaststellen of het instrument inderdaad resulteert in een betere
vroegsignalering door de JGZ. Het voorstel wil ook de efficientie in termen van
belasting voor de ouders (aantal te beantwoorden vragen) en het gebruiksgemak
voor de JGZ vaststellen (b.v. in termen van een hogere specificiteit en een
geringere tijdsinvestering.

De maatschappij kan aanzienlijke baat hebben bij dit project. Psychosociale
problemen komen veel voor en vroegsignalering verhoogt de kansen op effectieve
behandeling en een gezonde ontwikkeling aanzienlijk. (4). Dit project mikt op
een fundamentele verbetering van de kwaliteit van vroegsignaleringd oor het
gebruik van methodieken die hun potentie op andere gebieden al ruim hebben
bewezen. Een succesvolle implementatie zal daardoor leiden tot een verbeterde
vroegsignalering en in een specifieker advies aan of verwijzing van (ouders
van) kinderen met problemen. Bovendien voorkomt een goede vroegsignalering
verwijzing van kinderen zonder problemen. De introductie van deze methode is
daarom een effectieve manier om de aanbevelingen van de Inventgroep te
implementeren. De methode is kosteneffectief voor de JGZ omdat er geen tijd
verloren gaat aan handmatig scoren van vragenlijsten. In de toekomst kunnen de
bevindingen automatisch geincorporeerd worden in het Elektronisch Kind Dossier
(EKD).

-Verbeterde efficientie en effectiviteit in vergelijking met standaard
alternatieven
De vragenlijsten die de JGZ nu hanteert zijn gebaseerd op traditionele
psychometrie. Op praktische gronden kan de JGZ geen lange vragenlijsten
toepassen en korte vragenlijsten zijn minder betrouwbaar en daardoor minder
sensitief en specifiek. Zij verschaffen ook slechts globale informatie: de
precieze ernst van problemen kan niet aangegeven worden en -op grond van de
lagere betrouwbaarheid van (kortere) subschalen - is ook de informatie over de
specifieke aard van problemen beperkt. Een CAT kan daardoor leiden tot een
aanzienlijke verbetering in de kwaliteit en de effectiviteit van de
vroegsignalering van psychosociale problemen.

Doel van het project is om vast te stellen of het mogelijk is in de JGZ een CAT
te implementeren ten behoeve van de vroegsignalering van kinderen met
psychosociale problemen. Daarnaast zal het onderzoek de CAT in het gebruik in
de dagelijkse praktijk evalueren. De volgende vragen worden beantwoord:
1. Welke factoren kunnen een succesvolle implementatie bevorderen of
belemmeren?
2. Kan de validiteit van de CAT zoals die werd geschat in simulatieonderzoek in
de dagelijkse praktijk gerepliceerd worden?
3. Leidt de CAT tot een verbeterde vroegsignalering en tot betere follow-up?
Op basis van de bevindingen betreffende de eerste onderzoeksvraag zal een
implementatiestrategie worden ontwikkeld, waarna een proefimplementatie zal
plaatsvinden. Gedurende die trial zullen aanvullende gegevens verzameld worden
die relevant zijn voor de implementatie, met name gebaseerd op de
daadwerkelijke ervaringen van gebruikers met de applicatie.

Het plan van aanpak bestaat uit vier fases:
1 Verkenning van factoren relevant voor een succesvolle adoptie en implementie
2 Ontwikkeling van een implementatiestrategie
3 Proefimplementatie
4 Analyse en verslaglegging.

Fase 1: Verkenning van relevante implementatiefactoren
In de eerste fase zullen vier workshops worden gehouden, verspreid over het
land, waarin met JGZ-medewerkers gediscussieerd zal worden over factoren die
zij relevant achten voor een succesvolle implementatie. Dit op basis van een
presentatie over de CAT zoals die is ontwikkeld. De bespreking wordt
gestructureerd op basis van het implementatiemodel van Fleuren et al (2004).
Vragenlijsten op basis van dat model zullen de deelnemers stimuleren tot
nadenken.

Fase 2: Ontwikkeling van een implementatiestrategie
Deze fase is sterk afhankelijk van de bevindingen uit fase 1, maar zal in ieder
geval bestaan uit de ontwikkeling van trainingen voor coordinatoren binnen elke
GGD die aan het vervolg zullen meewerken en van trainingen voor individuele
medewerkers. Mogelijk kunnen ook nog wijzigingen in de applicatie worden
aangebracht en zullen laptops ter beschikking gesteld worden met UMTS ten
behoeve van afname van de CAT op de JGZ-locatie.

Fase 3:
Na training van de meewerkende JGZ-medewerkers zullen zij ouders die
uitgenodigd worden voor het standaard Periodiek Gezondheidsonderzoek in een
brief vragen om aan het onderzoek mee te werken. Die medewerking bestaat uit
het invullen van een schriftelijke vragenlijst en indien mogelijk de CAT, via
internet. De schriftelijke vragenlijst bevat de Child Behavior Checklist (CBCL)
die gehanteerd wordt als eerste validatiecriterium en een beperkt aantal
demografische variabelen. Wanneer men de CAT niet wil invullen wordt gevraagd
naar de redenen. Indien wel, wordt gevraagd naar de waardering van die CAT.
Ouders wordt gevraagd een toestemmingsformulier in te vullen, te ondertekenen
en aan de jeugdarts of -verpleegkunidge te geven.
De vragenlijsten worden anoniem, maar voorzien van een code ten behoeve van de
koppeling met gegevens van jeugdarts of verpleegkundige in een envelop
afgegeven aan JGZ die ze ongeopend naar TNO stuurt.
Tijdens het PGO kan de JGZ de CAT-gegevens inzien en gebruiken voor zijn of
haar assessment. Hij registreert zijn of haar bevindingen omtrent gesignaleerde
problematiek en te ondernemen vervolgacties en stuurt die, anoniem, maar
voorzien van identificatiecode aan TNO. Bij ouders die niet aan het onderzoek
willen deelnemen, registreert hij, indien zij daarmee instemmen, de reden
daarvan en een aantal demografische kenmerken.
Elke deelnemende JGZ-medewerker registreert na afloop van elk zo'n 30 PGO's in
welke mate de CAT-bevindingen behulpzaam waren tijden het PGO. Deze gegevens
worden niet gekoppeld aan individuele kinderen.
Na afloop van de trial wordt een workshop georganiseerd waarin de ervaringen
met de CAT worden geevalueerd en waarin mogelijke verbeterpunten worden
geinventariseerd.

Fase 4: Analyse en verslaglegging
De bevindingen van de workshops zullen worden beschreven, met behulp van
descriptieve statistische analyse van de vragenlijsten. ROC-analyses zullen
worden gedaan tussen de CAT resultaten en de CBCL (gedichotomiseerd,
criterium). Vastgesteld zal worden bij welk percentage de JGZ een probleem
signaleert en een vervolgactie onderneemt. Getoetst zal worden of dit
percentage hoger ligt dan in het onderzoek van Vogels et al in 2005, onder 7
tot 12 jarigen.

Het onderzoek vindt grotendeels plaats in de context van het reguliere PGO
waarvoor kinderen in de leeftijdsgroep van 7 tot 12 standaard worden
uitgenodigd.
In het kader van het onderzoek wordt aan hun ouders gevraagd om extra een
schriftelijke vragenlijst in te vullen van ongeveer 150 items en om de CAT in
te vullen (maximaal 35 items). Dat kost hun maximaal een half uur. Deze
activiteiten brengen voor hen geen risico met zich mee.