Learning Analytics - Winston Wolfe

Het is jullie misschien opgevallen (of misschien niet), maar in april vierde xAPI, onze meest favoriete specificatie, haar vijfde verjaardag. De pamper mag er bijna af, de steunwieltjes zijn overbodig geworden! En om dat extra in de verf te zetten, organiseerde Watershed de afgelopen maand xAPI xAPRIL, met onder andere zes webinars over het gebruik van xAPI. In de eerste webinar lag de focus zeer breed op Learning Analytics en hoe xAPI hier een rol kan spelen.  Wat wij geleerd hebben, lees je hieronder…

We horen het woord zeer vaak opduiken: ‘Learning Analytics’. Een buzzword zonder weerga, eentje waar vele vendors maar al te graag op springen. En toegegeven, binnen L&D zijn we een makkelijke prooi. Want als we heel eerlijk zijn bakken we er maar weinig van op vlak van die analytics. We voelen de noodzaak misschien (nog) niet echt. Waarom zouden we er in godsnaam mee moeten beginnen?  L&D-professionals vinden analytics best wel belangrijk, maar alleen achten ze het niet prioritair binnen hun ruimer wordend takenpakket. Priorities first! Misschien is er wel meer druk van het C-level nodig om iets te gaan doen?  L&D is op vandaag immers nog één van de weinige afdelingen die op analytics-vlak buitenschot blijft. Een ander issue dat L&D aangeeft is dat ze geregeld niet de toegang heeft tot alle noodzakelijke data om echt aan de slag te gaan. En uiteindelijk weten ze ook niet echt hoe te gaan starten.

3… 2… 1… start

Hoe moet L&D dan wel gaan starten met Learning Analytics? Alles begint met het stellen van de juiste vraag en met het uitgangspunt. Think small, heb niet de ambitie om té groot te willen starten. Focus daarom op één learning experience (een welbepaalde cursus), op één specifiek programma (onboarding bijvoorbeeld) of op één specifieke doelgroep. In dat eerste basistraject gaan we vervolgens vier stapjes doorlopen:

• Measurement: verzamel de data die je ter beschikking hebt en stel jezelf enkele vragen: wat doen mensen? Welke acties ondernemen ze? Hoe gedragen ze zich. Als we dit illustreren met een klein voorbeeldje: ‘onze medewerkers bekijken in totaal 1657 video’s per maand die minder dan 3 minuten duren.’
• Evaluation: vergelijk de data die je hebt en ga kijken of dat pakweg beter of slechter is dan andere programma’s of experiences. Hier gaan we nog geen voorbarige conclusies trekken, maar enkel vaststellen. In het voorbeeld van de video: ‘we zien dat die 1657 video’s onder de drie minuten 50% meer is dan het bekijken van video’s die langer dan 3 minuten duren.’
• Advanced evaluation: nu kunnen we ons de vraag stellen waarom. ‘Waarom bekijken mensen die korte video’s meer dan dat ze die langere video’s bekijken? Ofwel duren te effectief te lang en haken mensen tijdens het bekijk af. Of misschien beginnen ze er zelfs niet aan omdat ze zien dat die video’s best wel een tijdje duren.’
• Prediction & prescription: tijd om te gaan experimenteren. Wat gebeurt er in ons proefprojectje als we een bepaalde verandering gaan aanbrengen. ‘Wat gebeurt er als we bvb. de langere video’s opknippen in kortere modules? Gaat de completion rate dan naar boven? Of niet?’

xAPI?!

Klink allemaal aannemelijk, maar hoe kan xAPI hier een rol gaan spelen? Zoals (hopelijk) geweten is xAPI een specificatie die bepaalde experiences in een vast stramien gaat doorsluizen. Denk aan actor – verb – object, met onderliggend nog extra data. Door gebruik te maken van een Learning Record Store kan je al die xAPI-data op één plaats en op een uniforme manier verzamelen. Zo is het makkelijker om de gegevens te gaan analyseren, wegens de eenduidige structuur en omwille van de verschillende soorten info die door de specificatie meegenomen wordt. Duik dus in de xAPI-data en krijg er voeling mee. Hoe is de specificatie opgebouwd? Wat zegt de data? Wat zit goed en wat moet nog beter?

En nu, hop, aan de slag! Durf, experimenteer, documenteer, … En wl je meer weten over analytics en xAPI, dan is de sessie van Criag Taylor op #LearningTechDay misschien wel iets voor jou!