Sommario
Metodi di misurazione dell’efficacia formativa
La formazione d’aula ha sempre incoraggiato il parere degli utenti al termine dei corsi attraverso questionari di gradimento anonimi. La restituzione del feedback può servire a valutare le relazioni interpersonali sul posto di lavoro e a creare employee branding ma non è un metodo di misurazione idoneo per valutare l’efficacia formativa di un corso, principalmente perché:
- Non copre la totalità dell’esperienza formativa tralasciando di indagare – tra le altre cose – i dettagli tecnici dell’esperienza utente in termini di applicabilità e utilità;
- È influenzato da elementi emotivi, come l’entusiasmo post corso, la delusione per possibili aspettative disattese, la scarsa consapevolezza del proprio bisogno formativo in riferimento ai contenuti del corso.
Il metodo di misurazione più consolidato è la verifica delle competenze: l’organizzazione chiede ai partecipanti di testare le conoscenze apprese attraverso delle esercitazioni di verifica – quiz, simulazioni, questionari – per valutare le competenze acquisite.
Ma questo può bastare?
Un riferimento utile può essere fornito dal modello di Donald Kirkpatrick (1959), che individua quattro aree di osservazione per valutare l’efficacia formativa:
- Il feedback dell’utente;
- I contenuti dell’apprendimento;
- Il comportamento sul lavoro;
- L’impatto sull’organizzazione.
Vediamo però come è applicabile nei corsi E-learning.
Cosa definisce un corso E-learning efficace?
L’efficacia dei corsi E-learning viene valutata da parametri e policy aziendali, che di conseguenza impediscono di definire in maniera universale cosa sia un corso E-learning efficace.
Diventa quindi fondamentale la customizzazione dei corsi poiché i contenuti, le competenze e gli effetti della formazione possono differire di molto a seconda del business preso in considerazione.
L’unico aspetto standardizzabile (e che quindi concorre a definire in modo univoco un corso E-learning efficace) è il monitoraggio delle attività dell’utente. Grazie alle piattaforme LMS è possibile misurare molti aspetti della user experience, tra cui il coinvolgimento e la partecipazione.
Prima di approfondire gli aspetti tecnici è molto importante chiedersi: quando inizia l’indagine sull’efficacia?
Dall’inizio! Ogni intervento formativo prevede un’analisi della cultura aziendale a seguito della quale è necessario costruire una base culturale per predisporre i dipendenti alle modalità di fruizione attraverso specifiche tecnologie quali la rete internet, i dispositivi mobili e le app.
Diventa importante, a questo punto, capire quale sia il grado di familiarità degli utenti con gli strumenti utilizzati.
Come misurare l'efficacia formativa?
C’è una branca della formazione aziendale che valuta l’efficacia di un corso sulla base del tempo speso in aula. Lo sapevi? A sentire una cosa simile, nel 2021, viene da sorridere.
In che modo il tempo trascorso a seguire una lezione può fornirci un dato sull’efficacia della lezione stessa? Chi ci garantisce che l’utente sia stato realmente attento? Che ha chiesto spiegazioni se qualcosa non era chiaro? Che ha ricevuto il dovuto follow-up al test finale?
Ovviamente da questi semplici interrogativi (praticamente retorici) risulta evidente come non sia sufficiente limitarsi a misurare il tempo speso in aula.
La valutazione dell’efficacia è invece qualcosa di più complesso per quanto riguarda la formazione a distanza asincrona e ancor di più la formazione blended, che si servono dell’aiuto della tecnologia per la misurazione.
La percezione dell’utente
Abbiamo accennato in precedenza alla possibilità di utilizzare sondaggi e feedback degli utenti per valutare l’efficacia di un corso. Anche secondo il modello di Kirkpatrick, il feedback dell’utente è il primo aspetto da tenere in considerazione.
Oltre alle informazioni ovvie che si possono trarre (ad esempio: se il corso è stato completato con più o meno difficoltà, se le domande del test erano troppo facili, etc.) ci sono alcuni elementi che è importante tenere in considerazione:
- Il grado di coinvolgimento dell’utente: un corso erogato in modo piatto verrà percepito come un banale travaso di nozioni. Invece, un corso che mette l’utente al centro del processo formativo è sicuramente più efficace;
- La soddisfazione dell’utente: una persona soddisfatta dal corso di formazione, che sente di aver appreso qualcosa di utile per la propria crescita personale e lavorativa, sarà una persona decisamente più appagata.
Ma questo come si riflette sull’efficacia formativa?
Al di là di ciò che è ovvio, è probabile che un utente in quanto parte attiva nel processo formativo, soddisfatto dei propri risultati, decida di seguire altri corsi di formazione, apprendendo così maggiori nozioni e competenze; diventando gradualmente una risorsa preziosa per l’azienda.
L’importanza di un corso realizzato su misura, non solo sull’azienda di riferimento ma anche diversificato a seconda dei singoli utenti, sta nel risultato finale: l’utente non viene frustrato da argomenti già noti e può concentrarsi su quello che è davvero utile alla sua crescita personale (che, per forza di cose, si tradurrà in un maggiore vantaggio per l’azienda).
È sempre bene ricordare, infine, che l’utente ha una percezione dell’efficacia del corso ben differente da quella del suo datore di lavoro e da quella del team che lo realizza.
Contenuti e dati
Il secondo punto del modello di Kirkpatrick valuta l’apprendimento dei contenuti. La formazione a distanza asincrona ha un grosso vantaggio da questo punto di vista: la tracciabilità. Utilizzando una piattaforma LMS, che si avvalga dello standard xAPI o di plugin proprietari, è possibile, monitorare il comportamento dell’utente mentre sta seguendo un corso e le risposte che egli fornisce agli stimoli e ai quiz.
I fattori di cui solitamente tiene traccia sono:
- L’interazione utente-piattaforma;
- L’interazione utente-contenuti;
- La percentuale di completamento degli obiettivi;
- Il tempo di fruizione del corso;
- Il tempo di fruizione di ogni modulo;
- Il numero di tentativi necessari a superare un test e le domande più critiche per ogni singolo utente.
Applicazioni
Belle le nozioni, belle le nuove skill, ma la vera differenza sta poi nella capacità di applicare quanto imparato, come da terzo punto del modello di Kirkpatrick. Se non c’è stato un miglioramento, in fin dei conti, che senso ha avuto la formazione?
Ecco allora che la valutazione dell’efficacia formativa passa anche per uno screening dell’impatto del corso sulla vita lavorativa. Analizzare questo aspetto, però, prevede un minimo di pianificazione, dal momento che non è possibile considerare un “dopo” senza aver già a monte considerato un “prima”.
Gli aspetti su cui è bene concentrarsi, in questo caso, sono essenzialmente:
- L’efficacia delle competenze acquisite, da valutare sul lavoro o tramite simulazioni;
- Il trasferimento della conoscenza in skillset utili sul lavoro;
- L’analisi delle performance relativamente agli obiettivi prefissati.
Costi e ritorno dell'investimento
Quando Kirkpatrick parla di impatto sull’organizzazione lo fa in termini limitati a un piano strettamente economico.
Volendo fare una rapida panoramica, i costi di un corso E-learning dipendono da persone, tecnologia e contenuti.
Persone
I costi “umani” di un corso E-learning si frazionano su:
- Consulenti interni, che possono avere coscienza delle esigenze formative dell’azienda, ma non è detto che sappiano soddisfarle in prima persona;
- Consulenti esterni, cui viene affidato il compito di realizzare e sviluppare i corsi E-learning;
- Dipendenti, poiché il tempo investito nella formazione è temporaneamente sottratto al lavoro (benché convertito in conoscenze e competenze utili).
Tecnologie
Che ci si appoggi a LMS, siti o a soluzioni più raffinate, l’investimento tecnologico è sempre un costo vivo ed è forse quello maggiore, sia che si opti per una struttura standardizzata, sia che si decida di puntare su una piattaforma che offre servizi personalizzati.
Contenuti
Ogni contenuto va creato da zero, ogni volta. Non è pensabile l’ipotesi di riadattare gli stessi contenuti a diverse realtà aziendali aspettandosi un risultato che non sia mediocre.
Per questo è sempre bene che il corso si concentri su contenuti aggiornati, inquadrati sull’azienda e – se possibile – suddivisi per livelli in base alla composizione dei dipendenti.
Il ritorno dell’investimento
Il modello di Kirkpatrick non è l’unico modello per la valutazione dell’efficacia formativa. Dalla sua analisi sono state elaborate altre modalità d’indagine, tra cui il modello proposto da Jack Phillips, che vi integra un quinto punto, il ROI.
ROI sta per Return Of Investment (Ritorno dell’Investimento), un parametro che indica la convenienza della formazione in termini economici e che si concentra su costi e benefici.
Ciascuno degli aspetti fin qui indicati prevede dei costi, che incidono sul peso economico di un corso E-learning, peso che andrà quantomeno bilanciato dal ritorno dell’investimento.
Esiste uno standard per la verifica dell’efficacia dei corsi E-learning?
In una parola, no.
Tutti questi analytics, feedback, prove e simulazioni, studi di performance e proiezioni economiche sono i dati da tenere in considerazione per valutare l’efficacia dei corsi E-learning.
Al momento non esiste ancora una struttura in grado di considerare tutto quanto innestandolo in un unico modello che consideri i bisogni, gli output produttivi, le esigenze (anche in termini di formazione) di un’azienda.
Esistono diversi standard, ma, come è facilmente comprensibile, più standard = nessuno standard.
I grandi operatori del settore informatico stanno studiando un modello che riesca a gestire allo stesso tempo obiettivi e risultati, piano qualitativo e piano quantitativo, in una struttura in cui tutto è interconnesso e allineato.
Si tratta però di un sistema ancora puramente teorico, che può al massimo funzionare nei sistemi piccoli e piccolissimi, ma la cui complessità di progettazione non è al momento applicabile alle grandi realtà.
Allo stato attuale delle cose, quindi, l’unica via percorribile sembra essere quella di raccogliere i vari dati e analizzarli uno per uno.
Il continuo sviluppo tecnologico sarà sicuramente un aiuto qualora si lavorasse per affinare quanto più possibile gli strumenti utili al processo di valutazione.
Alfredo Goffredi e Alessia Margognoni
