In riferimento al Volume dal titolo “valutare l’apprendimento online”

di Andrea Laudadio – Direttore Area Ricerca & Sviluppo Gruppo e-Laborando spa; Antonio Flamini – Socio fondatore Gruppo e-Laborando spa (a.flamini@gruppoe-laborando.it)

Una fotografia è sempre un’immagine duplice:
mostra il suo oggetto
e – più o meno visibile – dietro,
il controscatto:
l’immagine di colui che fotografa
al momento della ripresa.
– Wim Wenders, To Shot Picture

Introduzione

La valutazione è un processo complesso il cui obiettivo è la formulazione di un giudizio su un soggetto, un oggetto o un processo, articolata in due momenti distinti tra loro: la raccolta dei dati e delle informazioni e la stesura di un giudizio valutativo (Bulgarelli, 1996). La valutazione, secondo Cronbach (1982), è un evento politico che – nella maggior parte dei casi – si rende concreto all’interno di un ambiente in cui agiscono diversi gruppi d’interesse che tendono a proteggere e difendere le proprie posizioni e quelle di chi rappresentano. Per questo motivo la valutazione espone – in misura simile – sia l’evaluando sia il valutatore (Avallone, 1996) ma anche – direttamente o indirettamente – numerosi stakeholder.

In ultimo, un processo di valutazione deve produrre un supporto nel processo decisionale attraverso la riduzione del livello di complessità dell’evento (Bezzi, 2001). In pratica, la valutazione serve a fornire al decisore un modello di sintesi dell’evento valutato che consenta di prendere decisioni. Proprio per questo motivo il valutatore è chiamato a ridurre, semplificare e sintetizzare una realtà complessa formulando uno o più giudizi sull’evento.

Un giudizio non può – per definizione – essere oggettivo o neutro e – volontariamente o meno – risentirà della posizione politica e culturale di chi lo formula. In una prospettiva costruttivista, il giudizio finale non sarà altro che uno dei molti possibili e rappresenterà una costruzione di senso valida per il soggetto ma probabilmente non estendibile a tutti.

Nonostante l’alto tasso di soggettività, in questo periodo, non c’è area professionale (sia di studio sia d’intervento) che non sembri essere interessata da procedure, metodi o esperienze di valutazione.

Sono numerose le ragioni a sostegno della necessità di allestire procedure di valutazione ma, prendendo in prestito una riflessione di Palumbo (2001), sembrando riconducibili a due: da una parte c’è la necessità istituzionale di rendere conto a proposito di un investimento sostenuto o, in altri termini, quella di rendere trasparente alla comunità (micro o macro di riferimento) in che modo si è risposto ad una richiesta del sistema; dall’altra c’è la volontà, oltre naturalmente alla necessità, che un progetto portato a termine costituisca anche una esperienza di crescita, ovvero una occasione di apprendimento complessivo per il sistema che lo ha sostenuto, in un’ottica di progresso (Guichard, Huteau, 2001).

Nell’ambito della letteratura specializzata, si registra una forte convergenza nell’assimilare la fase di raccolta dei dati ad una attività di ricerca sociale. L’accordo tra gli autori è minore a proposito della prospettiva paradigmatica ed espistemologica da adottare.

La ricaduta operativa è duplice: da una parte non è chiaro quale paradigma seguire, di conseguenza non è univoca la scelta dei metodi e delle tecniche.

Guba e Lincoln (1994) definiscono i paradigmi come un insieme di credenze di base che definiscono la natura del mondo e della conoscenza, e che fissano i limiti dell’indagine stessa, esistono quattro paradigmi chiave della ricerca psicosociale contemporanea – positivismo, neopositivismo, teorie critiche e costruttivismo – sintetizzabili in tre quesiti fondamentali: «Qual è la natura della realtà e che cosa possiamo conoscere di essa?» (quesito ontologico); «Qual è la natura della relazione fra colui che conosce e ciò che può essere conosciuto?» (quesito epistemologico); «Come può l’investigatore scoprire quello che ritiene possa essere conosciuto?» (quesito metodologico).

Stame (2001), identifica tre approcci epistemologici alla valutazione:

• positivista-sperimentale, in cui l’elemento di confronto è rappresentato dagli obiettivi e la valutazione consiste nel vedere se e in che modo essi siano stati raggiunti;
• pragmatista o della qualità in cui ci si confronta con degli standard di qualità, e la valutazione consiste nel dare un parere su quanto ci si avvicini agli standard;
• costruttivista o del processo sociale in cui ci si confronta con ciò che viene considerato un successo dagli stakeholders, e la valutazione consiste nello spiegare perché in quella situazione quel risultato sia considerato tale.

A nostro avviso, nell’ambito della valutazione è possibile operare una uteriore sintesi dei paradigmi distinguendo tra: top-down e bottom-up. In quanto l’approccio pragmatista può essere applicato in entrambi i casi introducendo un elemento di raffronto (interno o esterno) che consenta il benchmarking.

Il modello top-down e bottom-up differiscono essenzialmente per la presenza o meno di una ipotesi formalizzata. Il primo modello fa riferimento alla falsificazione di una ipotesi precedentemente formulata (Popper, 1959), definibile come un insieme interrelato di concetti, definizioni, e proposizioni che forniscono una visione sistematica dei fenomeni, specificando le relazioni fra le variabili con lo scopo di spiegare e prevedere i fenomeni stessi (Kerlinger, 1964). Il secondo modello alla Grounded Theory (Strass e Corbin, 1990). Secondo i referenti teorici di tale teoria, così come riportato da Strati (1997), il fenomeno sociale non dovrebbe essere tradotto nel linguaggio delle variabili poiché la variabile – con i suoi caratteri di neutralità e oggettività – non costituisce la base di un discorso sociologico complesso.

Tabella 1 – Approccio top-down e bottom-up a confronto

Procedura	Top-down	Bottom-up
Riferimento teorico	Falsificazione di una ipotesi (Popper, 1959)	Costruttivismo (Watzlawick, 1977) Grounded Theory (Strass e Corbin, 1990)
Punti forza	Punti forzaEsistenza di una ipotesi iniziale “forte”   Riduzione delle variabili Minore “responsabilità” del valutatore	Apertura della valutazione ad eventi non previsti o non voluti
Criticità	Mancanza di apertura ad altri aspetti emersi durante l’analisi dell’evento	Difficoltà nel pianificare preventivamente l’impianto metodologico

Aderire al primo modello teorico significa distinguere la fase della formulazione di giudizio in due momenti: un primo momento, preliminare alla fase di raccolta dei dati (formulazione dell’ipotesi) o di definizione degli obiettivi (Guichard, Huteau, 2001) e un secondo, successivo a quello della raccolta dei dati (formulazione di un giudizio sulla base della falsificazione dell’ipotesi sulla base dei dati registrati). Nel secondo modello, dopo una fase la più possibile ampia di raccolta dei dati (aperta anche ad aspetti inizialmente sconosciuti, non voluti o imprevisti) è formulato un giudizio complessivo non legato ad ipotesi.

In termini pratici, se volessimo rilevare il livello di apprendimento successivo ad un corso di formazione, abbiamo due possibilità.

Secondo un modello top-down dovremmo inizialmente operazionalizzare il concetto di apprendimento, definendone caratteristiche e livelli, e formulare una ipotesi che lo falsifichi. In altre parole, dobbiamo formulare due ipotesi: (1) il soggetto ha appreso e (2) il soggetto non ha appreso. Conseguentemente, è necessario articolare una procedura di raccolta dei dati finalizzata a falsificare l’ipotesi 1, chiedendo ai soggetti – ad esempio – elementi che siamo certi sono in possesso di coloro che hanno appreso efficacemente. Sulla base dei dati raccolti falsificheremo l’ipotesi in conformità a una procedura in precedenza definita. Ad esempio, se il 25% dei soggetti non registra un punteggio pari al 100% delle risposte corrette, allora diremo che non c’è stato apprendimento.

Secondo un modello bottom-up l’ipotesi iniziale rimane implicita ed è fortemente legata ad una pluralità di obiettivi (espressi o meno) legati al percorso formativo. La fase di campo sarà finalizzata a rilevare il maggior numero possibile di aspetti e di relazioni tra di essi. Ad esempio, intendendo l’apprendimento in termini più ampi, si valuterà la socializzazione del soggetto, l’acquisizione di competenze “altre” rispetto a quelle specifiche del percorso o il livello di partecipazione attiva all’interno del corso. Inoltre, tramite opportune procedure si cercherà di esplorare se il percorso ha causato effetti non voluti o non previsti, come ad esempio una avversione per i percorsi formativi o cambiamenti nell’ambito della vita privata.

Di là dalla scelta di paradigma che può essere adottata nell’ambito della valutazione, esistono due approcci metodologici legati alla rilevazione dei dati: qualitativo e quantitativo.

I due termini, anche nel linguaggio comune, vengono il più delle volte intesi in forma dicotomica, come se la scelta del primo implicasse una rinuncia al secondo, e viceversa. Analogamente, quando qualità e quantità si riferiscono alle metodologie di ricerca, i termini sono tipicamente assunti come contrapposti (Zammunner, 2003): tanto più si tenta di ricondurre l’osservazione a dati numerici, suscettibili di analisi statistiche specifiche per una lettura di questi il più possibile precisa, quanto più siamo nell’ambito del quantitativo; al contrario, quando si tende a credere che tale scelta comporti una riduzione significativa delle informazioni a disposizione, e quindi si adotta un approccio meno riduzionistico, siamo nell’area del qualitativo.

Nella ricerca psico-sociale, a sostegno di questa premessa, alcuni contributi sembrano individuare una via di uscita al dualismo appena riproposto (Cipolla, De Lillo, 1996): il passaggio da una contrapposizione bipolare (figura 1) ad un approccio integrato (Mazzara, 2002) fra i due modelli metodologici (figura 2).

Figura 1 – Contrapposizione Qualitativo – Quantitativo

Figura 2 – Integrazione Qualitativo – Quantitativo

Tale approccio sembra avere radici lontane: il «crollo dell’illusione della “scienza oggettiva”» (Pessa, 2004, p.9) e l’avvento, sul piano metodologico, del modello sistemico , lasciano il posto ad un approccio naturale che non si pone l’obiettivo di ricondurre l’osservabile a leggi essenziali ma, piuttosto, a mantenere il livello di complessità dei fenomeni anche nelle leggi che li interpreta (Prigogine, 1980). Se si accetta questa premessa, la contrapposizione bipolare quantitativo/qualitativo si tramuterebbe in una nuova distinzione tra metodologie: quelle con riferimento alla quantità (o della misura) e metodologie della qualità (o della forma). Il passaggio culturale implicato in questo cambiamento è di considerare i modelli qualitativi (forma) e quantitativi (misura) come compresenti nella maggior parte delle metodologie di ricerca.

Ne consegue che il dibattito aperto tra sostenitori dei metodi qualitativi e quantitativi, così come il tentativo di superamento di tale dicotomia a favore di una prospettiva  integrata tra qualitativo e quantitativo è estendibile anche al tema della valutazione. In questa prospettiva è possibile collocare la distinzione tra approccio hard e soft (Pasquinelli 2003).

La prima fa riferimento ad una metodologia scientificamente più rigorosa nel misurare gli effetti netti di un intervento: la valutazione di tipo sperimentale (o quasi sperimentale), che usa evidenze controfattuali per isolare gli effetti netti di un intervento. Utilizza essenzialmente metodi quantitativi. I risultati di questi studi – proprio per le sue caratteristiche – presentano alcuni limiti di generalizzabilità, i risultati emersi per un progetto e in un certo contesto possono non valere più in un contesto differente.

La seconda fa riferimento a metodi principalmente qualitativi. A questo metodo si ricorre quando gli obiettivi di un programma non riguardano solo degli impatti ma anche dei processi, quando le variabili situazionali influiscono significativamente, quando c’è una pronunciata multidimensionalità dell’intervento e l’outcome netto è difficile da isolare.

I due metodi sembrano contrapposti e speculari (Pasquinelli 2002). Il primo concentrandosi sull’impatto porta a una diminuzione dell’attenzione sulla catena causale, il secondo rischia invece di spostare l’enfasi sui diversi passaggi intermedi perdendo di vista l’analisi dell’impatto finale che rischia così di essere svalutato.

Nel dibattito tra metodi qualitativi e quantitavi un’interessante proposta metodologica è la Theory based-evaluation. Secondo Ielasi (2003) quest’approccio propone di fondare le attività di valutazione sull’esplicitazione delle ‘teorie del cambiamento’ che soggiacciono ai diversi programmi d’interventi. L’idea è che qualsiasi programma o progetto è basato su una qualche teoria, esplicita o implicita, di come e perché il programma funzionerà. Le teorie soggiacenti ai programmi sono le percezioni che i singoli attori del progetto hanno di qual è il problema che il progetto deve affrontare, su come sorge il problema e su come e perché il progetto è in grado di affrontarlo e trattarlo.

Tabella 2 – Approccio soft e hard a confronto

Procedura	Soft	Hard
Esempio	Valutazione partecipata Theory based-evaluation	Gruppo di controllo Analisi pre e post
Punti forza	Possibilità di approfondire gli elementi emersi Offre ulteriori elementi a supporto dell’interpretazione	Comparabilità tra le diverse rilevazioni   Possibilità di risalire all’effetto al netto di altri aspetti
Criticità	Difficoltà nella comparazione dei risultati e non in grado di individuare gli effetti netti.	Costi molto alti e poche informazioni addizionali di supporto all’interpretazione

Come si evince da questa rapida rassegna, valutare è un processo complesso in cui il valutatore, attraverso la selezione e la scelta di cosa, come, perché e quando valutare influenza significativamente sia il processo di valutazione sia i risultati di questo processo (formulazione del giudizio).

Questa considerazione è valida per tutti gli ambiti di valutazione, quindi anche della formazione a distanza.

In particolare, nell’ambito della formazione a distanza, soprattutto in Italia, sono pochi gli strumenti – validati – a disposizione del valutatore, indipendentemente dall’approccio paradigmatico e metodologico che voglia utilizzare. L’obiettivo del presente capitolo è di fornire al lettore una serie di strumenti – in precedenza validati, da utilizzare all’interno d’impianti di valutazione di percorsi formativi a distanza.

Strumenti per la valutazione

Parlare di strumenti (e in particolare di questionari) pone numerose questioni, a oggi ancora non risolte essenzialmente connesse a cosa e come misurare. Supponiamo ad esempio di voler valutare la dimensione della soddisfazione, questa deve essere esplicitata e operazionalizzata e in seguito è necessario costruire una scala di rilevazione congruente con l’obiettivo. Si può decidere di chiedere di indicare se si è “si” o “no” soddisfatti oppure di esprimere la soddisfazione su una scala ampia che preveda – ad esempio – alternative come “per nulla”, “poco”, “abbastanza”, “molto” o “del tutto”. Le due metodologie anche se affini non sono equivalenti.

Da una analisi dei questionari disponibili in letteratura si possono facilmente identificare almeno tre dimensioni oggetto di valutazione, ciascuna delle quali presenta dei punti forza e delle criticità.

Tabella 2 – Approccio soft e hard a confronto

Dimensione	Punti forza	Criticità
Soddisfazione	Rappresenta una delle dimensioni più frequentemente richieste dal committente soprattutto per calcolare un indice globale legato al percorso.	È una misurazione generica e fortemente variabile spesso suscettibile dell’impatto di variabili individuali. Spesso, la soddisfazione generale influenza aspetti specifici ed è difficile discriminare tra i diversi aspetti.
Appropriatezza	Fornisce un’indicazione immediata circa l’appropriatezza dell’impianto formativo.	Implica che gli utenti siano “esperti” del processo e siano in grado di identificare la rispondenza tra quanto dato e quanto necessario.
Aspettative	Similmente all’adeguatezza è in grado di indicare quanto il reale è congruente con quanto pensato prima della partecipazione.	L’aspettativa è profondamente soggettiva e potrebbe essere stata influenzata in positivo o in negativo da altri aspetti non presi in considerazione.

Confrontando gli strumenti di valutazione sia reperiti in letteratura sia adottati in altre strutture di formazione, le posizioni – su questo specifico aspetto – sembrano sostanzialmente due: da una parte i questionari in cui si  chiede il livello di soddisfazione (alle volte delle aspettative) in relazione a degli aspetti specifici del percorso; dall’altra i questionari che – suddividendo il percorso in una serie di azioni consecutive – dall’informazione/accoglienza all’accompagnamento post-percorso – chiedono quanto ciascuna delle attività sia stata svolta correttamente o, meglio, in modo adeguato.

La nostra opinione è che questa seconda posizione complichi ulteriormente la questione, poiché si dà per scontato che il partecipante sia in qualche modo esperto e in grado di valutare l’adeguatezza del servizio ricevuto. È un po’ come se – dopo aver subito un’operazione chirurgica – ci chiedessero di valutare la correttezza dell’operato dell’anestesista, o di chi ha disinfettato la sala operatoria. Al massimo potremmo rispondere con un ironico auspicio: “Spero di si!”

È davvero appropriato chiedere a soggetti di valutare aspetti o dimensioni di cui non si ha dimestichezza? Non si rischia di ottenere valutazioni parziali o forzatamente approssimative? (ricordando il livello imprescindibile di soggettività di cui è portatore un percorso/processo di valutazione)

Inoltre, molto spesso questi strumenti di valutazione se sottoposti ad analisi psicometriche non sono quasi mai in grado di evidenziare differenze significative tra i diversi aspetti, ma sono solo in grado di fornire indicazioni generali. In altre parole, questi strumenti non sono in grado di discriminare tra diverse dimensioni e analizzando i livelli di attendibilità si scopre facilmente che spesso basterebbe chiedere soltanto il livello di soddisfazione generale piuttosto che chiedere di compilare lunghe e faticose scale di rilevazione.

Identificazione delle dimensioni cognitive ed emotive legate alla formazione a distanza

Per rilevare le dimensioni cognitive ed emotive che i soggetti sono in grado di discriminare all’interno di un percorso di formazione a distanza è stata utilizzata una procedura di card sorting (letteralmente “ordinare le schede”) che consiste in una procedura utilizzata nella ricerca specialistica per verifiche di usabilità o, più in generale, per entrare nel merito del processo di categorizzazione che gli individui mettono in atto (Ferlazzo, 2005).

Ad ogni soggetto abbiamo presentato una serie di cartoncini su ciascuno dei quali era riportato un aspetto specifico di un percorso di formazione, in ordine casuale. Veniva poi chiesto ai soggetti di organizzare (tutti) i cartoncini secondo criteri scelti liberamente e, in particolare, di categorizzare tutti i cartoncini in un numero qualsiasi di categorie omogenee, da loro create in base ad un qualsiasi criterio di categorizzazione (ovvero non si ponevano limiti al numero di categorie, al numero di cartoncini all’interno di ciascuna categoria, né al tipo di categorizzazione scelta) e – quando avevano terminato – i soggetti venivano invitati ad attribuire un nome descrittivo a ciascuna delle categorie individuate.

I cartoncini sono stati elaborati ad hoc: 63 in tutto, che riportavano, ad esempio, caratteristiche del tipo “Gestione”, “Docente”, “Tutor”, “Contenuti”, “Costo” e via dicendo.

L’utilizzo di specifiche procedure di analisi dei dati ha consentito di produrre delle rappresentazioni grafiche della struttura categoriale definita dagli utenti.

Dall’analisi sembrerebbero emergere 6 categorie omogenee di contenuto:

• Organizzazione del corso (gestione, costo, aspetti amministrativi e organizzativi)
• Personale (docente e tutor);
• Utilità professionale (ricaduta professionale del corso);
• Utilità personale (ricaduta personale – e non professionale – del corso, ad esempio cultura generale e miglioramento delle relazioni personali);
• Usabilità della piattaforma (accessibilità, navigabilità, gestione dei contenuti, interattività e supporto on-line e off-line);
• Aspetti sociali (socializzazione e relazioni)

Di conseguenza è necessario utilizzare strumenti e procedure che siano in grado di fornire indicazioni precise riguardo a questi aspetti.

Nei paragrafi seguenti saranno presentati due strumenti – originati da questo studio – e validati all’interno di percorsi formativi a distanza. Gli strumenti fanno riferimento all’Autoefficacia informatica e all’Usabilità della piattaforma.

Autoefficacia informatica

Nel precisare il concetto di autoefficacia (self-efficacy), come Bandura (1977) chiama questa percezione di competenza, ci si propone generalmente di differenziare le attese di riuscita (la fiducia nutrita dalla persona a proposito del fatto che un dato comportamento condurrà ad un certo esito) dalle aspettative di efficacia che si riferiscono alla convinzione di essere in grado di attivare un determinato comportamento.

A questo proposito, secondo Bandura il concetto di autoefficacia si riferisce alla convinzione nelle proprie capacità di organizzare e realizzare il corso di azioni necessario a gestire adeguatamente le situazioni che incontreremo in modo da raggiungere i risultati prefissati. Le convinzioni di efficacia influenzano il modo in cui le persone pensano, si sentono, trovano le motivazioni personali e agiscono (Bandura, 1986).

L’autoefficacia percepita si basa su quattro aspetti principali:

• le esperienze personali relative ai nostri risultati, che rappresentano le fonti principali delle nostre credenze di autoefficacia. Le esperienze passate dell’individuo vengono elaborate ed interpretate secondo un sistema di categorizzazione basato sulla dicotomia successi-fallimenti: la persona farà riferimento alla quantità di esperienze di successo o di fallimento che ha sperimentato in passato e da ciò si costruirà delle credenze relative alla propria autoefficacia;
• le esperienze vicarie, che riguardano la valutazione degli effetti prodotti dalle azioni compiute da altre persone. Sono quegli apprendimenti che l’individuo sviluppa attraverso l’imitazione e l’osservazione dei comportamenti delle altre persone. L’individuo può anche non sperimentare personalmente una specifica azione ma ne interiorizza l’effetto grazie all’osservazione dell’esperienza altrui, incrementando il suo sistema di credenze relativo alla capacità di affrontare determinate situazioni;
• la persuasione verbale proveniente dagli altri relativamente alle possibilità di ottenere dei risultati positivi dalla nostra azione. È un fattore dell’autoefficacia che non origina direttamente dall’esperienza agita, ma influenza l’insieme di credenze dell’individuo attraverso consigli, avvertimenti, raccomandazioni apportati da altre persone riguardo le probabilità che l’azione che l’individuo ha scelto di compiere porterà agli esiti sperati. Inoltre tanto più è ritenuta credibile dall’individuo la fonte da cui proviene la persuasione, tanto più questa influenzerà la valutazione individuale di efficacia.
• lo stato psicologico (stress, ansia, arousal) che può potenziare l’influenza sulle nostre credenze di efficacia. Lo stato psicologico risulta composto da due sottocomponenti: da un lato gli stati fisiologici e dall’altro gli stati emozionali, questi ultimi ritenuti “mediatori” di determinate performances, in quanto il tipo di emozione che una specifica circostanza può suscitare, influenzano anche in modo non indifferente l’esito della prestazione modificando la propria percezione di autoefficacia.

In conclusione, a questi quattro fattori fondanti, possiamo aggiungerne un quinto, la capacità immaginativa, in altre parole la tendenza a immaginare e anticipare i possibili scenari che potrebbero avverarsi dopo la messa in atto dell’azione prescelta dall’individuo. Questa capacità è ritenuta particolarmente importante se si prende in considerazione quanto l’attività anticipatoria e le attese influenzino i processi di pensiero che la persona attiva nel momento della scelta.

Sulla base di queste considerazioni abbiamo realizzato e validato su un campione di circa 562 soggetti una scala che fosse in grado di misurare l’autoefficacia in relazione all’utilizzo di strumenti informatici. Ai soggetti viene chiesto (attraverso una scala Likert a 5 passi da 1= Per nulla a 5= Del tutto) di indicare il grado di accordo in relazione a 9 affermazioni.

Tabella 3 – CSES – Computer Self-Efficacy Scale

		Per nulla	Poco	Abbastanza	Molto	Del tutto
1	Sono in grado di utilizzare un computer	▢	▢	▢	▢	▢
2	Passo molto tempo davanti ad un computer	▢	▢	▢	▢	▢
3	Non ho paura di fare cose nuove con il computer	▢	▢	▢	▢	▢
4	Se dovessi usare un computer diverso da quello che uso di solito non avrei particolari difficoltà	▢	▢	▢	▢	▢
5	Sono in grado di fare una ricerca su Internet	▢	▢	▢	▢	▢
6	Difficilmente commetto errori usando il computer	▢	▢	▢	▢	▢
7	Utilizzo spesso il mio computer come strumento di comunicazione	▢	▢	▢	▢	▢
8	Mi piace esplorare le nuove funzionalità di un computer	▢	▢	▢	▢	▢
9	Sarei in grado di insegnare a un novizio come usare un computer	▢	▢	▢	▢	▢

Lo strumento presenta una struttura monofattoriale in grado di spiegare il 68,2% della varianza complessiva e presenta un indice di attendibilità pari a α=.861. La somma del punteggio di ciascun item consente di ottenere un punteggio che varia da 9 a 45. Punteggi compresi tra 9 e 18 indicano una bassa autoefficacia informatica, mentre punteggi tra 36 e 45 una buona autoefficacia informatica. È doveroso precisare che la scala è stata validata con un campione di età compresa tra i 17 e i 58 anni e il punteggio finale risente fortemente dell’età dei soggetti. Inoltre, dopo i 40 anni risente anche di alcune differenze di genere.

Lo strumento è stato utilizzato all’interno di percorsi di formazione a distanza ed è emersa una forte relazione tra l’autoefficacia informatica e il gradimento dei percorsi. Soggetti con bassa autoefficacia informatica tendono a formulare giudizi più negativi rispetto a chi ha alti livelli di autoefficacia.

Viene consigliato l’utilizzo dello strumento in tutte le situazioni in cui l’aula è composta in modo eterogeneo in relazione alle competenze informatiche. In una situazione di test-retest è stato verificato anche un effetto del corso stesso in relazione all’autoefficacia informatica. I soggetti alla fine del corso a distanza hanno espresso livelli di autoefficacia superiori rispetto al loro livello in ingresso.

Usabilità

L’International Organisation for Standardisation definisce l’usabilità come l’efficacia, l’efficienza e la soddisfazione con le quali determinati utenti raggiungono determinati obiettivi in determinati contesti. In pratica definisce il grado di facilità e soddisfazione con cui l’interazione uomo-strumento si compie.

Proprio in quanto relativa all’interazione tra l’uomo e lo strumento, il termine non può riferirsi ad una caratteristica intrinseca e propria dello strumento ed è per questo motivo che anche se riferita ad uno stesso oggetto può variare da individuo ad individuo sulla base delle conoscenze, competenze, aspettative e abitudini del soggetto che utilizza lo strumento. In termini pratici, l’usabilità viene poi però riportata come caratteristica propria dell’oggetto, in altre parole, distinguiamo tra strumenti più o meno usabili sulla base del giudizio che gli utenti medi hanno formulato.

Nell’ambito della valutazione dei percorsi a distanza è necessario tenere quanto possibile sotto controllo il livello di usabilità della piattaforma per verificare se questa influenzi in qualche modo altre variabili oggetto di rilevazione.

A questo scopo abbiamo costruito e validato uno strumento finalizzato a rilevare il livello di usabilità delle piattaforme di formazione a distanza.

La scala è stata validata in relazione ad un campione di 329 soggetti che hanno utilizzato 5 diverse piattaforme di formazione a distanza. Ai soggetti viene chiesto (attraverso una scala Likert a 5 passi da 1= Per nulla a 5= Del tutto) di indicare il grado di accordo in relazione a 9 affermazioni.

Tabella 4 – ELUS – e-Learning Usability Scale

		Per nulla	Poco	Abbastanza	Molto	Del tutto
1	Sono riuscito a muovermi agevolmente all’interno della piattaforma	▢	▢	▢	▢	▢
2	Le diverse funzioni sono attivabili in modo intuitivo	▢	▢	▢	▢	▢
3	Sono riuscito a collegarmi e ad accedere facilmente	▢	▢	▢	▢	▢
4	Le istruzioni sono chiare e facilmente fruibili	▢	▢	▢	▢	▢
5	Non ho impiegato troppo tempo nel cercare di capire il funzionamento	▢	▢	▢	▢	▢
6	Non ho avuto bisogno di chiedere ulteriori spiegazioni sul funzionamento della piattaforma	▢	▢	▢	▢	▢
7	La piattaforma facilita il processo di apprendimento e non lo complica	▢	▢	▢	▢	▢
8	Anche le funzioni più complesse sono facilmente accessibili	▢	▢	▢	▢	▢
9	La struttura grafica aiuta a muoversi agevolmente nella piattaforma	▢	▢	▢	▢	▢

Lo strumento presenta una struttura monofattoriale in grado di spiegare il 71,3% della varianza complessiva e presenta un indice di attendibilità pari a α=.821. La somma del punteggio di ciascun item consente di ottenere un punteggio che varia da 9 a 45. Punteggi compresi tra 9 e 18 indicano una bassa usabilità dello strumento mentre punteggi compresi tra 36 e 45 un ottimo livello di usabilità. Se il questionario viene somministrato ad un campione di almeno 25 soggetti è possibile calcolare il livello medio di usabilità dello strumento e valutare l’eventuale necessità di intervenire sulla piattaforma per innalzarlo. In questo caso è necessario intervistare gli utenti per evidenziare punti forza e di debolezza della piattaforma. Il livello di usabilità presenta una correlazione curva con l’autoefficacia informatica.  A bassi livelli di autoefficacia informatica corrispondono bassi punteggi nell’usabilità ma anche ad altri punteggi di autoefficacia informatica potrebbero corrispondere dei punteggi inferiori di usabilità. Il motivo è semplice, l’usabilità percepita di uno strumento informatico è collegata all’expertise dell’utente. Ad alti livelli di expertise è possibile che il soggetto sia in grado di identificare problematiche particolari della piattaforma che sfuggono ad altri utenti, oppure che non sia soddisfatto delle opzioni disponibili in quanto troppo limitanti.

Conclusioni

Gli strumenti presentati possono essere utilizzati all’interno di procedure di valutazione riferiti a percorsi di formazione a distanza. In particolare, gli strumenti si prestano a fornire indicazioni di controllo riguardante la capacità dei soggetti di utilizzare uno strumento informatico e la capacità di uno strumento informatico (piattaforma) di essere correttamente e facilmente utilizzato da degli utenti.

Gli strumenti, molto brevi, presentano indicatori psicometrici che ne confermano una corretta costruzione, ma il loro utilizzo viene raccomandato sono all’interno di impianti valutativi ampi che contemplino la possibilità che utenti e piattaforma possano in qualche modo influenzare il giudizio degli utenti su altri aspetti.

Anche utilizzando strumenti validati, è necessario ricordare che la valutazione (o meglio, la costruzione di un giudizio valutativo) è una azione riconducibile all’interno delle relazioni sistemiche (e complesse) tra l’oggetto e il soggetto che la valuta e risente pertanto di un molteplice spettro di dimensioni, a volte proprie dell’oggetto della valutazione, altre volte del soggetto che effettua la valutazione. L’adozione di una prospettiva sistemica e relazionale se da un lato introduce un elemento di complessità dall’altro supera l’annosa questione: valutazione oggettiva vs. soggettiva, spostando il focus su come gestire una valutazione – per forza di cose – di natura essenzialmente soggettiva.

Da operatori del settore vogliamo sottolineare l’urgenza di poter disporre di uno strumento di valutazione del percorso formativo, validato e sperimentato in ambito nazionale, che consenta la possibilità di discriminare tra le diverse dimensioni implicate nel processo formativo a distanza. In questo modo sarebbe possibile avere un indice di benchmark che consenta la comparazione tra diversi corsi.

In termini generali questo strumento consentirebbe di “ridurre lo spreco di risorse finanziarie e professionali, dunque di recuperare efficienza, modificare i programmi formativi negli aspetti meno efficaci e di salvaguardare le aree di sperimentata affidabilità” (Amietta, Amietta, 1992) non solo a livello aziendale ma anche in ambito nazionale, se adottato da tutte le strutture e se la comparazione dei risultati avvenisse anche ad un livello centrale.

In relazione ad entrambi gli strumenti, è necessario tenere in considerazione la dimensione temporale della valutazione. Non solo distinguendo tra la valutazione a caldo e a freddo (Amietta, Amietta, 1992), ma anche a proposito del raggiungimento degli obiettivi personali dell’evaluando.

Bibliografia

Amietta F., Amietta P.L. (1992) Perché valutare la formazione diventa strategico? Professionalità – VII-VIII

Avallone F., (1996), Analisi della realtà e valutazione nelle organizzazioni. In Borgogni L. (a cura di), Valutazione e motivazione delle risorse umane nelle organizzazioni. FrancoAngeli, Milano

Bandura, A. (1977), Social learning theory, Prentice Hall, Englewood Cliffs, NJ.

Bandura, A. (1986), Social foundations of thought and action: A social cognitive theory, Prentice Hall, Englewood Cliffs, NJ.

Bezzi (2001), Il disegno della ricerca valutativa. FrancoAngeli, Milano

Bulgarelli A. (1996) Percorsi di valutazione del FSE nelle Regioni Italiane. FrancoAngeli, Milano

Cipolla C., De Lillo A. (1996). IL sociologo e le sirene. La sfida dei metodi qualitativi. FrancoAngeli, Milano

Cronbach, L. (1982). Designing evaluations of educational and social programs. San Francisco: Jossey-Bass.

Ferlazzo F. (2005) Metodi in ergonomia cognitiva. Carocci, Roma

Guba E. G. e Lincoln Y.S. (1994), competing paradigms in quialitative research in Denzin N. K. e Lincoln S. Handbook of qualitative research, thousand oaks, Sage

Guichard, J., Huteau, M. (2001). Psychologie de l’orientation, Dunod, Paris; tr.it. (2003) Psicologia dell’orientamento professionale,  Raffaello Cortina Editore

Ielasi P. (2003) Il problema della valutazione ex post delle nuove politiche sociali. In De Ambrogio U. Valutare gli interventi e le politiche sociali. Carrocci, Roma

Kerlinger, F. (1964). Foundations of behavioural research. New York: Holt.

Mazzara B. (2002) Metodi qualitativi in psicologia sociale. Carocci, Roma

Palumbo M. (2001) Il processo di valutazione. FrancoAngeli, Milano

Pasquinelli S. (2002) – La valutazione di impatto nell’ambito delle politiche sociali: esperienze sul campo, questioni di metodo. V Congresso dell’AIV

Pasquinelli S. (2003) La valutazione di impatto nell’ambito delle politiche sociali: esperienze sul campo, linee di sviluppo. In De Ambrogio U. (a cura di) Valutare gli interventi e le politiche sociali. Carrocci

Pessa, E. (2004) Statistica con le reti neurali. Di Renzo Editore, Roma

Popper K.R. (1959) The logic of scientific Discovery. London – Hutchinson

Prigogine I., (1986) Dall’essere al divenire: tempo e complessità nelle scienze fisiche. Einaudi, Torino.

Stame N. (2001) Tra approcci principali alla valutazione. In M. Palombo (a cura di)   Il processo di valutazione. FrancoAngeli, Milano.

Strass e Corbin, 1990 Basic of qualitative search. Grounded theory procedures and tecniquesNewbury Park, Sage

Strati (1997), la “grounded teory” in L.Ricolfi (a cura di) La ricerca qualitativa. Carocci, Roma

Zammuner, V. L., (2003) I focus group. Il mulino, Bologna.