Nel corso dei millenni, il dibattito sui problemi del giorno si è evoluto come un rito di passaggio per laurearsi in Europa e in alcune parti del mondo musulmano.
Una piazza cittadina nel mondo antico potrebbe non essere il luogo più ovvio per affrontare le sfide dell’intelligenza artificiale che le università devono affrontare. Ma la tradizione orale di viva voceche dal latino significa “passaparola”, viene adottato come metodo più accurato per testare la conoscenza nell’era dei chatbot, degli imbrogli e della commercializzazione.
Il dottor Chris Della Vedova, docente senior di biochimica e scienze biomediche presso l’Università dell’Australia del Sud (UniSA), ha notato per primo problemi con saggi ed esami a scelta multipla quando gli studenti erano costretti online a causa della pandemia.
“Con gli esami digitali, non sapevamo davvero se qualcuno sapesse qualcosa, il che rendeva difficile la valutazione”, ha detto. “Era raro bocciare gli studenti a meno che non li completassero [exams].”
Quindi, il suo team ha cambiato direzione, provando un nuovo formato di conversazioni di 20 minuti in cui i valutatori attingevano da un insieme casuale di domande basate sul materiale trattato nelle lezioni.
Gli studenti avrebbero risposto e il valutatore avrebbe poi posto una serie di domande di follow-up chiedendo loro di ampliare le loro risposte o di inserire le loro idee nel contesto del corso nel suo complesso.
UniSA ha iniziato a utilizzare il file viva voce sistema nel 2022, sostituendo invece l’esame finale scritto per una serie di lauree scientifiche con valutazioni orali. In un’epoca in cui l’intelligenza artificiale generativa può generare risposte complesse in pochi secondi, non si sono verificate violazioni dell’integrità accademica da quando il formato è stato implementato.
Vedova afferma che le valutazioni basate sulla conversazione aiutano i docenti a determinare meglio la comprensione dei contenuti della materia da parte degli studenti grazie alla “natura fluida e personalizzata di una conversazione”.
“Spesso fai la prima domanda e ottieni una buona risposta memorizzata, ma vogliamo essere sicuri che capiscano cosa stanno dicendo, quindi i follow-up danno l’opportunità di valutare quanto sia solida la loro comprensione”, ha detto.
“Quando gli studenti sono nervosi o poco chiari, possiamo dare loro dei suggerimenti, farli fare un passo indietro, mentre durante un esame potrebbero guardare una domanda e lasciarla vuota.”
Non è privo di sfide.
Il professore di intelligenza artificiale dell’UNSW, Toby Walsh, ha affermato che il formato potrebbe svantaggiare ingiustamente gli studenti che usano l’inglese come seconda lingua o le persone introverse a cui non piace parlare in pubblico.
Vedova ha ammesso che gli studenti internazionali – che costituivano tra il 15% e il 30% dei corsi di scienze – erano preoccupati per il formato orale. Ma ha detto che le attività pratiche hanno rafforzato la fiducia e le capacità di comunicazione parlata non sono state valutate.
“La maggior parte di questi studenti intraprendono professioni sanitarie in cui le interazioni saranno verbali”, ha affermato.
Vedova ha detto che era “più fiducioso” di poter capire cosa avevano capito sedendosi e parlando con loro.
“Non c’è motivo per cui non possa funzionare in nessuna università nell’era dell’intelligenza artificiale generativa, dove ci sono molte cose di cui non possiamo più fidarci.
“Con un saggio di 10 pagine, non hai idea da dove venga.”
dopo la promozione della newsletter
Ma ci sono barriere pratiche.
“Viva voce è ciò che riserviamo agli esami più importanti che facciamo – i dottorati di ricerca – per vedere cosa hanno fatto, e io lo sostengo molto, è fantastico”, ha detto Walsh.
“Ma non si adatta molto bene. Con un esame sit-down, hai centinaia di studenti che lo completano contemporaneamente. Oralmente puoi esaminarne solo uno.
“I miei colleghi che utilizzano più esami orali si imbattono sempre nel problema che un corso universitario del primo anno ha migliaia di studenti e (e) non hanno il personale.
“È difficile confrontare gli studenti. Con un esame c’è un paragone, ma gli esami orali possono andare in una direzione diversa”.
Secondo l’esperto di intelligenza artificiale Dott. Stefan Popenici, nei gruppi più piccoli gli esami orali costituivano la “forma perfetta di valutazione”. Ma secondo lui il metodo era in diretto conflitto con l’attuale modello di “istruzione superiore commercializzata”.
“Se vogliamo che i laureati sappiano leggere e scrivere, è importante considerare forme alternative di valutazione”, ha affermato.
“Non puoi imbrogliare davanti a un pannello, devi dire quello che sai. Gli studenti fanno clic su un pulsante? È spaventoso.”
Esiste una terza via?
Per Walsh è l’esame a libro aperto.
“Perché facciamo in modo che le persone ricordino le cose se possono cercarle nel mondo reale?” ha detto.
“Dovremmo impostare cose che siano impegnative, accettando il fatto che tutti hanno accesso alla conoscenza. Fate in modo che richieda competenza oltre agli strumenti.”
