Ciao a tutti e benvenuti nel canale della Exactpro.
Mi chiamo Anna Maria, sono direttore di marketing dell’azienda.
Nell’Exactpro ci occupiamo dello sviluppo di SW per il testing del SW.
We build software to test software. Vi invitiamo a visitare il nostro sito exactpro.com
per saperne di piu’. Se siete qua per la prima volta non dimenticate
di iscrivervi cliccando il campanello per essere sempre aggiornati sui nostri nuovi
video. Dunque oggi parliamo del testing dei Chatbot
nell’ambito finanziario e del problema dei dati.
Agenti virtuali, chiamati comunemente chatbot, trovano sempre piu diffusione soprattutto
nel settore bancario. Nell’arco degli ultimi anni tali servizi
sono stati lanciati da diverse banche in tutto il mondo.
A differenza del software finanziario tradizionale, i Chatbot interagiscono con gli utenti tramite
un dialogo in linguaggio naturale. Le informazioni ricevute dai chatbot durante
tale interazione vengono elaborate in una certa maniera e trasformate nelle istruzioni
sull’adempimento delle varie azioni con degli account dei clienti.
Questo agente e’ basato sul modello che apprende dai dati multidimensionali quali
richieste degli utenti e informazioni personali che vengono elaborate dagli algoritmi dell’apprendimento
automatico, il che alla fine favorisce il miglioramento
della qualità delle risposte e del funzionamento generale del chatbot.
L'utilità di questa tecnologia, soprattutto per quanto riguarda l’interazione
con dei clienti, e’ fuori ogni dubbio.
Comunque sia nonostante tutti i vantaggi l’utilizzo dell’intelligenza artificiale e’ legato
a diversi rischi. Nel 2019 la banca Tinkoff ha lanciato un agente
virtuale di nome Oleg, basato sull’intelligenza artificiale e introdotto
nell’applicazione bancaria. Questo agente pur essendo molto potente tecnologicamente
non era perfetto nel soddisfare esigenze dei clienti.
Sappiamo di una situazione quando una cliente della banca si e’ rivolta ad Oleg con un
problema di accesso al sistema con l’impronta digitale,
invece il chatbot non e’ stato in grado di dare una risposta soddisfacente,
limitandosi a dire “dovrebbe tagliarsi le dita”.
Questa risposta dimostra una reazione molto originale,
ma allo stesso tempo molto simile a quella umana.
Il modello su cui e’ basato il chatbot aveva appreso con l’aiuto delle capacità del
supercomputer “Kolmogorov” e durante l’apprendimento erano stati usati i dati
di testo aperti. Alla fine il modello ha appreso la comunicazione
in generale, pero’ essendo stato l’apprendimento dai dati non specifici per il settore finanziario
questo fatto ha comportato un errore di comunicazione nella conversazione con la cliente.
L’apprendimento del modello e’ stato efficace se parliamo della comunicazione in generale,
pero’ essendo stato l’apprendimento dai dati non specifici per il settore finanziario
c'è stato un errore di comunicazione. L’interfaccia utente del chatbot potrebbe
essere soggetta a un altro tipo del rischio comunicativo.
Pur essendoci la conversazione perfetta l’agente virtuale bancario potrebbe avere difficoltà
nel reagire ad alcuni messaggi dell’utente. A volte un cliente scrive una frase del tipo:
Mio marito non c'e’ piu’... cosa devo fare con l’account?
La cosa ideale sarebbe quella che il chatbot inoltri la richiesta all’operatore perché
serve l’intervento umano. Per evitare rischi di questo genere occorre
il testing multilaterale e multilivello , la cosa che di per se’ rappresenta un compito
difficile, in quanto richiede l’accesso al grossi volumi
dei dati di testo che comprendono varie comunicazioni dialogiche fra il chatbot e dei clienti,
sufficienti per l’apprendimento del modello. Inoltre durante il testing del sistema di
Intelligenza Artificiale i collaudatori non hanno la descrizione dettagliata del comportamento
aspettato del sistema, ed e’ proprio per questo che sia le richieste
degli utenti sia le risposte dell’agente virtuale hanno un ruolo fondamentale per il
processo della validazione e verificazione del chatbot.
Nel settore finanziario questi problemi dei sistemi dell’intelligenza artificiale,
sono aggravati dai problemi di accesso ai dati –
Spesso il Chatbot apprende dai dati a cui la ditta,
che fornisce il servizio di testing, non può accedere, vista la loro riservatezza.
Per esempio, una squadra di collaudatori potrebbe avere la necessita’ di testare il chatbot
del servizio clienti bancario, che in base alle richieste dei clienti della
banca effettua delle operazioni con i loro conti apportando le modifiche nella database
bancaria. Non avendo l’accesso alla storia dei dialoghi
fra un utente e il chatbot ai collaudatori risulta difficile creare i training dataset
da zero. I collaudatori riscontrano le difficoltà
già all’inizio di testing quando gli scenari base di comunicazione sono composti delle
frasi standard di input e di output perché in fondo il collaudatore deve saper prevedere
i modi in cui clienti potrebbero formulare le loro risposte e domande.
Ma la cosa ancora piu’ difficile e’ riuscire a prevedere eventuali errori di battitura,
omissioni e altri errori dalla parte degli utenti
(giustamente non compiuti apposta ma per disattenzione, ignoranza o scarso sforzo)
Alla fine quando viene modellato un dataset di possibili input degli utenti in vari
scenari, il collaudatore deve comunque sia stabilire
quali risposte del chatbot sono corrette e quale invece –
sbagliate (dal punto di vista del contesto di un determinato messaggio dell’utente
e di un determinato scenario). Tutte queste difficolta’ possono essere
superate totalmente o in parte grazie all’approcio ibrido bilaterale elaborato da noi.
Per prima cosa il collaudatore mette insieme i log di interazioni presi dalle conversazioni
fra il chatbot sotto test e il collaudatore manuale dopodichè viene stabilita
la corrispondenza fra le frasi dei log e i vari compiti, a seconda delle funzioni del
chatbot. Questa categorizzazione permette al collaudatore
di creare degli scenari tipo di testing per la valutazione multilaterale della performance
del chatbot. La seconda tappa ha lo scopo di valutare per
quanto il chatbot sia sicuro, e consiste nell’utilizzo dei dati raccolti per i test automatizzati
con l’uso dei metodi di elaborazione del linguaggio naturale (NLP).
Per esempio il collaudatore puo’ testare l’abilita’ dell’agente virtuale di elaborare
l’input dell’utente, inviando variazioni ortografiche e sintattiche.
Oppure si puo’ valutare per quanto il chatbot sia bravo a identificare le esigenze dell’utente,
associarle al proprio set di scenari e rispondere in modo appropriato o compiere un’azione.
L’approccio da noi consigliato è focalizzato sulle seguenti caratteristiche qualitative
- la perfomance, la funzionalità e l'accessibilità. Questo approccio può essere ampliato usando
insieme dati raccolti e dati supplementari provenienti dalle altre fonti.
Un’altra variante dell’approccio e’ quando durante il testing le frasi associate
precedentemente ai vari scenari vengono inviate in input in modo alternato:
questo permette di controllare il corretto cambio degli scenari dall’agente nonchè
la sua bravura nel fare in tali casi le domande di chiarimento.
Con l’evoluzione delle tecnologie di chatbot avranno lo sviluppo anche gli approcci al
testing di questi agenti. Il testing automatizzato dei sistemi dialogici rimane un compito difficile
invece l’approccio, da noi consigliato, puo’ aiutare a superare il problema principale
che nasce nel testing dei sistemi AI - quello legato ad ottenimento e ampliamento del dataset
di apprendimento soprattutto nell’ambito finanziario, cosi sensibile al problema di
riservatezza dei dati e di sicurezza. Le future ricerche saranno focalizzate sull’esame
delle caratteristiche del chatbot che favoriranno l’efficacia, l’efficienza e la soddisfazione
generale degli utenti. La Exactpro ha sviluppato una serie di soluzioni
per il testing a scopo di effettuare la valutazione qualitativa dei chatbot del settore finanziario.
Se volete testare il vostro chatbot, vi invitiamo a contattarci. Troverete i nostri contatti
nella descrizione di sotto. Per oggi e’ tutto, grazie per essere stati
con noi. Se il nostro approccio al testing lo trovate
interessante, condividete questo video con amici e colleghi e metteteci un like.
Ciao. CI vediamo nei prossimi video.