Chi parla? Il potere dell'ASR, della Speaker Identification e Diarization  

Ma come fanno queste tecnologie, quali gli assistenti virtuali, i servizi di trascrizione automatica o i comandi ad attivazione vocale, a riconoscere, interpretare e rispondere al parlato umano?

Per tecnologie vocali si intendono tutti i sistemi e gli strumenti che consentono alle macchine di elaborare, analizzare e rispondere al parlato umano.

Queste tecnologie fanno leva su algoritmi complessi e intelligenza artificiale per capire il linguaggio parlato, e in questo modo, si declinano in varie applicazioni che rendono le interazioni uomo-macchina più naturali e intuitive.

Tra le tecnologie più potenti di cui oggi disponiamo c’è l’Automatic Speech Recognition (ASR), ossia il riconoscimento automatico del parlato, che converte le parole pronunciate in testo. A questo si aggiungono la Speaker Identification e la Diarization, che permettono ai sistemi di identificare e distinguere tra più soggetti parlanti all’interno di un flusso audio a quale soggetto appartiene la voce.

In questo articolo ci concentreremo su queste tecnologie che, se combinate, danno vita ad un sistema altamente efficiente e potente in grado di trascrivere accuratamente il parlato e di identificare chi sta parlando in un determinato momento.

L’ Automatic Speech Recognition (ASR) è una tecnologia che consente alle macchine di convertire il linguaggio parlato in testo scritto.   

È ampiamente utilizzata in varie applicazioni, come gli assistenti vocali (ad esempio Siri e Alexa), i servizi di trascrizione, i dispositivi a controllo vocale e persino i sistemi di assistenza clienti automatizzati.   

Elaborando e riconoscendo il parlato umano, l’ASR consente un’interazione più naturale tra uomo e macchina. 

Come funziona l’ASR? 

L’ASR opera tramite diverse fasi chiave che gli consentono di interpretare e convertire il parlato in testo:  

1. Ingresso audio: il processo inizia quando un utente parla in un microfono o in un altro dispositivo di registrazione. Le parole pronunciate vengono catturate come segnale audio.  
2. Pre-elaborazione dell’audio: il sistema pulisce il segnale audio filtrando il rumore di fondo, separando il parlato dagli altri suoni e rilevando l’attività vocale. In questo modo, garantisce che solo le parti rilevanti dell’audio vengano elaborate. 
3. Decodifica: converte il segnale pre-elaborato in testo. Utilizza le probabilità fornite dal modello acustico, dal lessico e dal modello linguistico per trovare la sequenza di parole più probabile attraverso algoritmi di ricerca efficienti.  
4. Post-elaborazione: Applica trasformazioni al testo per renderlo più leggibile (ad esempio, converte numeri come “diciannove novanta” in “1990”).  
5. Output: La fase finale è l’output del testo, in cui il parlato riconosciuto viene visualizzato come testo, utilizzato come comando o elaborato ulteriormente in base all’applicazione. 

Pro e contro dell’ASR 

L’ASR migliora notevolmente l’esperienza dell’utente perché permette la trascrizione a mani libere e l’accessibilità, soprattutto per le persone con disabilità o in situazioni in cui l’input manuale non è pratico.   

Convertendo il parlato in testo, sia in modalità batch che in tempo reale, facilita una comunicazione più rapida e rende possibili applicazioni come gli assistenti ad attivazione vocale, i servizi di trascrizione e la traduzione automatica in tempo reale.   

Inoltre, la fase di pre-elaborazione migliora l’accuratezza filtrando il rumore di fondo, rendendo l’ASR efficace anche in ambienti non ideali.  

Nonostante i suoi vantaggi, l’ASR deve affrontare sfide che possono limitarne l’efficacia.   

L’elevata variabilità di accenti, dialetti, tipologie di parlato (ad es. fomale vs. spontaneo) e di parlatore può portare a interpretazioni errate ed errori, riducendo l’accuratezza.   

Anche forti rumori di fondo, le perturbazioni del segnale (ad esempio, quelle causate dal riverbero) e la sovrapposizione del parlato di più speaker possono confondere il sistema, compromettendone le prestazioni.   

Nonostante queste limitazioni, i progressi nell’apprendimento automatico e nelle reti neurali hanno reso l’ASR altamente accurato e una tecnologia chiave nella comunicazione e nell’automazione moderne.  

Comunque, ciò che viene detto in un audio è solo una parte delle informazioni in esso contenute. Ci sono alcuni componenti importanti che arricchiscono il processo ASR, in particolare la Speaker Identification e la Diarization. 

Speaker Identification e Speaker Diarization sono due tecnologie chiave dell’elaborazione vocale che aiutano i sistemi a distinguere tra più soggetti parlanti in una registrazione audio.  

Speaker Identification: riconosce e identifica chi sta parlando in base a caratteristiche vocali uniche incluse in un database di profili di soggetti parlanti noti nel mondo reale.  

Speaker Diarization: determina quando i diversi soggetti parlano in una conversazione, suddividendo l’audio in segmenti per ciascun oratore.   

Come funziona la Speaker Diarization ? 

1. Voice activity detection (VAD): il primo passo consiste nel rilevare il punto in cui si verifica il parlato nel flusso audio. Il sistema identifica i segmenti in cui ci sono persone che parlano e ignora il silenzio o il rumore di fondo. 
2. Speaker segmentation: una volta rilevato il parlato, il sistema divide l’audio in diversi segmenti in base alle variazioni delle caratteristiche della voce. Questa fase aiuta a rilevare quando un soggetto termina di parlare e ne inizia un altro. 
3. Speaker clustering: dopo la segmentazione, il sistema analizza ogni segmento per determinare a quale persona appartiene. Utilizzando modelli di apprendimento automatico, raggruppa i segmenti di parlato dello stesso oratore, anche se questi parla più volte. Inoltre, l’algoritmo di clustering stima il numero totale di parlanti coinvolti nell’audio in ingresso. 
4. Assegnazione delle etichette dei relatori: i segmenti che appartengono allo stesso cluster vengono assegnati a un’etichetta specifica (ad esempio, Speaker, parlatore).

Fase preliminare: per ogni persona che si vuole inserire viene estratta un’impronta vocale identitaria. Le impronte vocali vengono salvate in un database di profili di parlatori noti che viene utilizzato nella fase di abbinamento . 

1. Segmentazione: il sistema estrae innanzitutto segmenti audio con un singolo parlante dall’ingresso; un processo che può coinvolgere uno o più parlanti. La segmentazione è fornita dal sistema di diarization dei parlanti descritto in precedenza.   
2. Estrazione dell’impronta vocale: per ogni segmento viene estratta un’impronta vocale utilizzando una rete neurale. L’impronta vocale è una rappresentazione compatta delle caratteristiche vocali uniche del profilo di un soggetto parlante. La rete neurale è in grado di calcolare impronte altamente distintive, poiché è stata addestrata su enunciati di migliaia di parlanti.   
3. Corrispondenza con i profili noti: il sistema confronta le impronte vocali estratte con tutti i profili dei soggetti presenti nel database e identifica quello corrispondente. Ad esempio, in un call center di assistenza clienti, il sistema potrebbe riconoscere i clienti che hanno già chiamato in precedenza in base alla loro voce. 
4. Processo decisionale: dopo aver confrontato i dati vocali con i profili dei parlanti memorizzati, il sistema fornisce l’identità del parlante, consentendo di personalizzare i servizi o di autenticare un utente. 

Tecnologie così potenti comportano naturalmente vantaggi e sfide.   

Le tecnologie di Identification e Diarization dei soggetti parlanti offrono vantaggi significativi negli scenari in cui è fondamentale distinguere tra più persone, come ad esempio nelle riunioni, nelle chiamate al servizio clienti e nelle applicazioni di sicurezza.   

Questi sistemi sono in grado di etichettare e tracciare automaticamente i singoli soggetti in un flusso audio, facilitando l’attribuzione del contenuto parlato a individui specifici.   

Ciò migliora l’accuratezza dei servizi di trascrizione e consente esperienze più personalizzate per l’utente, come la regolazione delle risposte in base al profilo o alle preferenze della persona identificata.  

Ci sono tuttavia diverse sfide tecniche perché il processo risulti efficiente. 

Il rumore di fondo, la sovrapposizione del parlato, la qualità e la durata variabile dell’audio possono complicare il processo di differenziazione accurata dei parlanti.   

Anche le variazioni nella voce di un parlante dovute a fattori quali emozioni, malattie o condizioni ambientali possono influire sull’accuratezza del riconoscimento.   

Inoltre, questi sistemi richiedono spesso un’ampia quantità di dati etichettati per l’addestramento, sollevando problemi di privacy.   

Le soluzioni Speech and Voice di Almawave vanno oltre la trascrizione standard, offrendo una tecnologia vocale all-in-one adatta a molti contesti d’uso.  

Oltre all’ASR, all’Identification e alla Diarization del parlante, la piattaforma offre la traduzione automatica, l’identificazione avanzata della lingua e persino la stima della qualità del parlato, garantendo un’elaborazione estremamente accurata di ambienti audio complessi.    

La piattaforma è progettata per una sincronizzazione audio-testo senza soluzione di continuità, che aiuta gli utenti nel rileggere, modificare e verificare le trascrizioni, sia in batch che in tempo reale.  

La capacità di gestire un’ampia gamma di formati di file e di integrarsi in vari flussi di lavoro la rende adatta a settori come la Pubblica Amministrazione, il reporting legale e il monitoraggio dei media. Riducendo il lavoro manuale e migliorando la velocità e la qualità della produzione, la soluzione Almawave rivoluziona il modo in cui le organizzazioni gestiscono i dati vocali.   

• Documenti giudiziari: la soluzione Almawave fornisce la trascrizione e l’identificazione dei relatori per i procedimenti giudiziari, garantendo una documentazione legale accurata e una perfetta integrazione con i flussi di lavoro legali.  

• Report sanitari: la piattaforma permette di trascrivere in tempo reale le note mediche, il supporto linguistico avanzato e la valutazione audio di alta qualità, migliorando l’accuratezza della cartella clinica e la comunicazione multilingue.  

• Media Intelligence: la trascrizione e la traduzione automatica di contenuti multimediali e multilingue migliorano il monitoraggio e l’analisi, mentre l’identificazione dei parlanti aiuta a tracciare e analizzare le varie voci dei media. 

• Contact center: trascrizione, identificazione del parlante e traduzione delle interazioni con i clienti, per migliorare la qualità del servizio e l’efficienza operativa.  

•  Portali web: supporta la trascrizione e la traduzione automatica per eventi e contenuti sul web, rendendo le informazioni multilingua più accessibili agli utenti a livello internazionale.  
• Pubblica Amministrazione: la trascrizione in tempo reale e la valutazione audio di alta qualità delle riunioni pubbliche e dei procedimenti ufficiali garantiscono registrazioni accurate e una migliore accessibilità per i cittadini.
• Telco: Trascrizione delle interazioni con i clienti, per migliorare la qualità del servizio e la documentazione. Queste tecnologie aiutano le aziende di telecomunicazioni a identificare gli interlocutori, a semplificare la comunicazione e a monitorare le prestazioni del servizio, aumentando così il coinvolgimento dei clienti e l’efficienza operativa.  

Grazie alla sua avanzata competenza  nelle tecnologie vocali Almawave è in grado di risolvere per i propri clienti problemi sfidanti che la maggior parte delle attuali soluzioni commerciali affronta solo parzialmente o non risolve del tutto.  

Questi aspetti sono messi in luce nei paper pubblicati di recente a Interspeech, la principale conferenza mondiale sulle tecnologie vocali: “Exploring Spoken Language Identification Strategies for Automatic Transcription of Multilingual Broadcast and Institutional”. Speech”, e “A Toolkit for Joint Speaker Diarization and Identification with Application to Speaker-Attributed ASR”, a cura del Voice Engineering Lab di Almawave. 

Il primo articolo esplora l’identificazione della lingua parlata (SLI) e il riconoscimento vocale nel contesto delle trasmissioni multilingue e del parlato istituzionale, aree spesso trascurate nella ricerca sulla SLI.
Viene presentato un sistema a cascata che combina la diarization del parlante con l’identification della lingua, contrapponendo questo approccio ai metodi tradizionali.   

I risultati dimostrano che il sistema proposto riduce significativamente gli errori di classificazione di lingua e di diarization, rispettivamente fino al 10% e al 60%, riducendo al contempo l’errore di trascrizione (WER) su set di dati multilingue di oltre l’8%. È importante notare che questo metodo non ha un impatto negativo sull’accuratezza del riconoscimento vocale su audio monolingue.

Leggi il paper completo.

 Il secondo articolo è un resoconto tecnico di una demo di un toolkit modulare in grado di segmentare e identificare l’identità dei parlanti in audio con più parlanti. Inoltre, è possibile richiedere trascrizioni attribuite al parlante selezionando le opzioni appropriate.  

Il toolkit può fare leva su diversi modelli di diarization, identificaton e ASR dei parlanti. Una flessibilità che consente al sistema di funzionare correttamente in diverse condizioni acustiche e domini (ad esempio, monitoraggio dei media, parlato istituzionale, analisi del parlato). Il sistema è accessibile attraverso un’interfaccia web di facile utilizzo, dove gli utenti possono inviare registrazioni audio/video, visualizzare i risultati ed esportarli in formati standard leggibili (ad esempio SRT). 

Leggi il paper completo.