Multimodalità: voce e immagini per un'IA più umana

La multimodalità è oggi considerata uno standard imprescindibile dell’intelligenza artificiale (IA).

Si calcola che il mercato globale dell’IA multimodale raggiungerà i 98,9 miliardi di dollari entro la fine del 2037 e Google l’ha annoverata tra i Google Cloud AI Business Trends 2025.

Questo non sorprende, perché se vogliamo che l’IA diventi un vero alleato per cittadini e professionisti, deve essere in grado di comprendere il mondo in modo più simile a quello umano. E questo significa abbracciare la multimodalità: la capacità di interpretare all’unisono informazioni in qualsiasi formato, come testo, voce, immagini e audio. Proprio come è in grado di farlo il nostro cervello.

Come sostiene McKinsey: “[I modelli AI multimodali] rispecchiano la capacità del cervello di combinare gli stimoli sensoriali per una comprensione sfumata e olistica del mondo, proprio come gli esseri umani utilizzano i loro vari sensi per percepire la realtà.”

Solo così l’IA può diventare ciò di cui i cittadini e i professionisti hanno davvero bisogno: uno strumento in grado di capire appieno il contesto di applicazione e semplificare i compiti reali con i quali devono confrontarsi ogni giorno.

Immaginiamo quanto è semplice per un operaio su un cantiere ferroviario dialogare con l’IA o inviarle direttamente foto scattate in loco per ricevere indicazioni operative in tempo reale.

Nella Pubblica Amministrazione la multimodalità può semplificare l’interazione tra cittadini e servizi digitali. Un utente potrebbe, ad esempio, caricare la foto di un documento amministrativo e chiedere a voce chiarimenti sulla procedura da seguire.

Interagire con i sistemi IA così come facciamo con gli esseri umani renderà il lavoro e la vita quotidiana più semplice, veloce e in molti casi più sicura per tutti.

L’IA multimodale è un’intelligenza artificiale in grado di analizzare ed elaborare allo stesso tempo non solo dati testuali, ma anche immagini, audio, video e codice, individuando pattern e correlazioni complesse.

In questo modo l’IA può decifrare e apprendere informazioni da una gamma molto più ampia di fonti contestuali, producendo risultati più accurati e personalizzati.

Negli ultimi anni, diversi modelli di intelligenza artificiale sono stati progettati fin dall’origine come sistemi multimodali, capaci di ricevere e generare contemporaneamente testo, immagini e voce proprio per rendere l’interazione con gli utenti più naturale.

Per fare alcuni esempi, l’IA multimodale è adesso in grado di analizzare un insieme di testi e immagini per elaborare diagnosi mediche, o persino analizzare il tono della voce e le espressioni facciali durante una videochiamata, per stimare il sentiment della conversazione.

Ma è anche in grado di produrre ottimi brani musicali o immagini fotografiche realistiche a partire da semplici richieste scritte.

L’IA multimodale quindi non lavora solo con testi, ma utilizza tecniche di fusione per elaborare i diversi tipi di dati, che possono avvenire in tre momenti diversi del processo:

• Fusione precoce (early fusion): le diverse modalità (testo, immagini, audio, ecc.) vengono elaborate fin dall’inizio, trasformandole in una rappresentazione comune all’interno del modello.
• Fusione intermedia (mid fusion): i dati provenienti da diverse modalità vengono processati separatamente nelle prime fasi, per poi essere combinati prima dell’output finale.
• Fusione tardiva (late fusion): ogni modalità viene elaborata da un modello specifico, e solo alla fine gli output dei vari modelli vengono uniti.

Grazie a queste tecniche, l’IA multimodale riesce a integrare informazioni provenienti da fonti diverse e costruire una comprensione più completa del contesto. Come abbiamo già accennato, è come se si stesse avvicinando al modo in cui gli esseri umani interpretano il mondo: combinando parole, suoni e immagini.

I modelli basati solo sui testi sono perfetti per moltissime applicazioni e risultano molto efficienti in termini di rapporto tra costi e benefici. Ma per compiti e scenari più complessi, l’IA multimodale può rivelarsi la scelta più efficace.

Nel 2026 voce e immagini rappresenteranno gli aspetti di novità più rilevanti della multimodalità perché più di tutti sono in grado di avvicinare l’IA alla comprensione del contesto reale, rendendo l’interazione più naturale nei flussi di lavoro concreti.

I neuroscienziati del MIT hanno calcolato che il cervello impiega solamente 13 millisecondi per identificare un’immagine, mentre altri studi suggeriscono che le immagini vengono elaborate molto più rapidamente del testo.

Anche nei sistemi IA le immagini forniscono un contesto informativo molto più ricco. Se accompagnate da testo o da una richiesta vocale, aiutano il modello ad interpretare meglio la situazione e generare risposte più pertinenti.

L’utilizzo della voce al posto del testo scritto per dialogare con un sistema di IA invece, ha reso l’interazione più accessibile e naturale, soprattutto in contesti operativi in cui scrivere non risulta pratico o è addirittura impossibile.

Per questo la multimodalità si sta trasformando da semplice feature a standard applicativo, tanto che secondo Gartner, entro il 2030 l’80% dei software entrerprise saranno multimodali.

Secondo Google, l’IA multimodale rappresenta un salto in avanti nel modo in cui gli sviluppatori possono costruire ed espandere le funzionalità dei modelli nella prossima generazione di applicazioni. Le sue potenzialità, infatti, avvicinano l’IA ad un vero e proprio assistente esperto, piuttosto che a un semplice software.

Questi modelli garantiscono già oggi numerosi vantaggi nelle aziende, sia pubbliche che private. Vediamone alcuni.

1. Maggiore comprensione del contesto

Combinare dati di natura diversa per analizzare qualsiasi fenomeno rende gli output dell’IA più completi e pertinenti. Unire immagini, voce e testo ad esempio, permette al sistema di capire meglio la situazione reale e rispondere in modo più pertinente, rapido e accurato. Pensiamo ad esempio all’applicazione nel settore sanitario, dove ai testi possono unirsi immagini di ecografie o elettrocardiogrammi per velocizzare le diagnosi.

2. Interazioni più umane

L’IA multimodale non si limita a interpretare il significato delle parole, ma è in grado di analizzare tono di voce, espressioni facciali e linguaggio corporeo. Questo significa che assistenti virtuali e chatbot potranno capire meglio le emozioni e il contesto della comunicazione e rendere l’esperienza simile a un dialogo tra persone.

3. Maggiore adattabilità a scenari reali

L’IA multimodale è particolarmente efficace in ambiti delicati in cui l’uso dei soli testi non è sufficiente, come la guida autonoma, i cantieri, la sanità, la manutenzione industriale e i servizi al cittadino, dove la capacità di elaborare più segnali diventa essenziale.

4. Maggiore sicurezza e riconoscimento avanzato

L’integrazione di diverse modalità consente di creare sistemi di autenticazione più sicuri e affidabili. L’IA multimodale è infatti alla base delle tecnologie biometriche avanzate, che combinano riconoscimento facciale, analisi vocale e rilevamento di movimenti per garantire una maggiore sicurezza.

5. Più intuitivo e semplice da utilizzare

L’IA multimodale gioca un ruolo cruciale nel rendere la tecnologia più accessibile per tutta la comunità. Comunicare con sistemi multimodali significa ridurre le possibilità di attrito e gli ostacoli anche per persone anziane, disabili o chi parla una diversa lingua da quella nazionale. Grazie a interfacce semplici da usare e alla possibilità di dialogare direttamente a voce con i sistemi, si ridurranno i passaggi per interagire e l’esperienza sarà più veloce e intuitiva?.

6. Maggiore efficienza operativa

Integrando modelli di IA multimodali nei processi operativi giornalieri, è possibile ottenere risposte più pertinenti e un supporto decisionale più rapido, riducendo il tempo dedicato all’apertura di ticket, richieste di assistenza o verifiche.

In che modo l’IA multimodale può rivelarsi utile nelle attività quotidiane di un medico, di un operaio specializzato o di un responsabile al customer care nella Pubblica Amministrazione?

Andiamo ad analizzare da vicino alcune delle applicazioni più comuni ed efficaci di questi modelli in svariati ambiti della PA e dell’industria.

1. Analisi automatica di documenti amministrativi nelle PA

Le Pubbliche Amministrazioni gestiscono ogni giorno grandi quantità di documenti: testi, ma anche grafici, planimetrie e fotografie. Con l’IA multimodale è possibile analizzare contemporaneamente tutte le tipologie di documenti delle pratiche amministrative, ad esempio per verificare la completezza della documentazione o individuare eventuali incongruenze. Questo velocizza le verifiche e riduce il lavoro manuale degli uffici.

2. Confrontare in tempo reale dati scritti e immagini nel Decision Support System (DSS) in ospedale

Un Decision Support System (DSS) ospedaliero dotato di IA multimodale è in grado di elaborare e analizzare dati scritti e immagini. In questo modo, l’equipe medica può prendere decisioni molto più tempestive e accurate sulle terapie o gli interventi chirurgici da effettuare sui pazienti. Un vantaggio considerevole quando ci si trova di fronte a persone con patologie molto gravi o situazioni in cui la rapidità può fare la differenza.

3. Totem informativi intelligenti nel turismo e nel customer care

Nel settore turistico o nei servizi al pubblico, l’IA multimodale può essere utilizzata per sviluppare totem informativi intelligenti, in grado di dialogare con i visitatori nella loro lingua madre. Grazie alla combinazione di riconoscimento vocale, comprensione del linguaggio naturale e analisi delle immagini, un turista può chiedere informazioni a voce, condividere l’immagine di un monumento e ricevere indicazioni personalizzate su itinerari, trasporti o punti di interesse nelle vicinanze nella propria lingua.

4. Trascrizione dialoghi medico-paziente

Durante una visita in clinica, l’IA multimodale permette di trascrivere in tempo reale la conversazione tra medico e paziente tramite il solo utilizzo della voce. I testi possono poi essere elaborati dal sistema per creare sintesi oppure compilare una cartella clinica. In questo modo i tempi di gestione dei documenti si riduce, dando modo al medico di concentrarsi solo sulla sua attività.

5. Supporto alle operazioni sul campo nel settore ferroviario

Immaginiamo un operaio a lavoro su un cantiere ferroviario. Grazie all’IA multimodale può inviare la foto di un componente e descrivere a voce il problema riscontrato. Il sistema sarà in grado di analizzare l’immagine e la richiesta vocale, confrontandole con manuali tecnici e dati storici, per suggerire rapidamente le possibili cause del guasto e le procedure da seguire.

I casi d’uso visti fino ad ora evidenziano un punto chiave: la multimodalità non rende l’IA solo più potente, ma ne estende i contesti di utilizzo, rendendo possibili scenari applicativi prima non accessibili.

Fino a non molto tempo fa, infatti, l’IA trovava la sua applicazione ideale soprattutto in contesti digitali e strutturati, dove le informazioni erano già disponibili in forma testuale o facilmente interpretabile.

Ma come abbiamo visto, possono essere situazioni molto più complesse. L’introduzione di immagini e voce cambia radicalmente l’approccio, perché la possibilità di mostrare una situazione attraverso una foto o descriverla a voce riduce l’attrito e rende possibile utilizzare l’IA anche in situazioni molto più vicine alla realtà operativa.

Possiamo dire dunque che la multimodalità non rappresenta solo un’evoluzione tecnologica, ma un cambio di prospettiva: l’IA non è più confinata agli ambienti digitali, ma diventa uno strumento utilizzabile nei contesti reali, a fianco delle persone che osservano, parlano e agiscono.

Come abbiamo visto, l’IA multimodale trova applicazione soprattutto in ambiti altamente regolamentati, come sanità e PA.

Tra le molte fonti di dati che utilizza l’IA multimodale in questi settori ci sono dunque anche immagini biometriche, audio, documenti sanitari o personali. Ecco perché il tema della protezione dei dati diventa ancora più urgente quando si parla di questi sistemi.

A differenza dei sistemi basati solo su testo, i dati multimodali possono contenere informazioni sensibili anche in modo implicito: una voce, un volto o un’immagine possono rivelare contesto e informazioni personali difficili da anonimizzare completamente. Questo rende più complessa anche la gestione e la governance dei dati, che devono essere trattati in modo coerente tra diverse modalità, per garantire tracciabilità e controllo lungo tutto il ciclo di vita dell’informazione.

Per mettere al riparo dati sensibili e privacy, è fondamentale sfruttare tecnologie affidabili come l’anonimizzazione, la pseudonimizzazione, ma anche assicurarsi il rispetto delle normative (come, ad esempio, il GDPR) e la trasparenza nell’utilizzo e nella conservazione delle informazioni.

È proprio in questo contesto che si inseriscono soluzioni come Velvet Speech 2B, progettate per offrire funzionalità avanzate di elaborazione vocale mantenendo al centro la protezione dei dati e la conformità alle normative.

Velvet Speech 2B è il primo modello multimodale della famiglia di modelli Velvet di Almawave.

Compatto e versatile, è progettato per interazioni dinamiche, grazie alla capacità di elaborare e comprendere il linguaggio parlato in contesti professionali dinamici. Infatti, con Velvet Speech 2B è possibile fornire una richiesta al modello sia tramite input scritto che vocale, mentre l’output resta in formato testuale.

Speech 2B, dunque, conserva i punti di forza di Velvet 2B, in particolare la leggerezza e l’usabilità on-edge, e li estende con nuove capacità legate alla voce:

• Trascrizione automatica del parlato (Automatic Speech Recognition)
• Interrogazioni vocali e question answering (Spoken Query & Question Answering)
• Comprensione di italiano e inglese scritti e parlati, anche in conversazioni miste
• Analisi della componente emotiva del parlato (speech emotion recognition)

Ciò che rende Speech 2B particolarmente adatto ai settori più regolamentati è proprio il suo focus sulla protezione e qualità del dato, che ne fanno uno strumento molto promettente per ambiti maggiormente interessati dall’uso dei dati personali.

Nel caso di Velvet Speech 2B è possibile sfruttare l’interazione vocale senza modificare l’assetto infrastrutturale esistente. Il parlato viene trasformato in testo e può essere gestito secondo le policy già in uso, senza introdurre nuovi flussi di dati difficili da controllare.

Così facendo, le possibilità offerte da Velvet Speech 2B si moltiplicano in numerosi casi concreti, senza perdere di vista il rispetto delle norme e la protezione della privacy.

Vuoi conoscere più da vicino Velvet Speech 2B e saperne di più sull’IA multimodale?