Quanto sono accurate le didascalie tradotte dall'intelligenza artificiale?

Un cambiamento radicale nel comportamento di consumo dei media, unito ai progressi della tecnologia AI, ha reso i sottotitoli tradotti dall'IA una scelta popolare e potente per eventi dal vivo di ogni tipo e dimensione. Interprefy li ha introdotti nel 2022 e sono disponibili anche su Microsoft Teams e persino su Zoom: sottotitoli multilingue generati automaticamente per le riunioni in diretta. Questa tecnologia consente agli utenti di comprendere il contenuto , anche se non conoscono la lingua in cui si svolge il discorso.

Ma quanto sono accurate? Non esiste una risposta semplice. I risultati dipendono fortemente dall'approccio scelto e dai motori utilizzati, dalla specifica combinazione linguistica e dalle proprietà dell'audio (accento del parlante, qualità audio, ecc.). E la verità è che non esiste un metodo univoco per misurare l'accuratezza della traduzione.

Gli operatori del settore della traduzione descrivono la qualità in vari modi. Nel tentativo di elaborare una misura oggettiva, un gruppo di ricercatori ha ammesso di non riuscire nemmeno a mettersi d'accordo tra loro su come definire la "qualità della traduzione".

Diamo un'occhiata più da vicino al motivo per cui la qualità della traduzione è così difficile da misurare e a come possiamo avvicinarci alla misurazione della qualità dei sottotitoli tradotti automaticamente. 

Come funzionano i sottotitoli automatici in più lingue

I sottotitoli "tradotti automaticamente", "tradotti automaticamente" e "tradotti dall'intelligenza artificiale" o "sottotitoli multilingue" sono sottotitoli che forniscono agli utenti sottotitoli in tempo reale insieme al parlato in una lingua diversa. Vengono creati a partire dall'audio sorgente utilizzando una combinazione di tecnologie di riconoscimento vocale automatico e traduzione automatica che producono un testo tradotto della trascrizione, oppure una soluzione basata sull'intelligenza artificiale che converte direttamente l'audio nella lingua di origine in testo (o persino parlato) nella lingua di destinazione.

Misurazione della qualità della traduzione

La lingua è estremamente complessa e quindi la qualità di una traduzione è spesso soggetta a interpretazione. Si potrebbe supporre che i problemi di qualità si verifichino quando un traduttore o una macchina commettono un errore. Tuttavia, è molto più comune che ciò che viene considerato un problema di qualità della traduzione sia una valutazione soggettiva.

Il framework Multidimensional Quality Metrics (MQM) , un progetto guidato dalla Commissione Europea, fornisce un approccio "funzionalista" che categorizza le problematiche relative alla qualità:

• Precisione
• Stile
• Fluidità
• Convenzioni locali
• Terminologia, ecc.
   

Ecco perché le organizzazioni spesso forniscono ai traduttori guide di stile, glossari e, idealmente, creano persino una memoria di traduzione, per garantire la coerenza dei loro lavori di traduzione in base alle loro esigenze.

Misurare la qualità di una traduzione significa valutare quanto sia utile la traduzione e quanto sia adatta al suo scopo. 

Qualità della traduzione automatica per sottotitoli in tempo reale

La traduzione automatica esiste da oltre 60 anni e oggi macchine e esseri umani coesistono. Tuttavia, negli ultimi due decenni, i fornitori di servizi linguistici (LSP), le agenzie di traduzione e i freelance hanno adottato la traduzione automatica per migliorare la produttività e ridurre i costi, grazie alla rapida evoluzione della qualità della traduzione automatica.

Non tutti i motori di traduzione automatica sono uguali

Oggigiorno sono disponibili numerosi motori di traduzione testo-testo, come Google Translate, DeepL Translate o Microsoft Translator, oltre a diversi tipi di traduzione automatica: basata su regole, statistica, adattiva e neurale. La maggior parte dei servizi ha iniziato a orientarsi verso quest'ultima, poiché la traduzione automatica neurale si è dimostrata efficace nel produrre risultati eccezionalmente soddisfacenti e nel colmare rapidamente il divario tra esseri umani e macchine per determinati tipi di testo.

Diversi motori di traduzione e diverse tipologie di traduzione automatica producono risultati diversi. Un motore potrebbe persino svolgere un lavoro eccezionale per una combinazione linguistica, ma produrre risultati inutili per altre.

Requisito di post-editing in tempo reale vs

Poiché la maggior parte delle traduzioni scritte non deve essere finalizzata immediatamente, il risultato della traduzione automatica per siti web o documenti viene revisionato e revisionato da traduttori professionisti prima della pubblicazione. Pertanto, disporre del miglior motore di traduzione consente di risparmiare tempo, ma non è essenziale.

I sottotitoli multilingue in tempo reale, tuttavia, devono essere forniti in tempo reale, senza la possibilità di intervento umano prima che l'utente li legga.

Pertanto, è fondamentale utilizzare i motori e le combinazioni di motori più performanti e che la qualità dell'input audio sia ottimale. Se, ad esempio, un relatore ha un forte accento e utilizza un microfono scadente, anche le soluzioni migliori potrebbero produrre sottotitoli multilingue di qualità inferiore.

L'approccio Interprefy: soluzioni di benchmarking e ottimizzazione dell'audio in ingresso

Invece di utilizzare un unico motore di traduzione automatica, il team di intelligenza artificiale di Interprefy confronta costantemente le principali soluzioni di traduzione e le combinazioni di soluzioni di riconoscimento vocale e traduzione automatica per combinazioni linguistiche specifiche.

Collaboriamo con istituti di ricerca leader a livello mondiale per sviluppare e migliorare costantemente un processo di benchmarking proprietario e automatico per sottotitoli multilingue in tempo reale. Alexander Davydov, Responsabile della fornitura di intelligenza artificiale presso Interprefy

"Utilizziamo grandi set di dati audio diversi e prendiamo l'output da vari sistemi di traduzione e combinazioni di sistemi e lo confrontiamo con le traduzioni prodotte da traduttori professionisti, le convalidiamo e le classifichiamo in base all'accuratezza", spiega Alexander. 

Il grafico seguente illustra i risultati del benchmarking per quattro lingue tradotte dalla stessa lingua di partenza. Come si può vedere, nessuna soluzione offre una qualità costante per tutte e quattro le combinazioni linguistiche.

Ma anche se si dispone della soluzione più sofisticata, la qualità può comunque risentirne se la qualità dell'input è bassa.

La qualità del suono è un fattore chiave che influenza non solo la qualità dell'output dell'IA, ma anche la salute e la capacità di esibirsi degli interpreti, nonché la comprensione e il coinvolgimento del pubblico. Ecco perché in Interprefy ci impegniamo costantemente per migliorare la qualità audio fornendo agli organizzatori di eventi e ai relatori linee guida utili , strumenti che consentono ai relatori di testare la qualità del suono e persino sviluppando uno strumento di miglioramento audio, Interprefy Clarifier.

Inoltre, il nostro personale esperto collabora con i clienti per ottimizzare il sistema e ottenere nomi di marchi, acronimi e altro ancora.

Vuoi effettuare una valutazione della qualità autonomamente?

Scrivici per richiedere una demo.

Inserisci il tuo indirizzo email aziendale. Questo modulo non accetta indirizzi email provenienti da questo indirizzo.