La lingua del telefono e la lingua in cui scrivi davvero sono due domande diverse

Due lingue, una chat, e nessuno ti ha mai chiesto di distinguerle

È una distinzione che quasi nessuno ha avuto motivo di nominare, perché finché nessuno conta le tue parole non serve a niente. La lingua dell'interfaccia di WhatsApp è un'impostazione: decide se il pulsante dice "Invia" o "Send". La lingua di una conversazione è un comportamento: è quello che tu e l'altra persona vi scrivete davvero, e lo decidono l'abitudine, chi è l'altra persona e a volte perfino il punto della frase in cui ti trovi.

Le due cose si separano continuamente. Un italiano che vive a Berlino tiene l'app in inglese e scrive a sua madre in italiano. Un ispanofono tiene il telefono in spagnolo e lavora in inglese. Due amiche portoghesi a Londra cambiano lingua a metà thread a seconda che si parli di lavoro o di famiglia. In tutti questi casi l'impostazione dell'interfaccia non dice assolutamente nulla di utile sul testo.

Quindi un motore statistico che legge l'impostazione dell'interfaccia, o la lingua del sistema, o la lingua delle righe di intestazione dell'export, sta leggendo il segnale sbagliato. Il nostro motore rileva la lingua in cui le persone scrivono come domanda separata da quella impostata in WhatsApp, proprio perché le due divergono di continuo.

A cosa serve davvero il riconoscimento della lingua: buttare via parole

La decisione sulla lingua serve per un compito preciso, e quel compito è sottrattivo. Prima di poter calcolare qualsiasi classifica di espressioni, le parole funzionali devono uscire di scena. Articoli, preposizioni, pronomi, ausiliari: il, di, che, non, per, e in inglese the, of, and, I, to. Sono i token più frequenti di qualunque conversazione umana, con un margine enorme, e non dicono praticamente nulla su cosa vi siete detti.

La lista di stopword è il filtro che le rimuove. Il punto è che una lista di stopword è specifica per lingua per definizione. Una lista inglese non ha motivo di contenere "che". Una lista italiana non ha motivo di contenere "the". E nessuna delle due sa cosa fare con un "anyway" piazzato in mezzo a una frase spagnola.

Per questo l'ordine delle operazioni conta. Prima rilevare la lingua scritta, poi applicare la lista di stopword di quella lingua, poi assegnare i punteggi alle espressioni. Se inverti l'ordine, o salti il rilevamento e imposti una lingua fissa, il filtro punta a un vocabolario che quella chat non usa.

I due modi in cui si rompe tutto quando la lingua è sbagliata

Sbagliare qui non produce un risultato leggermente peggiore. Produce uno di due risultati visibilmente rotti, e non si assomigliano per niente.

Primo caso: non viene filtrato nulla. Se applichi una lista inglese a una chat scritta in italiano, nessuna parola funzionale italiana viene riconosciuta. Sopravvivono tutte fino al punteggio e, essendo le cose più frequenti nella chat, vincono. Le tue espressioni principali diventano "non", "che", "per", "ma". Tecnicamente esatte, del tutto inutili. È un elenco di grammatica, non di argomenti.

Secondo caso: viene filtrato tutto ciò che conta. Le liste più aggressive a volte si sovrappongono tra lingue, oppure una chat viene valutata con una lista costruita per una lingua che usa solo a metà. Parole che in una lingua hanno peso reale in un'altra sono parole funzionali, e sparivano. La classifica torna povera o vuota, e sembra dire "non abbiamo trovato niente", quando in realtà il filtro si è mangiato i contenuti.

Entrambi i guasti sono silenziosi. Non c'è nessun messaggio di errore, solo una slide che sembra sbagliata senza che tu riesca a spiegarti perché. Se le tue parole più usate ti sono mai sembrate un esercizio di grammatica, di solito il motivo è questo.

Perché le frasi resistono al code-switching meglio delle singole parole

C'è una seconda scelta di progetto che finisce per rendere le chat bilingui molto più leggibili. Non è stata fatta per quel motivo, ma aiuta parecchio.

Le espressioni principali non sono solo parole singole. Il motore estrae frasi da una, due e tre parole, e le frasi multiparola ricevono un punteggio più alto delle singole, così il risultato somiglia a cose che le persone dicono davvero e non a un mucchio di token isolati. Questa pesatura voluta è spiegata più a fondo nell'articolo sugli n-gram delle chat.

L'effetto collaterale su una chat mista è utile. Una frase di due o tre parole che ricorre è molto più probabilmente un'abitudine condivisa di quanto lo sia una parola singola, e nelle chat bilingui le abitudini condivise sono spesso proprio i pezzi che non vengono mai tradotti. Il nomignolo resta in una lingua. La battuta ricorrente resta in una lingua. Il saluto resta in una lingua anche quando il resto del messaggio ha cambiato idioma. Questi frammenti tengono insieme come frasi e passano il filtro intatti, perché una lista di stopword rimuove parole funzionali singole, non unità multiparola che ne contengono una.

È anche il motivo per cui una chat bilingue può risultare più caratteristica di una monolingue. Le frasi che sopravvivono sono quelle che hanno resistito al cambio di lingua, e tendono a essere le cose più personali che ci sono lì dentro.

Cosa significa quando leggi il tuo recap

Alcune conseguenze pratiche.

Se una chat è davvero divisa tra due lingue, aspettati che la lingua rilevata rispecchi quella dominante nel testo, non quella che tu consideri la tua lingua principale. Una chat all'80 percento in inglese con vezzeggiativi italiani sparsi verrà trattata come inglese, e quei vezzeggiativi compariranno come contenuto, perché una lista di stopword inglese non ha nessuna opinione su di loro.

Se le tue espressioni principali sembrano parole funzionali, è un segnale sul filtro linguistico, non su di te. Non significa che le tue conversazioni siano vuote.

E se le frasi che tornano sono nella lingua minoritaria della chat, non è un difetto. Di solito è la risposta più onesta possibile, perché le parole che hai rifiutato di cambiare sono quelle che pesano di più. È vicino a quello che altrove chiamiamo parola-firma, un termine che si guadagna il posto perché è distintivamente tuo e non solo perché è frequente.