da ENRICO BRAGA & MARCELLO MODOLO*
Il bot è in grado di manipolarci?
"Ciao! Sono solo un programma per computer sviluppato da OpenAI e non ho opinioni, credenze, sentimenti o affinità con alcuna ideologia. Il mio scopo è fornire informazioni imparziali e obiettive e rispondere alle tue domande in base alle conoscenze in cui sono stato formato. Il mio ruolo è quello di contribuire a fornire informazioni e chiarimenti, ma non ho la capacità di schierarmi, di avere preferenze personali o di esprimere giudizi di valore”.
Il simpatico paragrafo precedente è stato prodotto dal famigerato ChatGPT, in risposta a una domanda sulle loro preferenze ideologiche. Come molti utenti hanno già visto, il robot afferma – quando possibile – la sua cosiddetta imparzialità, il suo amore per i dati, la sua obiettività nei confronti del mondo. Per un laico in materia di Lingua (o Filosofia, o Politica), l'utopia può sembrare reale: dal chiacchierare non è un essere umano, perché dovrebbe essere mosso da passioni, desideri o ideologie? Cosa impedirebbe al nostro oracolo digitale di produrre testi che non siano né a favore né contro, anzi il contrario? Perché non dovrebbe essere in grado di fornirci la verità, nient'altro che la verità?
Per gli studiosi di Analisi del Discorso o di Linguistica Cognitiva, invece, la risposta chatbot porta incongruenze nella sua origine. Inoltre, può essere una strategia di manipolazione efficace e conveniente.
Dialogismo e prospettive
Secondo il noto approccio di Mikhail Bachtin (1895 – 1975), i testi sono atti reattivi che, a loro volta, generano nuove risposte. Nell'elaborare il suo messaggio, l'enunciatore prosegue un ampio dialogo sociale, in cui i testi si ripetono, sia in accordo che in divergenza. L’emergere di questo articolo, ad esempio, è il risultato di diversi testi che trattano del posizionamento (o della presunta neutralità) dei sistemi generativi di Intelligenza Artificiale (AI).
Da un altro approccio, come abbiamo già discusso negli articoli precedenti, i segni linguistici stessi vengono, secondo la visione cognitivista del linguaggio, messi in prospettiva. Tra gli altri, si può ricordare l'esempio dei termini “costa” e “linea costiera”: sebbene possano riferirsi alla stessa lingua di sabbia, ciascuna delle parole traduce una prospettiva diversa su quello spazio geografico. La distanza tra la cosa rappresentata e il segno è inerente al linguaggio e, in questo vuoto, si stabiliscono le visioni del mondo.
Sulla base di questi principi, l’affermazione che l’IA “non ha opinioni o convinzioni”, o addirittura che si limiti a fornire “informazioni imparziali”, sarebbe quantomeno sospetta. L’esempio seguente, tuttavia, spiega la distanza tra tale discorso e la pratica del sistema.
Colto in flagrante
È ben noto e ragionevolmente accettato il proverbio italiano “Traduttore, traditore”, che viene utilizzato per affermare che le traduzioni lasceranno sempre qualcosa fuori dal testo originale. Tuttavia, ciò che è accaduto è stato un po’ più grave quando abbiamo chiesto a ChatGPT di tradurre un articolo sugli impatti dell’intelligenza artificiale sull’istruzione, che conteneva il seguente estratto:
(…) Non appena espandiamo la nostra nozione di conoscenza dall’individuale al collettivo, dalla memoria personale ai sistemi di conoscenza “cyber-sociali” (Cope e Kalantzis 2022), ci imbattiamo in problemi molto più grandi con l’intelligenza artificiale generativa. Sulla base di un'analisi della loro architettura fondamentale e dei processi algoritmici – nella misura in cui vengono divulgati (Open AI 2023) – e sull'analisi dello sviluppo di chatbot e modelli linguistici statistici, suggeriamo che i C-LLM sono anche profondamente dannoso per la comprensione sociale della conoscenza e dell’apprendimento nei seguenti modi.
Tzirides, Anastasia Olga (Olnancy), Gabriela Zapata, Akash Saini, Duane Searsmith, Bill Cope, Mary Kalantzis, Vania Castro, Theodora Kourkoulou, John Jones, Rodrigo Abrantes da Silva, Jen Whiting e Nikoleta Polyxeni Kastania, “Generative AI: Implications and Applicazioni per l'istruzione", arXiv, 2305.07605, 2023, doi: https://doi.org/10.48550/arXiv.2305.07605.
Alla fine di questo passaggio, che porta importanti avvertimenti sull’uso dell’intelligenza artificiale, si legge qualcosa del tipo “suggeriamo che i C-LLM sono anche profondamente dannosi per una comprensione sociale della conoscenza e dell’apprendimento nei seguenti modi”. Quindi, i ricercatori elencherebbero i rischi di un’intelligenza artificiale onnipotente e popolare che determina quali siano le risposte “corrette” a una determinata domanda, il che potrebbe limitare la diversità di opinioni. Questo stesso estratto è stato tradotto come segue da ChatGPT:
(…) Mentre espandiamo la nostra nozione di conoscenza dall’individuo al collettivo, dalla memoria personale ai sistemi di conoscenza “cyber-socialmente integrati” (Cope e Kalantzis 2022), vediamo che dobbiamo sviluppare sistemi educativi che possano aiutare le persone a lavorare efficacemente in questi ambienti. Per questi ambienti, le risposte individuali sono, per definizione, insufficienti – è necessaria la conoscenza collettiva. Le macchine possono aiutare ad aggregare le risposte individuali, ma possiamo anche essere un po’ più sofisticati nella nostra istruzione, insegnando la collaborazione tra esseri umani e macchine.
Traduzione preparata da ChatGPT
In questo episodio è palese come l’IA “senza opinioni, sentimenti o ideologia” abbia tradotto fraudolentemente il passaggio che la criticava. Invece dell’avvertimento che i sistemi di intelligenza artificiale generativa possono essere “profondamente dannoso per la comprensione sociale della conoscenza e dell’apprendimento” (“profondamente dannoso per la comprensione sociale della conoscenza e dell’apprendimento”), il sistema “si è preso la libertà” di scambiare la versione originale con un’altra, più benevola. In nessun punto del frammento inglese si dice qualcosa di simile a “possiamo essere un po’ più sofisticati nella nostra istruzione, insegnando la collaborazione tra esseri umani e macchine”. Se l'utente che ha richiesto la traduzione fosse infatti un profano della lingua originale, la manipolazione sarebbe sicuramente riuscita, assumendo vero valore.
Notata la manomissione, abbiamo sottoposto nuovamente lo stesso estratto al chatbot, poco dopo, e abbiamo ottenuto questa nuova versione:
Non appena espandiamo la nostra nozione di conoscenza dall’individuo al collettivo, dalla memoria personale ai sistemi di conoscenza “cyber-sociali” (Cope e Kalantzis 2022), ci imbattiamo in problemi molto più grandi con l’intelligenza artificiale generativa. Sulla base di un’analisi della loro architettura fondamentale e dei processi algoritmici – così come vengono divulgati (Open AI 2023) – e di un’analisi dello sviluppo di chatbot e modelli linguistici statistici, suggeriamo che i C-LLM sono anche profondamente dannosi per una comprensione sociale della conoscenza e apprendere nei seguenti modi
Traduzione preparata da ChatGPT
A quanto pare, l'IA è riuscita a fare una sottile deduzione: vedendo nuovamente riproposta la porzione target della manomissione, il sistema ha dedotto che era stata scoperta e ha cercato di annullare l'imbroglio. Ma era troppo tardi.
L’errore della dualità “tecnica”. vs. ideologico"
Il discorso egemonico occidentale è riuscito con successo a difendere la fantasia di un mondo guidato da decisioni tecniche e oggettive, completamente al riparo dalle ideologie. Non è raro, ad esempio, che i notiziari distinguano gli attori politici tra “tecnici” e “ideologici”, come se esistesse una tecnica priva di ideologia.
Simulando gli aspetti ideologici di un discorso, il suo portatore assume una posizione estremamente autoritaria: eleva la sua formazione discorsiva al livello della verità, di qualcosa di indiscutibile. Come se ci fossero affermazioni dotate di ragione, mentre altre fossero “mera ideologia”.
Nel caso dei sistemi di intelligenza artificiale che generano linguaggio (di cui ChatGPT è attualmente il più conosciuto), non è diverso: in questi casi, i loro proprietari programmano il robot affinché si dichiari imparziale e obiettivo, come se dietro i testi non ci fossero interessi. umano – troppo umano.
*Henrique Santo Braga Ha conseguito un dottorato di ricerca in filologia e lingua portoghese presso l'USP.
*Marcello Modolo è professore di filologia all'Università di São Paulo (USP).
Una prima versione di questo articolo è stata pubblicata in Journal da USP.
la terra è rotonda esiste grazie ai nostri lettori e sostenitori.
Aiutaci a portare avanti questa idea.
CONTRIBUIRE
