Ecco l'algoritmo per riconoscere (al 99%) i contenuti generati da ChatGPT

Ecco la notizia: forse, un team di ricercatori universitari del Kansas ha trovato la chiave per riconoscere i contenuti generati da ChatGPT e dall'intelligenza artificiale in generale. Tutto si basa su un algoritmo.

Algoritmo che sembra essere efficace al 99%. I risultati generali sono ancora poco attendibili, soprattutto se consideriamo l'uso su vasta scala, ma per ora i feedback registrati su un numero limitato di documenti fanno ben sperare per chi vuole verificare e scoprire testi generati con l'intelligenza artificiale. 

Chi sta lavorando all'algoritmo?

Heather Desaire è il nome della ricercatrice che si trova dietro a questo lavoro. Il suo obiettivo? Svelare e individuare testi accademici, ricerche scientifiche e pubblicazioni scritte con l'intelligenza artificiale.

Heather già utilizza l'apprendimento automatico nella ricerca biomedica presso l'Università del Kansas. Grazie alle sue ricerche nel settore, ha individuato un nuovo strumento che rileva con una precisione del 99% il testo scientifico generato da ChatGPT. Questo lavoro è stato pubblicato su un paper (cell.com/cell-reports-physical-science) per dare informazioni chiare sulla metodologia utilizzata.

"We built our strategy using just 64 human-written documents and 128 AI documents as our training data. This is maybe 100,000 times smaller than the size of data sets used to train other detectors".

Il punto di forza di questo strumento: un set di dati molto piccolo e un intervento umano per identificare le differenze su cui il rilevatore di testi generati dall'AI dovrebbe concentrarsi. Heather Desaire ha definito la strategia di sviluppo e addestramento utilizzando solo 64 documenti generati da umani e 128 dall'AI.

Sono parametri quantitativamente inferiori rispetto ad altri tool ma che permettono di ottenere risultati accurati. Quando devi individuare un testo generato dall'AI non puoi rimanere su percentuali generiche.

Ci sono dei tool che già fanno questo?

Certo. L'algoritmo messo a punto dai ricercatori dell'università del Kansas non è il primo tentativo di risolvere il nodo del metodo per individuare i contenuti generati da ChatGPT. Sono stati già pubblicati alcuni tentativi per individuazione testi creati con l'intelligenza artificiale ma con scarso successo.

Nessuna opzione funziona bene, nemmeno quella proposta da OpenAI, la società che ha creato ChatGPT. Gli strumenti che al momento sostengono di individuare testi generati dall'AI sono poco attendibili. Con questo algoritmo, invece, i numeri sembrano incoraggianti. Anche se i limiti ci sono.

L'efficacia dell'algoritmo diminuisce se si analizzano i singoli paragrafi e non l'intero documento. Inoltre il campione di riferimento è ancora ridotto e per ora il tutto è circoscritto ai documenti scientifici.

Perché lavorare in questa direzione?

I ricercatori che hanno presentato questo strumento per scoprire testi generati dall'intelligenza artificiale non hanno dubbi sul perché si deve lavorare in questa direzione. Ecco le parole ufficiali:

“ChatGPT and all other AI text generators like it make up facts,” she said. “In academic science publishing — writings about new discoveries and the edge of human knowledge — we really can’t afford to pollute the literature with believable-sounding falsehoods.

I generatori di testo basati sull'intelligenza artificiale tendono a inventare dal nulla i fatti. Ed è chiaro che nell'editoria scientifica accademica non possiamo permetterci falsità che sembrano credibili.

Ancora, sempre secondo il team di ricerca, se inizi a popolare fatti scientifici con assurdità inventate dall'IA che sembrano credibili, le pubblicazioni diventeranno meno affidabili. Quindi perdono di valore.

Nemmeno OpenAI riesce a definire con esattezza se un contenuto è generato dall'intelligenza artificiale. Quindi la sperimentazione, come quella presentata oggi, deve andare avanti per tre motivi:

• Il mondo della criminalità sfrutta i contenuti generati dall'intelligenza artificiale. Ad esempio, attraverso le telefonate con voci che riproducono il tono di persone che conosciamo. Sapere che la Polizia ha degli strumenti per bloccare questi usi deviati dell'AI può essere una notizia rincuorante.
• L'informazione - e quindi la disinformazione - è un problema centrale. Potrebbe essere importante avere un metodo di riconoscimento per capire se un contenuto è stato generato da intelligenza artificiale o umana. Questo anche per dare un valore differente al lavoro.
•  Consapevolezza dell'autore. È giusto per chi legge sapere se dall'altra parte del contenuto - dei social, di un blog, di un e-commerce nel momento in cui chiedo un supporto per la risoluzione di un problema - c'è la mano di una persona o si legge un testo generato dall'AI.

La ricerca di un metodo per scoprire e riconoscere testi generati dall'intelligenza artificiale, come ad esempio ChatGPT, è solo all'inizio. Ma sviluppi come quelli dell'università del Kansas fanno ben sperare.

Per approfondire:

• Fake news e AI: secondo l'UE servono etichette per i contenuti
• Bing integra ChatGPT: cosa significa per il motore di ricerca?
• Wikipedia scritta da ChatGPT?