Violenza online, TikTok potenzia la sicurezza con l’AI

Non una semplice piattaforma dove scrollare video, con oltre 100 milioni di contenuti pubblicati ogni giorno, ma una “piazza” virtuale attraverso cui guardare il mondo: con 200 milioni di utenti in Europa e 23,9 milioni in Italia, TikTok non è più soltanto la piattaforma di intrattenimento più dinamica del momento. Ma uno spazio concreto in cui il “sentire comune” prende forma. Per questo, presidiare i contenuti che lo popolano, è una responsabilità a cui rispondere con chiarezza. Soprattutto in relazione alle giovani generazioni (il 36,2% degli utenti TikTok ha tra i 18 e i 24 anni). Per garantire un controllo sempre più capillare e accurato, TikTok punta sull’intelligenza artificiale: in occasione del Trust & Safety Forum, organizzato nella sede europea a Dublino e seguito da Alley Oop, la piattaforma di ByteDance ha annunciato l’introduzione dell’AI nei processi di moderazione dei contenuti, integrandola al lavoro umano svolto ogni giorno dai moderatori. L’obiettivo è garantire un equilibrio tra velocità, coerenza e qualità dei contenuti pubblicati: «Riteniamo che sia essenziale bilanciare esseri umani e tecnologia per garantire la sicurezza della piattaforma – ha spiegato Brie Begum, TikTok’s Global Head of Regulatory, Risk, and Program Management for Trust & Safety – Avremo esseri umani come parte di questo processo, ma riteniamo anche molto importante ridurre l’esposizione a contenuti dannosi il più rapidamente possibile: gran parte del supporto delle macchine ci aiuta a lavorare a velocità elevata». Un’urgenza che si muove insieme a un’altra priorità: contrastare l’estremismo violento online.

Sicurezza online, nei primi tre mesi del 2025 rimossi 8 miliardi di commenti su TikTok

Per rendere la rete un posto il più sicuro possibile, serve velocità e attenzione: solo nei primi tre mesi del 2025, su TikTok sono stati rimossi 8 miliardi di commenti. L’intelligenza artificiale può essere un’alleata per facilitare il lavoro dei moderatori, a cui spetta il controllo di ogni contenuto: commenti, foto, live stream, account. Con le novità introdotte da TikTok, l’AI individua i contenuti potenzialmente a rischio e lascia più spazio e tempo per l’analisi critica ai moderatori. Un processo che vuole essere virtuoso e, riferisce Begum, ha già portato i suoi risultati: «Abbiamo già ridotto del 76% l’esposizione dei nostri moderatori umani ai contenuti violenti e incrementato la qualità rimuovendo il 99% dei contenuti ritenuti inappropriati».

Contenuti AI, trasparenti e responsabili: «Creare valore per la comunità»

Facilitare il lavoro umano e creare valore per la comunità: in questa direzione si muovono le esperienze basate sull’intelligenza artificiale promosse da TikTok. Non solo nella moderazione. Nelle prossime settimane, infatti, la piattaforma inizierà a testare un nuovo strumento di controllo sui contenuti generati dall’intelligenza artificiale nella funzione “Gestisci argomenti”, per consentire agli utenti di scegliere la quantità di contenuti realizzati da intelligenza artificiale che desiderano visualizzare nei propri feed. contenuti. Ciò significa che gli utenti che vogliono interagire con i contenuti generati dall’IA possono visualizzarne di più, mentre quelli che preferiscono vederne meno possono scegliere di ridurne la quantità. Per migliorare l’etichettatura dei contenuti generati dall’intelligenza artificiale, è in fase di test la “filigrana invisibile”: TikTok richiede già agli utenti di aggiungere una specifica etichetta ai video generati dall’intelligenza artificiale, utilizzando le C2PA Content Credentials. Questo tipo di etichetta ha permesso di individuare oltre 1,3 miliardi di video generai dall’AI fino ad oggi. Tuttavia, può essere rimossa quando il contenuto viene caricato di nuovo o modificato su altre piattaforme: perciò, come ulteriore livello di trasparenza, sarà aggiunto un watermark invisibile che consentirà di etichettare i contenuti in modo più affidabile e avere maggiori informazioni sul contesto delle modifiche apportate. «Crediamo che, se utilizzata in modo trasparente e responsabile, l’intelligenza artificiale possa trasformare il modo in cui le persone condividono la loro creatività, scoprono nuove passioni e navigano in sicurezza sulla piattaforma» ha sottolineato Valiant Richey, Global Head of Outreach and Partnerships di TikTok. Con questo obiettivo, TikTok stanzia un fondo di 2 milioni di dollari per l’alfabetizzazione sull’intelligenza artificiale: destinato a esperti e organizzazioni come Girls Who Code, gruppo no-profit che insegna programmazione e robotica, sarà dedicato alla creazione di contenuti educativi sull’uso responsabile dell’intelligenza artificiale.

Estremismo nichilista, la “nuova” forma di violenza online che aggira la moderazione

Non tutto ciò che si scrolla è ispirazionale o educativo. Anzi. In rete l’odio può correre più veloce: si chiama “estremismo nichilista” ed è la forma di violenza che si sta diffondendo online a ritmi incalzanti. A spiegarlo, dal Trust & Safety Forum, è Judy Kor, direttrice della Violence Prevention Network, organizzazione non governativa che si occupa di prevenzione, intervento e deradicalizzazione dell’estremismo violento. «L’estremismo nichilista non è guidato da un’ideologia che ambisce a un cambiamento politico, sociale o religioso: vuole semplicemente distruzione e caos – ha specificato Kor – Questo lo rende più difficile da individuare sui social». Non c’è un’ideologia facile da intercettare nell’estremismo nichilista e, per questo motivo, i contenuti attraverso cui si diffonde potrebbero aggirare le linee guida della community di TikTok. Secondo l’esperta, le piattaforme hanno la responsabilità non solo di impedire che ciò avvenga. Ma anche di prevenire l’estremismo violento online. È possibile farlo. Ma, come suggerito da Kor, «Bisogna ripensare il modo di considerare gli utenti e identificare i segnali comportamentali online come indicatori della propensione allo sviluppo dell’estremismo».

L’odio corre online: oltre 6,5 milioni di video rimossi nella prima metà del 2025

Finora, quest’anno, TikTok ha rimosso 17 reti di odio in tutto il mondo, composte da oltre 920 account: questi gruppi promuovevano una serie di ideologie estremiste e i loro contenuti includevano l’esaltazione di attacchi terroristici, il sostegno alla violenza di massa o l’odio nei confronti di gruppi protetti.

«Nella prima metà di quest’anno, abbiamo rimosso più di 6,5 milioni di video per violazione delle nostre regole contro le organizzazioni violente e che incitano all’odio – ha riferito TikTok – Ciò rappresenta poco meno del 2% di tutti i contenuti violativi rimossi durante quei sei mesi. I nostri sistemi sono altamente efficienti: il 98,9% è stato rimosso prima di essere segnalato e il 94% è stato rimosso entro 24 ore dalla pubblicazione».

Per fare meglio e riconoscere anche le più “sottili” forme di violenza, durante l’evento a Dublino è stata annunciata la partnership con Violence Prevention Network: saranno progettate nuove risorse – inizialmente disponibili solo in Germania – per rafforzare la resilienza della community contro le reti di odio, promuovendo la riflessione a riguardo e aiutando gli utenti a riconoscerle. Affinare l’identificazione dell’estremismo violenta che tenta di fare ingresso nella sua piattaforma è l’obiettivo a cui risponde anche l’adesione di TikTok al Global Internet Forum to Counter Terrorism, attraverso cui la piattaforma punta a fornire supporto pratico ai suoi team di sicurezza, comprendere meglio le minacce emergenti grazie al contributo di esperti e migliorare le politiche a riguardo.

Benessere digitale, i badge per limitare lo scrolling

Rispettare i limiti di tempo ed evitare lo scrolling di notte: tra le novità annunciate al Trust & Safety Forum, ci sono i strumenti che TikTok mette a disposizione per il benessere digitale. Le novità sono pensate soprattutto per gli adolescenti: la nuova sezione “Tempo e benessere” include un diario con oltre 120 affermazioni positive, un generatore di suoni rilassanti e un modulo per esercizi di respirazione. Non più solo limiti, ma strumenti per coltivare equilibrio emotivo. L’obiettivo, oltre a ridurre il tempo passato sull’app, è fare in modo che diventi un’esperienza più consapevole. Decisori politici ed esperti di salute chiedono da tempo etichette di avvertimento per le piattaforme di social media. Tra le novità annunciate da TikTok, c’è l’introduzione dei badge pensati per incentivare gli utenti – soprattutto i più giovani – a rispettare i propri limiti. Per ottenere i badge è necessario completare “missioni di benessere digitale” come evitare l’uso dell’app nelle ore notturne, utilizzare gli strumenti di meditazione, impostare e rispettare un limite di tempo giornaliero, visualizzare il report settimanale dello screen time e invitare altri utenti a partecipare alle missioni.

L’app mostrerà link diretti agli strumenti di benessere quando un utente li supera o utilizza TikTok di notte: gli avvisi non bloccano l’uso – si punta a promuovere la responsabilità personale – ma ricordano all’utente che ha superato i limiti. Un approccio educativo, più che proibitivo, che vuole lavorare sul lungo periodo: «Con l’arrivo del nuovo anno, stanzieremo una donazione complessiva di 100.000 dollari a favore dei ricercatori del Tech Coalition SafeOnline Research Fund per sostenere entrambe le organizzazioni nel loro lavoro sul benessere digitale dei giovani e delle famiglie» ha annunciato TikTok. Un cambio di paradigma che punta a una nuova modalità di vivere il digitale: equilibrata, trasparente e sicura.

***

La newsletter di Alley Oop

Ogni venerdì mattina Alley Oop arriva nella tua casella mail con le novità, le storie e le notizie della settimana. Per iscrivervi cliccate qui.

Per scrivere alla redazione di Alley Oop l’indirizzo mail è alleyoop@ilsole24ore.com