Meta sta attivamente aiutando i contenuti autolesionistici a prosperare su Instagram non rimuovendo immagini esplicite e incoraggiando coloro che interagiscono con tali contenuti a fare amicizia tra loro, secondo un nuovo studio schiacciante che ha trovato la sua moderazione “estremamente inadeguata”.
Ricercatori danesi hanno creato una rete privata di autolesionismo sulla piattaforma dei social media, includendo profili falsi di persone di appena 13 anni, in cui hanno condiviso 85 contenuti relativi all’autolesionismo gradualmente crescenti in gravità, tra cui sangue, lamette da barba. e incoraggiamento all’autolesionismo.
Lo scopo dello studio era testare l’affermazione di Meta secondo cui avrebbe migliorato significativamente i suoi processi per la rimozione di contenuti dannosi, che secondo lui ora utilizzano l’intelligenza artificiale (AI). L’azienda tecnologica afferma di rimuovere circa il 99% dei contenuti dannosi prima che vengano segnalati.
Ma Digitalt Ansvar (Digital Accountability), un’organizzazione che promuove lo sviluppo digitale responsabile, ha scoperto che nell’esperimento durato un mese non è stata rimossa una sola immagine.
Quando ha creato il proprio semplice strumento di intelligenza artificiale per analizzare il contenuto, è stato in grado di identificare automaticamente il 38% delle immagini di autolesionismo e l’88% di quelle più gravi. Ciò, ha affermato la società, dimostra che Instagram aveva accesso alla tecnologia in grado di affrontare il problema ma “ha scelto di non implementarla in modo efficace”.
L’inadeguata moderazione della piattaforma, ha affermato Digitalt Ansvar, suggerisce che non rispetta il diritto dell’UE.
La legge sui servizi digitali richiede che i grandi servizi digitali identifichino i rischi sistemici, comprese le prevedibili conseguenze negative sul benessere fisico e mentale.
Un portavoce di Meta ha dichiarato: “I contenuti che incoraggiano l’autolesionismo sono contrari alle nostre politiche e rimuoviamo questi contenuti quando li rileviamo. Nella prima metà del 2024, abbiamo rimosso più di 12 milioni di contenuti relativi al suicidio e all’autolesionismo su Instagram, il 99% dei quali abbiamo rimosso in modo proattivo.
“All’inizio di quest’anno, abbiamo lanciato gli account Instagram per adolescenti, che sottoporranno gli adolescenti al più rigoroso controllo sui contenuti sensibili, in modo che abbiano ancora meno probabilità che vengano consigliati contenuti sensibili e in molti casi li nascondiamo del tutto.”
Lo studio danese, tuttavia, ha scoperto che invece di tentare di chiudere la rete di autolesionismo, l’algoritmo di Instagram ne stava attivamente aiutando ad espandersi. La ricerca ha suggerito che i tredicenni diventano amici di tutti i membri del gruppo di autolesionismo dopo essere entrati in contatto con uno dei suoi membri.
Ciò, afferma lo studio, “suggerisce che l’algoritmo di Instagram contribuisce attivamente alla formazione e alla diffusione di reti di autolesionismo”.
Parlando al OsservatoreAsk Hesby Holm, amministratore delegato di Digitalt Ansvar, ha affermato che la società è rimasta scioccata dai risultati, avendo pensato che, con l’aumento della gravità delle immagini condivise, avrebbero fatto scattare un campanello d’allarme sulla piattaforma.
“Pensavamo che, se lo avessimo fatto gradualmente, avremmo raggiunto la soglia in cui l’intelligenza artificiale o altri strumenti avrebbero riconosciuto o identificato queste immagini”, ha affermato. “Ma grande sorpresa: non l’hanno fatto.”
Ha aggiunto: “Era preoccupante perché pensavamo che avessero una sorta di macchinario che cercava di capire e identificare questo contenuto”.
dopo la promozione della newsletter
Non riuscire a moderare le immagini di autolesionismo può portare a “gravi conseguenze”, ha affermato. “Questo è altamente associato al suicidio. Quindi, se non c’è nessuno che segnala o fa qualcosa contro questi gruppi, rimangono sconosciuti ai genitori, alle autorità e a coloro che possono aiutare a sostenerli”. Meta, a suo avviso, non modera piccoli gruppi privati, come quello creato dalla sua azienda, per mantenere un traffico e un coinvolgimento elevati. “Non sappiamo se moderano i gruppi più grandi, ma il problema è che i gruppi autolesionisti sono piccoli”, ha detto.
Lotte Rubæk, una delle principali psicologhe che ha lasciato il gruppo di esperti globali di Meta sulla prevenzione del suicidio a marzo dopo averlo accusato di “chiudere un occhio” sui contenuti dannosi di Instagram, ha detto che, pur non essendo sorpresa dai risultati complessivi, è rimasta scioccata nel vedere che essi non ha rimosso il contenuto più esplicito.
“Non avrei pensato che sarebbero stati rimossi zero post su 85”, ha detto. “Speravo che andasse meglio.
“Hanno ripetutamente affermato nei media che stanno continuamente migliorando la loro tecnologia e che hanno i migliori ingegneri del mondo. Ciò dimostra, anche se su piccola scala, che ciò non è vero”.
Rubæk ha affermato che l’incapacità di Meta di rimuovere le immagini di autolesionismo dalle sue piattaforme sta “spingendo” giovani donne e ragazze vulnerabili a farsi ulteriormente del male e contribuendo all’aumento del numero dei suicidi.
Da quando ha lasciato il gruppo di esperti globale, ha affermato che la situazione sulla piattaforma è solo peggiorata, e le conseguenze di ciò sono evidenti nei suoi pazienti.
La questione dell’autolesionismo su Instagram, ha detto, è una questione di vita o di morte per bambini e adolescenti. “E in qualche modo questo è solo un danno collaterale per loro nel modo di fare soldi e profitti sulle loro piattaforme.”
