Cyber harcèlement : une intelligence artificielle formée au langage des réseaux sociaux

Elle s’appelle Creep, c’est une intelligence artificielle. Elle n’est pas encore connue du grand public. Pour l’instant elle est nourrie, couvée, développée dans un laboratoire à Nice –Sophia Antipolis. Pourquoi faire ? Pour détecter les échanges sur les réseaux sociaux qui constituent du harcèlement en ligne. C’est l'un des premiers projets d’IA à se pencher sur le cyber harcèlement en étant capable d’analyser des millions de messages et d'images . 

ECOUTEZ LA VIE CONNECTEE DU 2 FEVRIER SUR CREEP

Creep aura du pain sur la planche : d’après l’UNESCO la proportion d’ enfants de 9 à 16 ans ayant été exposés au cyber harcèlement est d'au moins 12%. Seulement 10 % des enfants victimes de cyber harcèlement en parlent à leurs parents. 

Pour les jeunes adultes, la dernière étude sur le sujet est encore plus édifiante. Selon l'enquête publiée en janvier par 20 minutes avec Opinion Way , 63 % des 20-24 ans ont déjà subi une situation de cyber violence sur les réseaux.

Creep est testée pour l'instant avec les écoles de la province italienne de Trente. Les élèves ont d'abord utilisé des jeux de rôles, les uns jouant les harceleurs, les autres les harcelés. Coordonnée par la fondation italienne Bruno Kessler, et financée par l’Institut européen d'innovation et de technologie, Creep rassemble aussi des chercheurs du CNRS, de l’Université de la Côte d'Azur et deux opérateurs privés. 

"Le harcèlement, ce ne sont pas tant les mots, que la récurrence des messages malveillants"

D'ordinaire pour repérer un sujet de discussion sur les réseaux, on peut paramétrer des filtres pour ne faire apparaître qu'un seul type de mots. Avec Creep, il s'agit de passer à la vitesse supérieure, être capable d'alerter au milieu de millions de messages, non pas l'utilisation de mots-clès, mais plus précisément la récurrence d’interactions entre un émetteur  source et un destinataire cible, en plus de la tonalité malveillante des messages. 

Deux chercheuses travaillent à Sophia Antipolis là-dessus et pour mener à bien leur projet elles doivent apprendre à Creep à parler le langage des réseaux sociaux, les significations non littérales des messages particulièrement dans le cas de harcèlement. "Ce qui fait le harcèlement, ce ne sont pas tant les mots, que la récurrence des messages malveillants", signale  Elena Cabrio. "Nous devons aussi apprendre à Creep à parler dans le langage spécifiques des réseaux, qui n'est pas la langue écrite académique et qui est différente du langage parlé". Tout cela en plusieurs langues. Creep fonctionne en anglais et en italien, et bientôt en français et en espagnol. 

Elena Cabrio est maître de conférences à l’université de la Côte d’Azur et membre du Laboratoire d’informatique, signaux et systèmes de Sophia Antipolis (I3S) - laboratoire qui a reçu en décembre dernier un trophée de l'Inpi. Elle travaille avec Serena Villata, chargée de recherche CNRS à l’I3S et membre de l’équipe Sparks. "Il faut pouvoir aider les victimes, et Creep sera bientôt accompagnée d'un chatbot, qui conseillera les victimes pour trouver de l'aider et des soutiens psychologiques", dit Serena Villata. "Pour nous cela donne un exemple d’IA qui peut apporter un peu plus de bien-être dans la société. Nos travaux sont un bel exemple d’une utilisation qui aide les gens. »", rajoute-t-elle. 

Désormais,  Serena Villata  et Elena Cabrio vont passer à une seconde phase. Faire détecter à Creep les images qui contribuent à du harcèlement, lui apprendre à comprendre le sens des images. 

Facebook, Instagram, encore démunis contre le harcèlement en ligne

Creep pourra un jour pourra prêter main forte aux gendarmes dédiés à la lutte contre ce fléau, ou bien être adoptée par des réseaux sociaux eux-mêmes comme Facebook par exemple.

Au printemps, la seule solution qu'avait proposée Facebook pour lutter contre le revenge porn (envoi d'images intimes par d' anciens compagnons) était de demander aux victimes elles-mêmes de lui faire parvenir ces images compromettantes pour que le réseau les reconnaisse et les supprime au moment de leur mise en ligne. Une situation intenable pour les victimes, "condamnées" à montrer elles-mêmes aux robots de Facebook ce qu'elles veulent garder caché.

Instagram a  annoncé à l'automne dernier vouloir travailler sur une fonctionnalité pour détecter automatiquement les contenus menaçants. Cette intelligence artificielle,conçue en interne, devait surveiller les images et les messages postés sur son réseau. Le système passe d'abord par l'intervention de modérateurs humains. 

Le chantier du cyber harcèlement est donc ouvert. Il faudra sûrement plus d'une intelligence artificielle pour en venir à bout.