Comment John Steinbeck nous permet de confronter l’intelligence artificielle à l’intelligence humaine

Ce texte est extrait de Papiers, la revue de France Culture, dont le numéro 26 consacre un dossier aux "Révolutions de l'intelligence". Disponible en kiosque et sur abonnement.

"Il arrive parfois qu’une sorte de grâce embrase l’esprit", écrit John Steinbeck dans son roman À l’est d’Éden (1952)[1], qui se déroule dans une vallée californienne – pas la Silicon Valley, mais la Salinas. "C’est un phénomène assez répandu. Au début, c’est un crépitement de cordon Bickford qui se consume vers la dynamite, une joie dans l’estomac, un délice des nerfs et des avant-bras. [...] Elle est mère de toute création et elle définit l’homme par rapport aux autres hommes_."_ 

Très bien. Qu’est-ce que cela a à voir avec l’intelligence artificielle ? 

Steinbeck poursuit : "Je ne sais pas ce que nous réservent les années à venir. De monstrueux changements se préparent, des forces dessinent un futur dont nous ne connaissons pas le visage. Certaines d’entre elles nous semblent dangereuses parce qu’elles tendent à éliminer ce que nous tenons pour bon."

Cette remarque fait sens à notre époque. Ces derniers temps, de nombreux experts en sciences humaines ont exprimé leur crainte que l’intelligence artificielle ne puisse éliminer des choses "que nous tenons pour bon[nes]". Ils soulignent, par exemple, le risque de déqualification morale, dans un temps où les prises de décision sont guidées par des algorithmes ; ils notent aussi ce qui pourrait être perdu, ou amoindri, avec l’apparition de robots domestiques ; ils s’interrogent enfin à propos du rôle, en général, que joueront les humains quand l’apprentissage machine et les réseaux de neurones prendront des décisions influençant la vie humaine. 

"Il est vrai, écrit Steinbeck, que deux hommes réunis soulèvent un poids plus aisément qu’un homme seul. Une équipe peut fabriquer des automobiles plus rapidement et mieux qu’un homme seul. Et le pain qui sort d’une fabrique est moins cher et de qualité plus uniforme que celui d’un artisan. Lorsque notre nourriture, nos vêtements, nos toits ne seront plus que le fruit exclusif de la production standardisée, ce sera le tour de notre pensée. Toute idée non conforme au gabarit devra être éliminée."

Nous sommes en train de basculer de la production de masse dont parlait Steinbeck vers une autre production de masse qui requiert beaucoup moins d’intervention humaine. Si la première standardisait déjà nos façons de penser, quel effet aura la seconde sur nos cerveaux ? N’est-ce pas précisément l’enjeu de la collecte et de l’analyse des données ? 

"La production collective ou de masse, ajoute Steinbeck, est entrée dans notre vie économique, politique et même religieuse, à tel point que certaines nations ont substitué l’idée de la collectivité à celle de Dieu. Il est trop tôt. Là est le danger. La tension est grande. Le monde va vers son point de rupture. Les hommes sont inquiets."

En ce moment, l’intelligence artificielle se diffuse dans toutes les sphères de notre vie, et cela génère des tensions et de l’inquiétude quant à l’impact qu’elle aura. Nous restons indécis face à des affirmations contradictoires : l’intelligence artificielle va faire disparaître nos métiers et en créer de nouveaux ; elle va éliminer les biais et les préjugés, ou les perpétuer et les rendre plus difficiles encore à identifier ; elle nous promet une vie plus longue et plus heureuse, ou bien l’extinction de l’espèce humaine… 

"Aussi, continue le narrateur de Steinbeck, il me semble naturel de me poser ces questions : En quoi crois-je ? Pour quoi dois-je me battre ? Et contre quoi dois-je me battre ?" Ce sont des questions que nous devrions également poser. 

"Notre espèce est la seule créatrice, continue-t-il, et elle ne dispose que d’une seule faculté créatrice : l’esprit individuel de l’homme." Steinbeck poursuit en démontant la notion de créativité collaborative – et vous pouvez ne pas être d’accord avec cela, mais souvenez-vous que, de nos jours, on va vers un abandon de la créativité, qu’on laisse aux algorithmes au détriment de l’esprit humain (qu’il soit individuel ou collectif). 

Bien sûr, c’est toujours l’esprit humain qui décide quelles données récolter pour les soumettre à l’analyse d’un algorithme, et quels facteurs incorporer dans l’algorithme, quel poids donner à chacun des facteurs et quelles données utiliser pour construire ces algorithmes. Toutefois, ces décisions sont masquées par le mythe souvent répété que ces processus algorithmiques "orientés données[2]" ou "fondés sur les données" sont objectifs, voire neutres (contrairement aux décisions humaines). 

"Voici ce que je crois, poursuit Steinbeck : l’esprit libre et curieux de l’homme est ce qui a le plus de prix au monde. Et voici ce pour quoi je me battrai : la liberté pour l’esprit de prendre quelque direction qui lui plaise. Et voici contre quoi je me battrai : toute idée, religion ou gouvernement qui limite ou détruit la notion d’individualité. [...] Je comprends pourquoi un système conçu dans un gabarit et pour le respect du gabarit se doit d’éliminer la liberté de l’esprit, car c’est elle seule qui, par l’analyse, peut détruire le système." 

J’ai pensé à ce texte en découvrant les dernières évolutions de la pédagogie "orientée données" et des technologies éducatives qui essaient de lire, dans le but de les modeler, les esprits en formation. "Vos ondes cérébrales sont-elles des informations privées et confidentielles ?" demandait récemment un article du magazine CSO_[2]_. "La plupart des gens n’y ont probablement pas tellement réfléchi parce que ce n’est pas, d’ordinaire, quelque chose que les entreprises collectent et stockent. Mais si les enfants à l’école commençaient à devoir porter des bandeaux détecteurs d’ondes cérébrales qui mesurent leur niveau d’attention en temps réel, est-ce que cela n’aurait pas un impact sur la vie privée des élèves ? Les résultats du niveau d’attention révélé par les ondes cérébrales sont partagés avec les professeurs et les administrateurs de l’école, et sont collectés et stockés par une compagnie privée." 

Cela ne relève pas de la fiction. Une compagnie, BrainCo, affirme qu’elle offre "le premier appareil portable  au monde spécialement destiné à collecter et analyser le niveau d’attention des utilisateurs", qui va de pair avec "le premier système pour salles de classe qui améliore la productivité de l’éducation grâce à un suivi en temps réel des niveaux d’attention". CSO rapporte que BrainCo a vendu 20 000 appareils en Chine, et que son pdg a déclaré que le but de la compagnie était de "capturer les données de 1,2 million de personnes [...] ce qui nous permettra d’utiliser l’intelligence artificielle pour exploiter ce qui va être la plus importante base de données du monde, pour améliorer nos algorithmes dans ce qui touche à l’attention et la détection des émotions". 

Le but affirmé est donc de récolter les ondes cérébrales humaines dans le but d’améliorer l’intelligence artificielle, avec comme finalité prétendue l’amélioration de l’éducation humaine et, par-là, de l’intelligence humaine. Cela dit, comme le note l’article de CSO, les représentants de BrainCo "n’ont pas exclu que les données des ondes cérébrales des élèves puissent être utilisées pour “un certain nombre de choses différentes” ". 

Bien entendu, les implications de telles pratiques dépassent l’intimité des élèves, ou, plutôt, ouvrent sur des préoccupations plus graves, telles que le vol d’identité ou un possible usage néfaste des informations sur les notes ou le comportement. La créativité requiert une dose d’intimité. Si les étudiants savent que leur niveau d’attention (et d’émotions, et d’on-ne-sait-quoi d’autre dans le cerveau) est détecté, mesuré et collecté, il est très probable que "l’esprit libre et curieux de l’homme" décrit par Steinbeck s’en trouve affecté. Faudra-t-il extrapoler l’adage "danse comme si personne ne te regardait" (Dance Like Nobody’s Watching) en ajoutant : "Pense comme si personne n’attachait autour de ta tête un bandeau qui collecte des informations sur tes pensées" ? 

Pour être créatif, il faut faire un pas de côté, s’écarter de ce que l’on connaît. Cet écart par rapport à la norme permet de briser le statu quo. Nous sommes des animaux sociaux, et la plupart d’entre nous n’aimeraient pas être vus comme subversifs. Dès lors, les appareils récoltant nos ondes cérébrales risquent de refroidir nos élans créatifs, et ces algorithmes pourraient bien apprendre des réticences qu’ils auront eux-mêmes causées, et ainsi perpétuer et augmenter cet effet abrutissant. 

Les perspectives que dessine ce "système conçu dans un gabarit" sont bien loin de la "sorte de grâce" dont parlait Steinbeck. L’arrivée de l’intelligence artificielle nous force à définir l’intelligence humaine et à nous battre pour la protéger.

Irina Raicu

Adolescente réfugiée à son arrivée aux États-Unis, Irina Raicu est aujourd’hui directrice du programme d’éthique d’Internet au Markkula Center for Applied Ethics de l’université Santa Clara. Juriste dans le secteur privé, elle s’est spécialisée dans la confidentialité de l’information, la neutralité du Net et l’impact des réseaux sociaux sur les liens familiaux et amicaux. 

[1] Traduit de l’américain par J.C. Bonnardot pour LGF - Livre de Poche, édition de 1974.  (autre format : À l'est d'Éden / John Steinbeck ; trad. J. C. Bonnardot. – LGF - Livre de Poche, 1974).  

[2] Ms Smith, 05.12.2017 

"Papiers", la revue de France Culture

Ce texte est extrait de Papiers, la revue de France Culture, dont le numéro 26 consacre un dossier aux "Révolutions de l'intelligence". A découvrir en kiosque et sur abonnement. Toutes les informations ici.