Manifeste pour un numérique durable à visage humain Comment techniques numériques et intelligence humaine peuvent-elles cohabiter ?
Une introduction
Le but
itopie a toujours été critique vis-à-vis du numérique dominant, en sensibilisant sa communauté aux enjeux et risques sous-jacents au numérique et en militant pour l’allongement de la durée de vie des appareils, pour les logiciels libres, pour la sobriété numérique, et contre le capitalisme de surveillance.
Cependant, l’accélération de la numérisation de la société est toujours plus soutenue, avec l’émergence de nouvelles innovations de rupture avant même que la société ait pu digérer les précédentes. Le cadre de valeurs défendu jusqu’à présent par itopie se retrouve dépassé par ces évolutions. Ce cadre doit ainsi être étendu et précisé et la démarche doit se faire collectivement.
Le but de ce document est de communiquer un positionnement clair pour itopie auprès de sa communauté (clientèle et membres), de ses partenaires (privés et institutionnels) et du grand public, face à la numérisation croissante des activités humaines et aux effets induits par ce phénomène sur l’environnement, la société, et l’intégrité des individus.
L’objet
Ce manifeste ne peut pas faire l’impasse sur l’identification précise de l’objet qu’il entend encadrer. S’il vise globalement les techniques numériques qui colonisent progressivement toutes les activités humaines, il en est une qu’il s’agit particulièrement de préciser : l’intelligence artificielle.
Suite à de nombreuses discussions au sein d’itopie, nous avons décidé de ne pas utiliser ce terme dans le manifeste et ce pour les raisons suivantes :
- L’intelligence est une qualité humaine ou en tous cas de l’ordre du vivant, du biologique. Cette faculté peut très bien être simulée par un ordinateur, grâce à sa formidable capacité de calcul, mais les processus sous-jacents qui la nourrissent ont un fonctionnement diamétralement différent.
- Dire qu’une machine dialoguant avec des êtres humains, gagnant au jeu de Go ou réalisant des traductions simultanées fait preuve d’une intelligence artificielle n’a pas de sens. L’ordinateur est conçu pour calculer et il le fait de telle manière que nul être humain ne peut espérer le battre un jour. L’être humain dispose en revanche de facultés intellectuelles et sociales très diverses et complexes, constitutives de ses fonctions cognitives, lui permettant entre autre de situer sa singularité dans un groupe social et dans le temps, de se représenter des valeurs immatérielles et d’y adhérer, de se mettre à la place d’autrui, de faire preuve de compassion, d’imaginer par sa créativité des concepts novateurs, de donner du sens à des activités, de l’importance à la futilité ou à des sentiments, d’appréhender l’altérité, de rêver à d’autres potentialités, etc., ce qu’une machine pourrait à terme simuler, mais en aucun cas exercer de manière autonome. Les facultés des machines et des êtres humains ne doivent pas être mises en concurrence; elles sont fondamentalement complémentaires.
- Cette appellation renforce une tendance déjà forte de promouvoir les capacités des machines au détriment des capacités humaines, sous prétexte que toutes nos activités peuvent être réalisées de manière bien plus efficace par les machines.
- Le terme est un mot-valise, avec un fort potentiel commercial. Il envahit ainsi la sphère médiatique et s’invite dans des usages variés, souvent très éloignés de la notion d’intelligence.
La définition actuellement présente sur Wikipedia est la suivante :
L’intelligence artificielle (IA) est un ensemble de théories et de techniques visant à réaliser des machines capables de simuler l’intelligence humaine1.
Nous sommes bien dans le registre de la simulation de nos facultés humaines. Nous proposons ainsi une autre appellation : systèmes numériques anthropomorphes.
La définition d’anthropomorphe recoupe bien le concept qu’on veut faire ressortir :
[En parlant d’un être autre qu’hum. ou d’un obj.] Qui par sa forme apparente évoque un être humain2.
Il s’agit en définitive de systèmes numériques qui tentent de reproduire nos facultés, voire les dépassent dans des usages spécifiques. A l’instar des êtres humains, le comportement de ces systèmes s’apparente parfois à de l’excès, à de la démesure et même à de l’orgueil3.
L’appellation systèmes numériques anthropomorphes s’applique particulièrement à ce qu’on appelle intelligences artificielle générative. Pour éviter d’alourdir le texte du manifeste, nous proposons de l’utiliser pour toutes les techniques numériques qui envahissent progressivement la plupart des domaines de la société.
La mascarade
Les techniques numériques s’étendent très rapidement et de manière le plus souvent masquée, dotées d’une aura de progrès et d’une légitimité inattaquable. Derrière ce séduisant vernis se cachent à la fois une puissance fascinante et des mécanismes réellement inquiétants.
Les causes de préoccupation en lien avec l’évolution et le développement des techniques numériques sont nombreuses. Voici les plus importantes à nos yeux.
- Complexité – Les systèmes se développent en nombre et en complexité. Nous perdons progressivement la vision d’ensemble, en particulier concernant les impacts de ces techniques sur la société et notre biosphère et les compromis à consentir entre les conséquences à moyens et longs termes et les bénéfices concrets.
- Environnement – Le changement climatique n’est pas la seule épée de Damoclès environnementale. En plus des problématiques énergétiques, le numérique se révèle très gourmand en ressources métalliques, ce qui implique une forte activité minière et de graves impacts locaux en termes de pollution des sols, de l’air et de l’eau. Si la tendance n’est pas inversée, la croissance exponentielle du secteur va mécaniquement entraîner une augmentation massive de ces impacts.
- Démocratie et libéralisme économique – Les systèmes anthropomorphes sont actuellement massivement imposés par le haut, c’est-à-dire par les mastodontes de la “Tech” pour servir leurs intérêts et non par altruisme. Or, pour pouvoir servir l’humanité, il faut que ces systèmes viennent de la société civile et soient gérés comme des Communs4. De plus, il convient que nous puissions décider collectivement des techniques appropriées pour notre société, ce qui implique un effort d’information, d’éducation et du temps pour la réflexion collective.
- Exploitation humaine – Certains systèmes anthropomorphes utilisent un apprentissage dit renforcé. Cela signifie que ces géants du numérique exploitent des populations de travailleuses et travailleurs du clic, qui subissent des conditions indignes, souvent dans les pays en développement. Le travail laborieux de ces esclaves modernes consiste entre autre à trier, catégoriser, annoter la masse colossale de données et à vérifier la pertinence des résultats produits, en tentant d’éviter les dérives extrémistes fâcheuses de ces systèmes.
- Biais – Les données utilisées pour entraîner ces systèmes proviennent notamment d’Internet, source massive, hétérogène et non-structurée, regroupant des savoirs humains mais aussi des postures et des idées extrêmes ou violentes. Seule une partie de ces données est sélectionnée pour l’entraînement. Les critères de catégorisation ainsi que leur application reposent sur une poignée d’individus issus des sociétés qui mettent ces systèmes sur le marché. Les résultats produits ne peuvent qu’être biaisés, voire orientés.
- Opacité et violation – S’il existe des systèmes anthropomorphes open source, les plus populaires sont particulièrement opaques. On ne dispose pas des données d’entraînement ni de la façon forcément partiale de les catégoriser, sans compter que ces systèmes ne se soucient en général pas des droits d’auteur·e·s sur ces données, que les licences soient libres ou propriétaires d’ailleurs. Et comme il est impossible de remonter du résultat aux données sources, le ou les auteur·e·s de ces données sont forcément spolié·e·s et à large échelle. Cela est particulièrement vrai pour l’art, les créations intellectuelles ou encore le code source libre5.
- Surveillance – La plupart des systèmes anthropomorphes commerciaux participent au vaste mouvement de surveillance, qu’il soit opéré par des conglomérats privés ou par des agences de renseignement nationales. Une partie non-négligeable de cette surveillance provient des données que nous leur offrons, pas toujours de manière consciente, à travers divers dispositifs de captation et via les réseaux sociaux. D’autres données sont collectées plus sournoisement, sans notre consentement éclairé, quotidiennement, que nous soyons connecté·e·s ou non, que ce soit via nos achats, en marchant dans la rue, par notre smartphone ou sur les sites web que nous visitons. Nos données personnelles issues de cette surveillance sont en général inaccessibles et invisibles, à part pour les data brokers6 qui construisent et commercialisent des profils avec ces données.
- Paresse intellectuelle – Si certaines personnes peuvent utiliser ces systèmes numériques anthropomorphes pour nourrir leur curiosité et s’enrichir de nouvelles compétences, il n’en est pas de même pour tout le monde. Ces systèmes nous attirent essentiellement au travers de deux mécanismes a priori antagonistes, auxquels il est très difficile de résister : l’attrait de la performance individuelle et la paresse intellectuelle. Le modèle économique actuel consacre la performance et la productivité mais la nature humaine nous pousse à limiter nos efforts au quotidien. Il n’est donc pas étonnant que ces systèmes nous séduisent à ce point. Or, les neurosciences sont formelles : sans effort intellectuel, nos fonctions cognitives ne se développent plus, voire régressent.
- Déracinement, désincarnation – L’écran représente un intermédiaire artificiel en deux dimensions. Il réduit la richesse des interactions par le numériques et désinhibe les individus, ce qui provoque souvent des malentendus, des dérapages, une simplification des problématiques et un narcissisme exacerbé. De plus, les interfaces numériques créent une forme de dépendance au détriment d’autres activités plus profitables pour le développement de nos fonctions cognitives. Tout cela réduit notre capacité d’empathie avec autrui, mais aussi avec le vivant dans son ensemble.
Le manifeste
Les techniques numériques se développent de manière fulgurante. Ses progrès peuvent provoquer un sentiment de sidération, tant ils nous fascinent et nous bousculent, jusqu’à questionner intelligence et conscience humaine.
Ces systèmes numériques anthropomorphes peuvent être extrêmement efficaces. Souvent, ils sont inspirés par les neurosciences, sont fondés sur des algorithmes complexes et nourris par des quantités astronomiques de données. Ils peuvent imiter particulièrement bien certains comportements humains et simuler une grande créativité dans des domaines très variés.
Ces systèmes ne se limitent plus à réduire la pénibilité de tâches physiques ou à optimiser des fonctions répétitives. Leur développement et leur propagation dans la société s’accélèrent et ils influencent dorénavant de nombreuses activités et affectent en particulier des compétences d’apprentissage, le langage, et plus globalement, la pensée.
Acceptons-nous de voir la plupart des services que nous utilisons pris en charge par des machines alors qu’ils étaient opérés par des personnes formées pour ces métiers ? Sans débat démocratique ?
Voulons-nous d’une société qui remplace progressivement l’être humain par des écrans, des formulaires en ligne et des interfaces numériques ?
Une telle perspective est-elle simplement possible, compte tenu des limites planétaires ?
Où allons-nous positionner le curseur, entre une société numérisée à outrance et l’utopie d’une société sans technologie ?
Les êtres humains doivent pouvoir choisir leur futur technologique. Rien n’est gravé dans le marbre et tout le monde doit pouvoir contribuer à créer un avenir désirable et non subi.
Ainsi, itopie peut soutenir le développement de ces systèmes numériques anthropomorphes, à partir du moment où la société civile dispose des moyens de prévenir leurs effets indésirables sur les individus, la communauté et l’environnement.
De notre point de vue, ces systèmes sont acceptables pour autant qu’ils remplissent les cinq conditions suivantes :
- Ils respectent les principes de sobriété numérique, en les mettant au défi, entre besoins réels et enjeux environnementaux (limites planétaires, changements climatiques, perte de la biodiversité, pollutions, raréfaction des ressources naturelles,…). Cela implique de réduire ses besoins, d’allonger la durée de vie des objets, de privilégier la basse technologie ou les solutions analogiques.
- Ils sont libres, au sens des logiciels libres. Le corpus de données utilisées doit être libre et clairement identifiable. Les critères de filtres des résultats produits et les catégorisations des données d’entraînement doivent également pouvoir être audités.
- Ils ne participent en aucune manière à la surveillance, protègent l’intégrité numérique des personnes impliquées et traitent toutes les parties prenantes avec dignité.
- Il ne leur est pas délégué de prise de décision affectant directement ou indirectement des êtres vivants, si toutes les parties prenantes n’ont pas donné leur accord et si l’analyse a posteriori de la prise de décision n’est pas possible.
- Ils n’entraînent pas de dégradation de nos fonctions cognitives, de nos relations sociales et plus globalement de notre empathie avec le vivant.
Sous réserve des conditions précitées, le développement des systèmes numériques anthropomorphes parait souhaitable lorsqu’ils nous soutiennent dans la réalisation de tâches répétitives, complexes, fastidieuses ou qui requièrent des capacités de traitement que nul être humain ne peut avoir.
Par ailleurs, nous pourrions aussi avoir besoin de ces systèmes pour appréhender et gérer la complexité extrême des défis majeurs auxquels nos sociétés font et devront faire face.
Enfin, et compte tenu de ces défis existentiels majeurs, nous devons réduire massivement nos usages non-essentiels de ces techniques.
La bibliographie
En plus des nombreux échanges que nous avons eus au sein de la coopérative sur ce sujet, nous nous appuyons sur un vaste corpus d’ouvrages, de récits, d’essais, rédigés par des expert·e·s dans leurs domaines et des scientifiques reconnu·e·s. Voici certains titres qui nous ont particulièrement inspirés :
- Antidote au culte de la performance – La robustesse du vivant, Olivier Hamant, Tracts Gallimard, No 50
- Faites-les lire ! – Pour en finir avec le crétin digital, Michel Desmurget, aux éditions Seuil
- Humanité et numérique – Les liaisons dangereuses, Collectif, coordination Servane Mouton, aux éditions Apogée
- L’âge des low tech – Vers une civilisation techniquement soutenable, de Philippe Bihouix, aux éditions Points
- L’âge du capitalisme de surveillance – Le combat pour un avenir humain face aux nouvelles frontières du pouvoir, Shoshana Zuboff, aux éditions Zulma
- L’enfer numérique – Voyage au bout d’un like, Guillaume Pitron, Les Liens qui Libèrent
- La fabrique du crétin digital – Les dangers des écrans pour nos enfants, Michel Desmurget, éditions Seuil
- La Numérisation du monde – Un désastre écologique, Fabrice Flipo, aux éditions l’échappée
- Le bug humain – Pourquoi notre cerveau nous pousse à détruire la planète et comment l’en empêcher, Sébastien Bohler, aux éditions Pocket
- Le Mythe de la Singularité – Faut-il craindre l’intelligence artificielle ?, Jean-Gabriel Ganascia, éditions Seuil
- Les grands défis de l’IA générative, Livre blanc, Data For Good, librement téléchargeable.
- Les sociétés du profilage – Évaluer, optimiser, prédire, Philippe Huneman, aux éditions Payot
- Que faire de l’intelligence artificielle ? – Petite histoire critique de la raison artificielle, Vivien Garcia, éditions Rivages
- Schizophrénie numérique – La crise de l’esprit à l’ère des nouvelles technologies, Anne Alombert, éditions Allia
- Technologies partout, démocratie nulle part – Plaidoyer pour que les choix technologiques deviennent l’affaire de tous, Yaël Benayoun et Irénée Régnauld, FYP Editions
Les remerciements
itopie remercie tout·e·s les participant·e·s à l’élaboration de ce manifeste, notamment Andrés, Aza, Benno, Charles, Christian, Cisco, Dominique, Esteban, François, Greg, Jean, Jonathan, Julien, Luc, Michel, Natascha, Pierre, Rémy, Sabrina, Samuel.
Une note finale
100% de ce document a été écrit collectivement par des êtres humains sans aucune aide d’un quelconque système numérique anthropomorphe.
Ce document a été validé en Assemblée générale, le 26 juin 2024.
- Wikipedia : https://fr.wikipedia.org/wiki/Intelligence_artificielle
- Centre National de Ressources Textuelles et Lexicales : https://www.cnrtl.fr/definition/anthropomorphe
- L’hybris, également appelé hubris ou ubris […], est une notion grecque qui se traduit le plus souvent par « démesure ». Elle désigne un comportement ou un sentiment violent inspiré par des passions, particulièrement l’orgueil et l’arrogance, mais aussi l’excès de pouvoir et de ce vertige qu’engendre un succès trop continu. Les Grecs lui opposaient la tempérance et la modération, qui est d’abord connaissance de soi et de ses limites.
Wikipedia : https://fr.wikipedia.org/wiki/Hybris - Wikipedia : https://fr.wikipedia.org/wiki/Communs
- Société Suisse des Auteurs : https://ssa.ch/fr/intelligence-artificielle-et-droit-dauteur-quels-defis/
- Wikipedia : https://fr.wikipedia.org/wiki/Courtier_en_données
Signataires du manifeste
- Membres de la coopérative lors de l’AG du 26 juin 2024 (22 signataires) : Benno, Blaise, Bruno, Christian, Esteban, Francisco, François, Gerardo, Gregory, Jean-Marie, Luc, Lucas, Marco, Michel, Natascha, Pierre, Prosper, René, Samuel, Sandrine, Sélène, Xavier.
- Autres signataires (liste ouverte, 35 signataires) : Alexandre, Anne, Bastien, Carla, Cristina, Danya, Diane, éco-impact, Evelyne, Heidy, Greg, La Pépinière des Possibles, La Voie de la Nature, Manuel, Marie-Frédérique, Mathias, Michel, Milo, Mylène, Nicolas, Noémie, Patricia, Paul, Pierre, Raymond, Roger, Roland, Sarah, Stéphane, Sylvie (3x), Véronique (2x), Ynternet.org.
Si vous êtes intéressé·e à signer ce manifeste, vous pouvez remplir le formulaire ci-contre.