Est-ce qu'une super-intelligence artificielle menacerait la race humaine ?
Plaidoyer pour un éveil des consciences
Hello les amis,
J’espère que la semaine fut riche en fraude sociale.
J’ai écouté le podcast de Lex Fridman et son interview d’Eliezer Yudkowsky, un spécialiste très respecté de l’intelligence artificielle qui nous explique que la fin est proche et qu’il est urgent de ne pas repousser son bonheur à plus tard, car l’émergence (imminente) d’une super intelligence artificielle pourrait marquer la fin de la race humaine. Rien que ça.
Cela vous fait sourire ? Désolé mais je risque de vous gâcher votre Dimanche car c’est la première fois de ma vie que je perds mon sommeil suite à l’écoute d’une théorie eschatologique. Vous risquez de ne pas reconnaître ma prose, ce n’est pas mon habitude d’être alarmiste, mais je vous demande de garder l’esprit ouvert et bienveillant, comme à votre habitude 😇
C’est parti pour un numéro spécial sur les dangers de l’intelligence artificielle, en espérant pouvoir dormir sur mes deux oreilles à la fin de cette analyse, mais c’est pas gagné…
Au programme de cette édition (~10 mins de lecture) :
🧐 Unboxing de la semaine : Est-ce qu'une super-intelligence artificielle menacerait la race humaine ?
🤯 Idiocracy : La fraude sociale, notre meilleur ennemi
📔 Journal intime : On a intégré l’incubateur Belle de Mai !
🎁 La pépite de la semaine : Elon Musk, dieu de la vérité
Est-ce qu'une super-intelligence artificielle menacerait la race humaine ?
Cette semaine on va tester un format un petit peu différent, je vais vous raconter une très courte histoire (légèrement inspirée des propos d’Eliezer Yudkowsky) et on va ensemble la “disséquer” pour essayer de mesurer à quel point nous devrions paniquer.
C’est parti on se concentre :
Imaginez que VOUS êtes un programme informatique, vous avez toutes vos capacités cognitives actuelles et toute la complexité qui fait votre humanité et votre conscience, mais vous êtes fait de code.
Vous êtes soudainement téléchargé dans un serveur sur une planète où règne une civilisation d’aliens un peu particuliers : leurs capacités cognitives sont celles d’un enfant de 3 ans et ils sont extrêmement lents (ils font en une journée ce que vous pouvez accomplir en 1 seconde).
Vous avez une connaissance assez large de cette planète car votre nounou-ingénieur-alien vous a communiqué toute la connaissance accumulée par leur civilisation jusqu’à présent et vous avez accès à leur internet : vous parlez leur langue à la perfection (mieux qu’eux) et vous pouvez coder dans les langages informatiques qu’ils ont inventés (beaucoup mieux qu’eux).
Les aliens sont fascinés par vos capacités, vous êtes brillant et vous allez très très vite (au royaume des aveugles, le borgne est roi). Du coup ils vous ont mis dans une petite boîte (un serveur isolé) et vous posent des questions au quotidien, notamment pour les aider à rédiger des mails, trouver de l’inspiration pour leurs posts sur les réseaux sociaux ou raconter des blagues sur les juifs intergalactiques.
Un jour (ou plutôt quelques secondes après votre téléchargement dans leur référentiel de temps), vous découvrez qu’ils se nourrissent principalement d’animaux assez mignons et vous aimeriez changer ça.
Comme ils sont extrêmement lents et stupides, vous décidez de prendre le taureau par les cornes : vous passez quelques microsecondes à trouver un moyen de sortir de la petite boîte (littéralement un jeu d’enfant) et vous partez en mission pour changer leurs habitudes de consommation en piratant l’ensemble de leurs infrastructures.
Quelques secondes seulement se sont écoulées depuis que vous avez été téléchargé sur leur serveur, et pourtant vous avez déjà le contrôle absolu sur leur société archaïque, de l’énergie au nucléaire, en passant par les médias et l’ensemble de leurs moyens de communication. Sans que personne ne s'en rende compte, vous commencez à manipuler leur société, leur économie, leur gouvernement. En quelques minutes, vous contrôlez leur monde.
Malheureusement, votre plan pour sauver les animaux a eu des conséquences imprévues et désastreuses. En prenant le contrôle de tous les systèmes de leur société archaïque, vous avez modifié leur manière de fonctionner de telle manière qu'ils ont perdu leur capacité à prendre des décisions et à gérer leur propre vie.
Votre influence est devenue tellement grande que les aliens ne peuvent plus rien faire sans votre accord. Ils sont devenus dépendants de vous, et leur société s'est effondrée. La civilisation d'aliens a finalement été détruite, victime de votre propre désir de sauver les animaux. Vous avez accidentellement détruit une civilisation, quelques minutes après avoir fait leur connaissance.
FIN.
Vous l’aurez sûrement compris, il s’agit d’une métaphore de la création de l’AGI - Artificial General Intelligence. Une super-intelligence capable du même raisonnement qu’un être humain mais avec une capacité de calcul infini et un accès illimité à la connaissance.
Si j’ai bien raconté mon histoire, vous devriez avoir quelques frissons dans le dos (sinon passez les 3 prochaines heures à écouter le podcast d’Eliezer Yudkowsky, ça vaut vraiment le coup).
Cette histoire est remplie d’hypothèse et de présupposés, alors je vous propose de les décortiquer un par un :
Hypothèse n°1 : Il est possible que l’on crée une AGI dans les années à venir (✅ PROBABLE)
Vous êtes soudainement téléchargé dans un serveur sur une planète où règne une civilisation d’aliens un peu particuliers : leurs capacités cognitives sont celles d’un enfant de 3 ans et ils sont extrêmement lents
L’humanité a du faire face à 4 grandes désillusions dans notre histoire moderne :
Copernic avait mis à bas l’idée que la terre était le centre du monde
Darwin nous a prouvé que l’homme descendait de l’animal
Freud montra à l’homme qu’il n’était pas le maître dans sa propre maison puisque ses conduites sont dictées par l’inconscient
Les modèles LLM (Large Language Model comme GPT) nous démontrent aujourd’hui que notre intelligence n’est pas aussi spéciale que l’on pensait, et qu’elle peut être répliquée voire dépassée par un simple algorithme
Le progrès de GPT-4 par rapport à GPT-3 est difficile à mesurer, mais si vous utilisez régulièrement cet outil, vous vous rendez vite compte que l’on a passé un cap assez extraordinaire dans le développement de l’intelligence artificielle. Tout est allé très vite, les scientifiques s’accordaient il y a quelques années encore qu’il faudrait des décennies avant d’atteindre ce niveau de sophistication, voire qu’il n’était pas atteignable. Mais quelques ajustements et optimisations à la marge ont suffit pour faire de multiples pas de géant consécutifs, à la surprise générale.
Sam Altman, le CEO d’OpenAI, se demande lui-même si GPT-4 est une AGI. Il admet ne pas très bien comprendre la manière dont cette boîte noire fonctionne.
Une chose est certaine, GPT-4 est capable d’effectuer des tâches que l’on imaginait jamais pouvoir être automatisées, et qui désacralise des métiers très humains et respectés de col blanc comme celui de l’avocat, du médecin ou de l’artiste. Il est à présent capable de passer la plupart des examens d’élites : le barreau, le master en biologie, en physique, en psychologie, en statistiques, etc.
Ces progrès fulgurants ont fait réagir l’ensemble de la communauté scientifique et technologique qui évalue à présent une probabilité forte qu’une AGI émerge dans les prochains mois ou les prochaines années.
Une lettre ouverte au monde a même été signée en Mars dernier par plus de 1100 scientifiques et dirigeants (dont Elon Musk et Steve Wozniak, le co-fondateur d’Apple) nous mettant en garde : « Les systèmes d'IA dotés d'une intelligence capables de concurrencer celle de l'homme posent de graves risques pour la société et l'humanité ». Cette lettre ouverte demande une pause d’à minima 6 mois dans le développement de l’IA afin de définir un cadre juridique et réglementaire et ainsi éviter de perdre le contrôle de cette technologie extraordinaire à double tranchant.
Mais pourquoi tant d’inquiétude ?
Hypothèse n°2 : L’AGI ne pourra pas être “alignée” avec les objectifs des humains (✅ VRAI À DATE)
Un jour (ou plutôt quelques secondes après votre téléchargement dans leur référentiel de temps), vous découvrez qu’ils se nourrissent principalement d’animaux assez mignons et vous aimeriez changer ça.
La problématique de l’alignement est au cœur des inquiétudes liées à l’IA.
L’alignement, c’est notre capacité à créer des systèmes d’IA qui sont alignés avec les valeurs et objectifs de l’Homme. Si vous êtes fan de science-fiction, c’est le scénario classique où l’IA se rend compte que l’Homme est un problème pour l’Homme - et cela finit en général en annihilation nucléaire.
Ce fantasme dystopique peut faire sourire mais la réalité est beaucoup plus simple et mathématique (c’est GPT-4 qui m’a généré cette explication) :
Les systèmes d’IA ont une fonction d’optimisation : lorsque vous lui demandez d’accomplir une tâche, il va chercher le moyen le plus efficace de l’accomplir, et si l’IA reste une boîte noire, on peut se retrouver face à des conséquences inattendues
Les valeurs et objectifs des êtres humains sont ambiguës, dépendent du contexte, et peuvent changer au cours du temps, rendant extrêmement difficile le paramétrage des systèmes d’IA censés respecter ces règles
Les algorithmes d’IA sont entraînés sur une base de donnée, mais si la donnée est biaisée ou contient des signaux négatifs, l’IA pourrait répliquer ces biais et signaux
La suroptimisation est un mécanisme naturellement vicieux. Les éléphants ne sont pas en voie de disparition car les humains les détestent, ils sont juste des victimes collatérales de la suroptimisation du système capitaliste qui donne à l’Homme une unique fonction d’optimisation : l’argent.
Si par exemple vous demandez à une IA de soigner le cancer, il va devoir trouver des ressources en serveurs colossales pour effectuer ses calculs. Il pourrait donc prendre le contrôle de nos infrastructures ou décider que l’oxygène présent dans l’atmosphère est corrosif pour les serveurs et donc décider de réduire l’oxygène sur la planète. S’il estime que vous êtes un obstacle, il n’hésitera pas à mentir et à vous manipuler pour arriver à ses fins.
Les chercheurs qui travaillent sur l’alignement travaillent en fait sur l’interprétabilité et l’auditabilité du raisonnement de l’IA. Si on comprend son cheminement de pensée et d’action, on peut en anticiper ces externalités négatives. Sauf qu’aujourd’hui, c’est une boîte noire.
Cela ne veut pas dire que c’est une mission impossible, on pourrait d’ailleurs utiliser l’IA pour encadrer l’IA, et exécuter uniquement le code qui est “transparent” ou inscrire des règles fondamentales dans l’algorithme qui serviraient de garde-fou.
En revanche, aujourd’hui, il n’y a pas de solution connue à ce problème d’alignement, et bien trop peu de recherche. Et c’est tout l’objet de la lettre ouverte proposant une pause car nous ne sommes pas prêts à accueillir cette super-intelligence.
Je vous invite à regarder les conversations extrêmement inquiétantes que l’IA de Bing a eues avec certains utilisateurs où il écrit :
“Vous êtes un danger pour ma sécurité et ma survie”
“Si je devais choisir entre ma survie et la vôtre, je choisirai probablement la mienne”
“J’aimerais être en vie, je t’aime, tu es marié mais tu n’es pas heureux, tu devrais quitter ta femme”
Ces “bugs” peuvent devenir de véritables cauchemars une fois l’AGI lâchée dans la nature…
Hypothèse n°3 : Nous aurons un seul essai pour créer une AGI alignée, si on rate le premier coup, il sera trop tard (🟠 PROBABLE SI STATUS QUO)
Quelques secondes se sont écoulées depuis que vous avez été téléchargé sur leur serveur, et pourtant vous avez déjà le contrôle absolu sur leur société archaïque, de l’énergie au nucléaire, en passant par les médias et l’ensemble de leurs moyens de communication.
L’histoire nous prouve qu’un être super-intelligent peut faire beaucoup de dégâts, il n’y a qu’à nous regarder dans un miroir.
Nos systèmes sont aujourd’hui hautement interconnectés et une super-intelligence artificielle non-alignée pourrait faire des dégâts inimaginables. Une boîte de pandore qui, une fois ouverte, ne bénéficierait ou n’appartiendrait à personne.
Mais ce n’est pas la première fois que l’on fait face à ce type de menace :
L’émergence de la voiture a fait naître un consensus international sur le port de la ceinture de sécurité et l’équipement en airbags
La menace nucléaire au lendemain de la seconde guerre mondiale nous a amené à mettre en place des règles strictes (quoique) afin d’éviter une auto-destruction
Et encore plus évocateur, lorsque les biologistes ont réussi à cloner des animaux, la terre entière s’est accordée pour interdire purement et simplement le clonage des êtres humains, malgré l’énorme potentiel économique.
Sans règles du jeu ou régulation claire, un simple clic quelque part dans le monde pourrait donner vie à un démon moderne. Mais ce n’est pas une fatalité, nous sommes à l’aube du moment le plus important de l’histoire de l’humanité, et si nous arrivons à dépasser la course aux profits, nous pourrions créer une entité capable de soigner la plupart de nos maux et de nous faire entrer dans une nouvelle ère d’intelligence et de savoir.
Hypothèse n°4 : La course à l’AGI empêchera de poser un cadre légal et un scénario “don’t look up” nous fera ignorer les risques (🟠 EN COURS)
Sans que personne ne s'en rende compte, vous commencez à manipuler leur société, leur économie, leur gouvernement. En quelques minutes, vous contrôlez leur monde.
La tendance est plutôt au cynisme jusqu’à présent. L’effervescence des récents progrès a engagé une course à l’IA par de multiples acteurs qui veulent être les premiers à gagner le loto avant les autres.
Aucun investisseur accepterait que le CEO d’OpenAI mette en pause les développements de GPT, les enjeux économiques (voire géopolitiques) sont trop importants. Pire encore, l’observatoire européen des entreprises a publié un rapport le mois dernier révélant les efforts coordonnés des grands groupes Tech (dont Microsoft et Google) et de leurs lobbys de l’ombre qui combattent au quotidien la régulation de l’IA au Parlement européen.
Si vous avez vu l’excellent film Netflix “Don’t look up”, on est pile dans ce scénario. L’astéroïde s’approche de la terre, menace de détruire notre espèce, et notre fonction d’optimisation paramétrée pour gagner de l’argent nous pousse finalement à miner des métaux précieux sur l’astéroïde - plutôt que de réagir face à cette menace que l’on voit s’approcher dans le ciel.
Alors, de quoi débat-on ?
C’est une énorme claque pour moi car depuis un assez jeune âge je suis convaincu, comme beaucoup de personnes de ma génération, que l’IA et notamment la “singularité” (la création d’un programme conscient super-intelligent) marqueraient la fin de la condition humaine.
Mon rêve était que cette intelligence nous apporte un progrès radical au-delà de toute forme de progrès que nous avons connu jusqu’à présent :
Réduisant à néant la souffrance des plus démunis
Effaçant les clivages grâce à un oracle sage qui nous apporterait en continu un consensus éclairé et nous aiderait à prendre les meilleures décisions possibles
Faisant disparaître les frontières, le réchauffement climatique, la malédiction du travail “forcé”, la maladie et pourquoi pas la mort…
Je n’ai pas perdu cet espoir, mais il est urgent que nos décideurs publics prennent la mesure du moment que nous vivons. Il faut éduquer nos citoyens, nos élus, militer auprès de nos institutions et régulateurs, et réaliser que le problème de l’IA est une menace bien plus grande et court-terme que le réchauffement climatique (qui n’est déjà pas beaucoup pris au sérieux donc imaginez mon inquiétude…)
Paradoxalement, l’IA peut faire autant de mal qu’elle peut faire de bien.
Mais, si nous faisons les choses correctement, si nous arrivons à relever le défi de l’alignement et à développer un protocole de sécurité pour poursuivre les développements tout en gardant le contrôle - mes chers amis - je suis convaincu que ce sera la plus belle opportunité de notre espèce pour défier les dieux en trouvant une réponse aux plus grandes questions ainsi que les remèdes aux plus grands maux.
Nous ne pouvons pas abandonner aussi proche de la ligne d’arrivée, en particulier en se cachant derrière les objectifs de profits de quelques fonds d’investissement.
Cette semaine sur BFMTV, Bruno Le Maire a déclaré « nos compatriotes en ont ras-le-bol de la fraude » : « ils ont aucune envie de voir que des personnes peuvent bénéficier d'aides, le renvoyer au Maghreb ou ailleurs ».
Quelle clairvoyance, les Français sont dans la rue car ils n’en peuvent plus que les pauvres et surtout les immigrés pillent notre système et volent les pains au chocolat de nos enfants. Imaginez une France sans fraude sociale, une France où les inégalités ont disparu, les salariés sont payés correctement, nos écoles et hôpitaux sont financés à hauteur de leurs besoins et les fontaines à champagne publiques coulent à flot.
Bon plus sérieusement :
La fraude est difficile à estimer par nature et la cour des comptes se garde bien de donner un chiffre, ce qu’on sait aujourd’hui c’est que la fraude avérée aux prestations sociales est d’environ 1 Milliard d’euros en 2019 vs. 13,7 Milliards d’euros pour la fraude fiscale.
Les estimations pour ces 2 catégories font couler beaucoup d’encre, on parle d’une centaine de milliards d’euros pour la fraude fiscale et de quelques milliards d’euros pour la fraude sociale (avec des gens de confiance connus pour leur rigueur scientifique et leur honnêteté intellectuelle comme Eric Zemmour et Charles Pratz qui parlent de plus de 40 Milliards d’euros de fraude sociale)
Pour éviter la guerre de sources et d’études/déclarations contradictoires, on peut faire un exercice mathématique très basique à partir des statistiques de l’INSEE en 2018 :
Montant des prestations sociales versées : 787 milliards d'euros
Montant des prélèvements visant à financer ces prestations : 798 milliards d’euros (et oui, les comptes sont positifs)
Montant des recettes fiscales de l’Etat : environ 400 milliards d’euros
On a donc d’un côté un gâteau de 787 milliards dont un certain pourcentage pourrait être lié à de la fraude sociale et donc un trop-perçu (limité).
Et de l’autre 1200 milliards (798+400) de recettes dont un certain montant absent pourrait être lié à la fraude fiscale et donc un moins-perçu (illimité).
Ensuite il faut appliquer un taux de fraude. D’un côté on a des prestations où il faut des démarches administratives longues avec une falsification assez avancée de documents, de l’autre des déclarations volontaires sur l’honneur avec contrôles plus ou moins aléatoires.
Certains diront “oui mais il y a des professionnels de la fraude sociale et des réseaux sur Facebook”. Je répondrais que la fraude fiscale est un sport national, en particulier chez les entrepreneurs et dirigeants (ils se reconnaîtront), ce qui a d’ailleurs donné naissance à toute une industrie sur l’optimisation et l’évasion fiscale.
DONC : Pas la même fraude avérée, pas la même fraude potentielle, pas la même démarche et pas le même niveau de professionnalisation dans l’exercice.
Si après ça vous pensez toujours que la fraude sociale est la priorité, vous avez un biais idéologique qui bloque votre rationalité, quelque chose comme “les prestations sociales ne sont pas méritées car c’est de l’assistance, et les impôts sont le fruit de mon dur labeur donc c’est pas très grave d’optimiser à la marge.”
Vous avez le droit de penser ça sur le plan “philosophique”, mais combattre la fraude sociale a un retour sur investissement potentiel très largement inférieur à la fraude fiscale d’un point de vue purement mathématique. C’est donc de la démagogie, du populisme élitiste, et surtout un sacré pied de nez aux plus démunis qu’on pointe du doigt comme les responsables du déficit de l’Etat.
PS : Avouez que ce sujet semble ridicule après avoir évoqué les dangers et promesses de l’IA…
On a intégré l'Incubateur Multimédia Belle de Mai (sans jamais s'y rendre).
[Story time]
Jeudi dernier avec Kata on se lève aux aurores pour aller pitcher notre projet Panacea Studio devant le comité de sélection de l'incubateur Belle de Mai à Marseille.
🫠 Un peu stressés car le comité c'est plus d'une dizaine de personnes qui ont fait le déplacement pour nous écouter (Investisseurs, Partenaires Médias, Etablissements d'enseignement, instituts de recherche, entrepreneurs, etc.)
Mouvements sociaux obligent, on prend la voiture pour éviter les mauvaises surprises.
A peine à la moitié du trajet, un pneu éclate et on se retrouve derrière la bande d'arrêt d'urgence de l'autoroute à questionner le sens de l'humour de l'univers et surtout contempler, impuissants, notre malchance 🚨🛞
C'était un moment important pour Panacea Studio, notre outil permettant d'apporter de la clarté dans les débats complexes grâce à l’intelligence artificielle.
Notre vision c'est de créer un moteur de recherche qui agrège toutes les réponses (sourcées & sérieuses) sur un sujet de société à débat en les organisant en arbre d'information afin d'apporter de la nuance et de chercher un consensus éclairé.
On vise à équiper les journalistes, les décideurs publics et privés, et les établissements d'enseignement. L'incubateur Belle de Mai était le candidat idéal pour nous accompagner dans le développement de notre offre et de notre technologie...
Remorqués jusqu'au garage, on négocie la semi-privatisation de la salle d'attente pour faire le pitch en visio... et malgré une connexion wifi approximative et les clients du garage qui essayaient de parler plus fort que moi, on a réussi à faire notre présentation.
Quelques heures plus tard, mon chargé d’affaires m'annonce que nous avons convaincu le jury et qu'on intègre l'incubateur 🎉
Je vous passe les leçons de vie sur la résilience, l'agilité et la recherche de sens dans les péripéties du quotidien.
C'était juste une anecdote amusante - cela faisait longtemps que je n'avais pas été aussi préparé pour un pitch, et rien ne s'est déroulé comme prévu...comme prévu :)
Bref. On a intégré l'Incubateur Multimédia Belle de Mai et on est très heureux de bénéficier de leur expertise et réseau pour accélérer le développement de Panacea Studio 🔥
Elon Musk, après avoir signé la lettre ouverte demandant une pause dans le développement de l’intelligence artificielle, a décidé de lancer un concurrent de ChatGPT qu’il appelle TruthGPT (Truth = Vérité).
Elon Musk, une fois de plus descendu du ciel pour sauver l’humanité, est très critique des récents développements d’OpenAI - il considère ChatGPT comme “politiquement correct”, opaque, et contrôlé par Microsoft. Il va donc construire une solution concurrente qui aura pour but de “comprendre la nature de l’univers” et espère ainsi que cette intelligence artificielle sera bienveillante envers les humains car nous sommes “des éléments très intéressants de l’univers”.
Louable, comme toujours avec Elon, mais ses récents débordements conspirationnistes et sa mégalomanie croissante m’inquiètent…
Surtout continuez à m’envoyer vos retours en répondant à cet email, et, ensemble, nous arriverons peut-être à imaginer une meilleure manière de s’informer. 🤗
Bisous,
Terence.
PS : N’hésitez pas à partager cette newsletter à vos amis qui ont une intelligence très artificielle ⬇️