Alors que la dernière mouture de Terminator est présentée dans les salles de cinéma, je vous propose une réflexion concernant les risques existentiels posés par les progrès technologiques. Les risques existentiels réfèrent aux risques de voir l’humanité disparaître. Ce genre de risques fait partie de notre réalité depuis peu : on peut fixer à 1945, avec l’explosion de la première bombe atomique, le début de cette nouvelle ère. Depuis, plusieurs technologies sont apparues qui laissent entrevoir la possibilité de nouveaux risques existentiels avec lesquels l’humanité doit apprendre à composer au plus vite : on peut penser à des armes bactériologiques génétiquement modifiées, des armées de nanorobots ou une super intelligence artificielle qui se retournerait contre l’humanité. Depuis la première version de Frankenstein parue en 1818, la science-fiction est remplie de ces scénarios catastrophes où la créature se retourne contre son créateur.
Tous ces risques existentiels ont pour point commun d’être le pur produit du génie humain. Ils ne peuvent advenir que si des humains décident de développer ces nouvelles technologies et ils ne peuvent être évités que si des humains sont capables d’appliquer les freins avant qu’il ne soit trop tard. Les découvertes scientifiques des dernières décennies nous offrent une série de boîtes de Pandore potentielles qu’il nous revient d’ouvrir ou non. Le hic, c’est que les forces sociales en présence favorisent la prise de risques plutôt que la prudence. La compétition entre les États et entre les compagnies privées fait en sorte que les individus et les organisations qui ont les capacités d’investir dans une course à l’armement technologique sont les mêmes qui ont intérêt à gagner cette course. Pour que les intérêts de survie de l’humanité dans son ensemble passent avant les intérêts de ceux qui peuvent capitaliser sur ce qui signerait notre arrêt de mort, nous devrons trouver les moyens de freiner le développement de certaines technologies, quitte à passer pour des conservateurs technophobes aux yeux de certains.
Prenons le cas des risques liés au développement d’une super intelligence artificielle et penchons-nous sur l’hypothèse classique du « paperclip maximizer », le maximisateur de trombones. Imaginez une super intelligence artificielle aussi puissante que Skynet (le système informatique qui se rebelle dans la série des films Terminator), mais qui aurait été conçue par la compagnie 3M, avec pour seule tâche de produire un maximum de trombones. Le maximisateur de trombone se met à la tâche, utilise toutes les ressources à sa disposition pour atteindre son objectif unique, et se met à transformer toute la matière qu’il croise en trombones, y compris celle qui constitue les humains et le reste de la vie sur Terre. Rapidement, notre planète se trouve transformée en un vaste désert de trombones. Pas besoin d’un dessein maléfique pour que cette intelligence détruise tout sur son passage, seulement d’un programme mal conçu.
Personne ne s’opposerait à ce que l’on prenne les mesures nécessaires pour éviter cette « apocalypse des trombones ». Or, ces mesures ne sauraient être adoptées à minuit moins une. Il faut réfléchir à ces risques existentiels potentiels en amont et s’assurer que les investissements et les règles éthiques entourant la recherche et le développement des nouvelles technologies soient orientées dès le départ vers une maximisation de la sécurité des générations futures, plutôt que par la quête de profits ou d’un avantage stratégique à court terme.
L’hypothèse du maximisateur de trombones est une manière cocasse et facile de se représenter les dangers inhérents au fait d’accorder autant de pouvoir à un système aussi puissant et ne répondant qu’à sa propre logique avec des moyens illimités. On peut également utiliser cet exercice de pensée pour comprendre un risque existentiel bien réel et plus près de nous, soit les changements climatiques, en remplaçant le maximisateur de trombones par le maximisateur de profits et le désert de trombone par un climat trop chaud pour accueillir l’humanité. Il est de notre responsabilité collective de faire face à ce risque existentiel, alors que les graines de ce danger furent plantées bien avant nous, il y a environ 200 ans, au moment où le capitalisme s’est mis à remplacer l’huile de coude par du charbon.
Il était minuit moins quart il y a 40 ans, lors de la conférence internationale où le risque des changements climatiques fut expliqué aux dirigeants de ce monde pour la première fois; il est maintenant minuit moins une. Réglons rapidement ce problème et tentons de prendre de l’avance sur les nouveaux risques existentiels que nous voyons poindre à l’horizon. Assurons-nous d’avoir des institutions démocratiques solides qui prennent la question des risques existentiels au sérieux et qui nous permettent de prévenir le pire. C’est seulement par une redistribution du pouvoir dans la société que les intérêts supérieurs de l’humanité pourront supplanter ceux d’une minorité insouciante.
