Une religion laïque propulse-t-elle la course à l’IA ?

(RNS) — Le mois dernier, un homme s'est précipité dans l'allée du complexe de San Francisco du PDG d'OpenAI, Sam Altman, quelques heures avant le lever du soleil et a lancé un cocktail Molotov enflammé à la porte.

Personne n'a été blessé et peu de temps après, un suspect a été arrêté devant les bureaux d'OpenAI, la société qui fabrique ChatGPT, menaçant de « tuer tout le monde à l'intérieur ». Daniel Moreno-Gama, 20 ans, sans casier judiciaire, a été inculpé de 13 crimes, dont tentative de meurtre.

Les parents et l'avocat de Moreno-Gama ont déclaré qu'il avait des antécédents de maladie mentale, mais son empreinte numérique montre également qu'il était profondément préoccupé par le fait que l'intelligence artificielle conduise à l'extinction de l'humanité. Il fréquentait un serveur Discord anti-IA, où il réfléchissait lors d'une conversation à des actes violents contre des leaders technologiques comme Altman. Et dans une interview en podcast enregistrée en janvier, il s’est décrit comme un « spécialiste de la sécurité de l’IA » et a cité l’influence d’Eliezer Yudkowsky, un éminent théoricien de l’IA qui soutient que si quelqu’un construit une IA superintelligente, tout le monde mourra.

L’attaque contre Altman a exacerbé les tensions existantes dans la Silicon Valley. Les partisans de la sécurité de l’IA ont massivement dénoncé les actions présumées de Moreno-Gama, y ​​compris Yudkowsky, qui a insisté sur le fait que « seule la loi peut empêcher l’extinction ». Yudkowsky a également imputé la faute à un autre camp : celui des accélérationnistes, qui croient en grande partie que le risque existentiel de l’IA est faible et que le développement non réglementé de l’IA est nécessaire pour réaliser une glorieuse utopie.

À leur tour, les accélérationnistes ont accusé ceux que l’on appelle les pessimistes, comme Yudkowsky, de radicaliser les jeunes. « Les prosélytes d’une secte apocalypse portent la responsabilité morale et juridique des violences commises par leurs adeptes », a écrit le capital-risqueur et techno-optimiste Marc Andreessen sur X le même jour de l’attaque, accompagnant le tweet d’une photo de Charles Manson.

Pour les pessimistes et les accélérationnistes, les divergences idéologiques sur l’IA peuvent ressembler à un paradis ou à une apocalypse. Mais selon le philosophe Émile P. Torres, historien intellectuel et chercheur affilié à Data & Society, une organisation axée sur les implications sociales des technologies émergentes, ces divisions sont en fin de compte familiales.

« Les conflits familiaux peuvent être violents, mais ils surviennent entre les membres de la famille qui partagent presque tout le reste », a déclaré Torres, qui étudie ces communautés depuis des années, à RNS.

En 2023, Torres et l’informaticien Timnit Gebru ont introduit l’acronyme TESCREAL, affirmant qu’un ensemble de croyances futuristes – transhumanisme, extropianisme, singularitarisme, cosmisme, rationalisme, altruisme efficace et longtermisme – propulse la course à l’intelligence artificielle générale. Et tandis que les critiques, en particulier ceux du groupe, considèrent leur cadre comme trop large ou trop biaisé pour être utile, Torres affirme que TESCREAL est en fait une « religion laïque », suffisamment grande pour englober un « choc d’eschatologies » et qui a façonné toutes les grandes sociétés d’IA d’aujourd’hui.

« Un trou en forme de religion »

Pour Torres, qui a récemment terminé une bourse postdoctorale à la Case Western Reserve University de Cleveland, cette recherche est personnelle. Après s'être éloignés de la foi évangélique dans laquelle ils ont grandi, ils ont embrassé le transhumanisme, un mouvement axé sur le dépassement des limites du corps, de l'esprit et de la durée de vie grâce à la technologie. Cela a comblé « un trou en forme de religion », a reconnu Torres.

Au début des années 2010, ils ont écrit sur l’IA et l’avenir de la civilisation aux côtés de certains des plus grands noms du transhumanisme. Aujourd’hui, ils se considèrent comme un « ardent apostat » du mouvement TESCREAL.

Ce qui unit les membres de TESCREAL est une foi fervente dans le potentiel salvifique de l’IA, aidant l’humanité à se réorganiser et à coloniser l’univers – malgré les désaccords sur la manière de s’y prendre – a expliqué Torres. Ils voient également de nombreuses similitudes avec la théologie chrétienne.

« Le TESCRÉALisme promet que vous pouvez obtenir l'immortalité, que vous vivrez éventuellement dans un paradis où la souffrance a été abolie et que vous pourrez créer un paradis dans les cieux littéraux », ont-ils déclaré.

Torres voit également des réverbérations de l’Enlèvement dans la singularité – le moment théorisé où l’IA dépasse l’intelligence humaine – et des échos du jugement final dans les visions de l’apocalypse de l’IA. « Il existe même une possibilité de résurrection : si vous ne vivez pas assez longtemps pour vivre éternellement, votre corps peut être cryogénisé », ont-ils déclaré.

Greg Epstein, aumônier humaniste et affilié au Berkman Klein Center for Internet & Society de l'Université Harvard, a couvert les idéologies TESCREAL dans son récent livre, « Tech Agnostic », et a également trouvé des parallèles religieux.

« Ce n'est pas seulement incroyablement religieux, c'est une religion bien plus influente que la plupart des religions du monde aujourd'hui », a-t-il déclaré.

Déballage

Le bundle TESCREAL est à peu près chronologique, en commençant par le transhumanisme. Le terme a été popularisé pour la première fois en 1957 par Julian Huxley, un biologiste évolutionniste qui était également un eugéniste déclaré.

Les « attitudes racistes, xénophobes, capacitaires, classistes et sexistes » sous-jacentes à l’eugénisme sont transposées à travers TESCREAL, ont soutenu Torres et Gebru dans leur article de 2023.

Selon Torres, le transhumanisme est au cœur de TESCREAL. Il est présent dans l’idéologie suivante, l’extropianisme – une communauté des années 1990 qui discutait sérieusement d’idées alors radicales comme l’IA, le téléchargement de l’esprit et la civilisation multiplanétaire. Il sous-tend le singularitarisme, la conviction que « la singularité est une bonne chose et que nous devrions contribuer à sa réalisation », comme l’écrivait Yudkowsky en 2000. Et cela est évident dans le cosmisme, qui présente un avenir dans lequel les humains « fusionnent avec la technologie », accomplissant « la plupart des promesses des religions » et au-delà, comme l’envisageait l’informaticien Ben Goertzel.

Le rationalisme, la prochaine idéologie, s'est regroupé autour de LessWrong, un forum Web fondé par Yudkowsky en 2009, axé sur le perfectionnement des capacités de raisonnement pour confronter les grandes idées. L’altruisme efficace, ou EA, est né en tandem, appliquant une approche tout aussi rationnelle à l’éthique et à la charité.

Certains de ces objectifs peuvent sembler déconnectés, disons, des échelles de temps de plusieurs milliards d’années ou des divinités numériques, mais Torres et d’autres chercheurs affirment que ce n’est pas le cas. Bien avant que l’IA ne devienne un sujet dominant, de nombreux rationalistes et EA débattaient de ses risques et embrassaient ses possibilités à consonance surnaturelle.

De EA est né le longtermisme : une vision éthique qui considère « l’influence positive sur l’avenir à long terme comme une priorité morale clé de notre époque », comme le définit le philosophe et co-fondateur d’EA William MacAskill. Le concept a reçu beaucoup d’attention et d’éloges, notamment de la part d’Elon Musk. Mais les détracteurs affirment qu’un long terme extrême peut considérer les futurs humains – même les « êtres numériques » post-humains – comme ayant plus de valeur que ceux qui vivent aujourd’hui.

Dans un article à paraître dans l'Oxford Research Encyclopedia sur TESCREAL, Torres établit des liens entre le bundle et toutes les sociétés pionnières de l'IA.

Altman, par exemple, a crédité Yudkowsky comme la personne qui « a suscité l'intérêt de beaucoup d'entre nous pour l'AGI » et qui a été « critique dans la décision » de lancer OpenAI. Le PDG a également investi des dizaines de millions dans la recherche sur la longévité et a exprimé sa croyance en une « fusion » de type cosmiste, suggérant que « nous serons la première espèce à concevoir nos propres descendants ».

Quant à Anthropic, le rival d'OpenAI, qui fabrique le chatbot Claude, « il s'agit essentiellement d'une société d'EA », a déclaré Torres.

Anthropic a été fondée par d'anciens chercheurs d'OpenAI, dont beaucoup avaient des liens avec EA, qui ont quitté l'entreprise craignant que l'entreprise d'Altman n'était pas suffisamment axée sur la sécurité. Ils ont lancé Anthropic grâce au financement de bailleurs de fonds associés à EA, dont Holden Karnofsky, co-fondateur de l'Open Philanthropy à but non lucratif d'EA et marié à Daniela Amodei, présidente d'Anthropic. Karnofsky a également rejoint Anthropic l'année dernière.

Au cours des trois dernières années, TESCREAL a été largement couvert et cité, notamment dans un nouveau documentaire, « Ghost in the Machine ».

Cependant, tous les chercheurs n’y sont pas convaincus.

Seth Lazar, philosophe de l'intelligence artificielle à l'Université nationale australienne, a écrit dans un e-mail que TESCREAL « est très polémique et ignore de nombreux autres volets de l'histoire de l'IA qui ne correspondent pas à ce récit ». S'il y a eu peu d'« engagement intellectuel sérieux », c'est parce que Gebru et Torres utilisent systématiquement « les médias sociaux pour attaquer quiconque n'est pas d'accord avec eux », a déclaré Lazar.

Torres a répliqué, notant que TESCREAL est « relativement nouveau » et est utilisé avec « une fréquence croissante ».

« Quant à Timnit et à mon approche polémique, je pense que c'est dans l'œil du spectateur », a déclaré Torres. Étant donné à quel point le mouvement TESCREAL est « scandaleux, dangereux, souvent raciste, mais puissant… je dirais qu’il y a de bonnes raisons d’être un peu contrarié à ce sujet ».

« Arrêtez-le » contre « Laissez-le se déchirer »

Lorsque Torres et Gebru ont introduit pour la première fois l’acronyme TESCREAL en 2023, une philosophie appelée accélérationnisme efficace gagnait du terrain. E/acc, comme on l'appelle, défend le développement rapide et non réglementé de l'IA. Il visait à contrer – et même à se moquer – de la philosophie d'EA axée sur la sécurité.

Alors que des personnalités comme Yudkowsky implorent de plus en plus la Silicon Valley de « la fermer » à mesure que l’IA progresse rapidement, le cri de ralliement d’e/acc est devenu « laissez-le se déchirer ».

« Nous n’avons aucune affinité avec les humains biologiques ni même avec la structure de l’esprit humain », déclarait un des premiers sites Internet e/acc, s’engageant à accélérer le développement de l’IA « pour préserver la lumière du technocapital ». Ne pas accélérer, disent les partisans de l’e/acc comme Guillaume Verdon, est la véritable menace existentielle.

E/acc n'a pas officiellement créé l'acronyme TESCREAL, mais Torres le considère de toute façon comme faisant partie du lot. Les EA et les e/accs diffèrent quant au timing, ont-ils expliqué : de nombreux EA ne pensent pas que la société soit prête pour la superintelligence dans un avenir proche, alors que les e/accs pensent que nous le sommes. Sinon, leur objectif ultime est identique, affirme Torres : « sortir, coloniser l’espace et construire une civilisation tentaculaire et multigalactique ».

Epstein compare ces différences idéologiques à des « escarmouches intestines » entre « sectes ou confessions », où chaque camp est si « profondément convaincu que sa vision de l’IA justifie presque tout », a-t-il déclaré. « Ils veulent vraiment tous nous convertir. »

De son côté, Torres estime que toute tentative de réaliser le « mirage » techno-utopique de TESCREAL entraînera l'extinction de l'humanité. « Même dans le meilleur des cas, la course à l’AGI aboutit à ce que notre espèce soit mise à l’écart, marginalisée, impuissante et éliminée », ont-ils déclaré.

Les divisions au sein des cercles de la Silicon Valley sont également marquées. C'est l'une des raisons pour lesquelles Ozy Brennan, écrivain et activiste rationaliste, a critiqué le « gâchis de TESCREAL », comme ils le disent. Pour eux, il semble malhonnête de mettre le techno-optimiste Andreessen dans le même panier que leur propre communauté.

Andreessen s’attend à ce que l’IA « soit transformatrice de la même manière qu’Internet l’a été », a soutenu Brennan. À l’inverse, de nombreux défenseurs de la sécurité de l’IA pensent que l’IA « sera capable de tuer tout le monde ou de construire une sphère de Dyson à partir de la ceinture d’astéroïdes dans laquelle nous vivons tous comme des êtres immortels sans pénurie matérielle ».

« Cela me semble être un désaccord important », a déclaré Brennan.

Brennan conteste également l'insistance de Torres selon laquelle les transhumanistes comme Yudkowsky sont pro-extinction. « Eliezer Yudkowsky est l’une des personnes les plus profondément anti-mort que j’ai jamais rencontrées », ont-ils déclaré. « Torres est autorisé à croire qu'un transhumain ou un téléchargement avec mes souvenirs, ma personnalité et mes préférences n'est 'pas Ozy'. Mais je trouve leur niveau de vitriol et de condescendance vraiment peu éclairant. »

Brennan reconnaît néanmoins un certain chevauchement entre les « systèmes de croyance » sur le spectre entre l’e/accs et les EA. « Ce que les luthériens détestent le plus, c’est un autre type de luthérien », ont-ils déclaré. « Beaucoup de rationalistes et d'altruistes efficaces finissent par ne pas aimer Marc Andreessen (parce que) nous avons des points de vue très similaires à bien des égards. »

En tant que personne profondément impliquée dans la scène rationaliste et EA de la Bay Area, Brennan s'est habituée à ce que ses amis parlent et pensent de manière apocalyptique. Ils ont par exemple des amis qui travaillent chez Anthropic, « qui se soucient profondément du bien du monde ». Ils connaissent également des gens qui voient Anthropic comme une partie du problème.

« Je me suis régulièrement rendu à des soirées où la moitié des partisans pense que l'autre moitié est à l'origine de l'extinction de l'humanité », ont-ils déclaré. « Cela crée un environnement social très, très étrange. »

Cet article a été réalisé dans le cadre du Bourse de recherche en journalisme religieux RNS/Interfaith America.