Un chercheur de la compagnie Anthropic démissionne et met en garde contre les dangers du développement effréné de l’intelligence artificielle, qui « pourrait tous nous tuer d’ici la fin de la décennie ».

Jacob Coxon était un chercheur en intelligence artificielle de l’entreprise californienne Anthropic, laquelle est responsable du modèle Claude AI et qui, selon toute vraisemblance, est engagée dans la course au développement de la superintelligence artificielle. Celle-ci est différente de l’AGI (intelligence artificielle générale), puisqu’elle implique des modèles autonomes et capables de s’améliorer eux-mêmes. 

Le 8 septembre dernier, Coxon a publié une enfilade sur X qui a eu l’effet d’un coup de tonnerre dans un ciel bleu, alors qu’il a claqué la porte de chez Anthropic et mis en garde le monde entier sur les risques du développement de l’IA, affirmant qu’elle pourrait provoquer la perte de l’humanité d’ici la fin de décennie. Il a qualifié cette menace de risque civilisationnel, stipulant « qu’elle pourrait tous nous tuer ». Son enfilade a obtenu 166 millions de vues. 

Un employé toujours en poste chez Anthropic, Evan Hubinger, a appuyé publiquement Coxon : il estime la probabilité à plus de 10 % dans la prochaine décennie, et reconnaît qu’Anthropic n’a pas de plan pour résoudre l’alignement de la superintelligence et n’est clairement pas en voie d’en avoir un.

Coxon affirme que les hauts responsables du développement de l’IA modèrent leur discours sur ce type de danger dans les médias, mais qu’en privé « ils expriment leur peur ».

Il qualifie l’atteinte de la superintelligence artificielle d’hubris et soutient que nous sommes dans une course entre les différentes compagnies pour y parvenir le plus rapidement possible. « S’engager dans cette course et entrer dans la phase finale est un pari d’une arrogance insensée qui ne devrait pas être lancé depuis le Slack d’une entreprise privée », a-t-il écrit sur son compte X. 

L’ex-employé d’Anthropic donne en exemple l’incident Hugging Face. Cet incident implique des tests d’évaluation de l’entreprise OpenAI avec des modèles avancés dans un environnement fermé sans accès à Internet. Or, les agents IA ont réussi à sortir de leur environnement et à avoir accès au web. Ils ont ensuite piraté le site Hugging Face de manière coordonnée entre eux avec 700 agents, à la recherche d’information pour tricher sur la notation des tests d’IA.

Cet incident démontre dans les faits que les modèles d’IA ont autrement mieux performé que tout ce à quoi on aurait pu s’attendre, mais pas pour les bonnes raisons. 

Jacob Coxon se dit confiant d’une éventuelle collaboration entre les acteurs du milieu de l’IA, mais ne croit pas que nous soyons en mesure d’éviter une course mondiale, puisque cela devrait requérir des « actions coûteuses », comme limiter le développement des capacités des modèles.

Il a terminé son enfilade en appelant à la réflexion les chercheurs qui travaillent dans un laboratoire de développement d’IA, leur faisant savoir que tout cela n’était pas une fatalité.