A la merci des robots

Terminator: Renaissance, le quatrième volet de la saga Terminator, se déroule en 2018, quelques années après qu'un ordinateur intelligent, Skynet, conçu par l'armée américaine, se soit retourné contre ses maîtres et ait déclenché une guerre nucléaire. Cet ordinateur, capable d'éprouver des sentiments humains, contrôle désormais une armée de robots meurtriers chargés de traquer et de supprimer les derniers humains encore vivants. Voilà une belle production hollywoodienne comme on les aime... Mais celle-ci reflète d'inquiétantes tendances bien réelles: celles de la technologie militaire moderne.
A peu près au même moment où les producteurs ont commencé à réfléchir sur la possibilité de faire un Terminator sans le gouverneur de Californie, j'ai décidé d'étudier l'utilisation des machines de science fiction dans les vrais champs de bataille. A cet effet, j'ai interviewé des scientifiques, des généraux, des insurgés et des militants des droits humains pour mon livre Wired for War. J'ai alors découvert, aussi étonnant que cela puisse paraître, que la robotique était déjà largement utilisée pour faire la guerre. En 2003, l'armée américaine est partie en Irak avec seulement trois ou quatre appareils inhabités.
Aujourd'hui, l'Amérique dispose de plus de 7.000 drones, y compris le fameux Predator dont on entend de plus en plus parler en raison de ses incursions quasi quotidiennes au Pakistan. De même, la force d'invasion déployée en Irak ne s'est servie d'aucun véhicule terrestre sans conducteur. Actuellement, l'armée américaine en possède plus de 12.000.
On connaît surtout le Packbot, ce robot qui fait la taille d'une tondeuse à gazon, fabriqué par le groupe qui a mis au point le Roomba, le robot aspirateur. La seule différence est que le Packbot sert à rechercher les bombes cachées sur les routes et non pas les moutons de poussière. La prochaine génération de machines, qui sont actuellement au stade du prototype, sera équipée de toutes sortes d'armes, allant des mitrailleuses aux roquettes.
Plusieurs centaines de soldats américains, peut-être plusieurs milliers, doivent leur vie à la robotique. On a donc de multiples raisons de célébrer ce triomphe de la technologie. Parmi les personnes que j'ai interrogées, beaucoup décrivent la robotique comme étant équivalente à la montée en puissance du moteur à vapeur ou de l'ordinateur en termes d'effet. Car elle a un effet considérable sur les plans militaire, politique, social et économique. Le Predator et le Packbot d'aujourd'hui sont un peu comme le premier avion des frères Wright ou la Ford T.
Bill Gates pense que les robots actuels sont dans la même situation que les ordinateurs en 1980, précisant que nous sommes «à l'aube d'une nouvelle ère». Mais beaucoup d'autres observateurs assimilent les robots à la bombe atomique, estimant qu'il s'agit d'une invention qu'on risque de regretter un jour. Selon le pionnier du robot militaire Robert Finkelstein, cette nouvelle technologie «pourrait finir par causer la fin de l'humanité, ou [au contraire] faire cesser définitivement la guerre».
C'est une question importante qui nécessiterait un débat immédiat. Mais dans ce monde, la culture populaire a tendance à prendre le dessus sur de telles réflexions. Je suis titulaire d'un doctorat de Harvard sur les questions de sécurité et j'ai contribué à la rédaction de la politique de défense du président Obama. Slate m'a donc demandé de répondre à la question suivante: le robot de Terminator peut-il exister dans la réalité? Il se trouve que je suis aussi un passionné de science-fiction, ce qui fait que je suis plutôt bien armé pour vous dire si les créatures métalliques peuvent s'en prendre à vous.
En fait, pour qu'un système qui s'apparente à Skynet puisse prendre le contrôle de la planète, quatre conditions doivent être réunies.
Tout d'abord, ces machines doivent avoir un instinct de survie ou une soif de pouvoir. Dans les Terminator, par exemple, après que des généraux très inquiets aient décidé de déconnecter Skynet, le système décide de se défendre en perpétrant un holocauste nucléaire contre les humains. Pourtant, l'approche actuelle en matière de robotique militaire consiste essentiellement à remplacer les risques encourus par les hommes et les pertes humaines. En Irak, si on utilise le Packbot, explique un officier américain, c'est parce que «quand un robot meurt, on n'a pas besoin de prévenir sa mère». Doter les robots d'un instinct de survie reviendrait à aller vers un objectif totalement contraire.
Ensuite, il faudrait que les machines soient plus intelligentes que les hommes et qu'elles ne présentent pas de qualités humaines «positives» (l'empathie ou l'éthique par exemple). A terme, ce type de progrès intellectuels n'est pas impossible vu la vitesse exponentielle des avancées informatiques. Mais on ne peut absolument pas garantir qu'il puisse y avoir un essor de l'intelligence artificielle qui dépasse celle de l'humanité (on  appelle parfois ce phénomène la singularité).
Mon aspirateur Roomba se retrouve souvent coincé sous le canapé, et il ne sait pas se sortir de là au moyen d'un raisonnement intellectuel. (De même, il ne pourrait pas vouloir m'éliminer comme il élimine la poussière). Il existe une discipline baptisée la «robotique sociale», dont l'objet est de doter les machines pensantes de facultés humaines positives qui empêcheraient toute issue catastrophique liée aux robots. Les chercheurs de Hanson Robotics, par exemple, se donnent pour mission de mettre au point des robots qui «évolueront et deviendront des êtres socialement intelligents, capables d'éprouver de l'amour et de se faire une place au sein de la famille humaine étendue».
La troisième condition sine qua non pour qu'une machine puisse dominer le monde, c'est l'existence de robots indépendants capables de s'alimenter, de se réparer et de se reproduire de façon autonome. Or, aujourd'hui on n'en est pas du tout là. Certains robots ont beaucoup de capacités, mais ils sont tous assistés des hommes. Le drone Global Hawk, qui a remplacé l'avion espion U2 avec pilote, est capable de décoller tout seul, de voler jusqu'à une destination située à près de 5.000 km et de rester dans les airs pendant 24 heures en traquant un terroriste se trouvant au sol. Il sait même revenir à son point de départ et atterrir sans intervention humaine. Cependant, rien de tout cela ne serait possible s'il n'y avait pas du personnel au sol pour l'alimenter en kérosène, effectuer des réparations et mettre à jour ses missions.
Enfin, une invasion de robots ne pourrait réussir que si les humains n'avaient pas mis en place des dispositifs de sécurité ou de moyens de contrôle des décisions prises par les machines. Il faudrait que les hommes aient perdu toute capacité de contrôle manuel, d'intervention ou d'influence sur les actions des robots. Or on a des raisons d'espérer qu'une génération qui a été nourrie à base de Terminator comprendrait l'importance des mécanismes de sécurité. Par ailleurs, notre meilleure ligne de défense peut consister à réaliser une mauvaise programmation. Les roboticiens adorent raconter cette plaisanterie: quand les robots seront en passe de prendre le contrôle, leur logiciel Microsoft va sûrement planter.
Bien sûr, il pourrait toujours y avoir une machine superintelligente qui trouverait le moyen de franchir chacun de ces obstacles. Dans l'intrigue de Terminator, l'ordinateur Skynet réussit à manipuler les humains et à les faire chanter pour les soumettre à ses volontés. Il est également capable de réécrire son propre logiciel, un scénario qui n'est peut-être pas si invraisemblable. Aujourd'hui, on étudie de plus en plus les possibilités que l'intelligence artificielle «évolutive» ou «autodidacte» se forge sa propre identité. L'humanité s'est retrouvée avec un Gandhi, mais aussi un Hitler. Rien ne garantit que l'évolution sentimentale de nos machines se limitera à l'amour et à la compassion.
Mais il est un autre constat encore plus important. Il est rare que nous tenions compte des enseignements de la science-fiction. Pourtant, l'armée américaine mène tous les jours des recherches sur des systèmes contre lesquels les scénaristes et les réalisateurs mettent en garde depuis longtemps. De fait, les scientifiques sont souvent directement inspirés par ces histoires qui livrent un message d'avertissement. Par exemple, le fantasme noir de H.G. Wells qui envisageait déjà le concept d'une «bombe atomique» dans son roman pacifiste La Destruction libératrice paru en 1914, a effectivement orienté les cerveaux du Projet Manhattan.
Dans mon livre, je cite une société de robotique à laquelle l'armée américaine a demandé, il y a quelques années, si elle saurait concevoir un robot ressemblant au «robot meurtrier Hunter-Killer de Terminator». (Finalement, cette demande n'était pas si absurde. Un tel robot pourrait s'avérer utile dans le genre de combats que doivent actuellement mener les soldats américains en Irak et en Afghanistan.)
Néanmoins, mon jugement dernier est un peu différent. Terminator n'est peut-être pas la meilleure représentation de la manière dont une machine pourrait diriger les hommes dans la réalité. Un autre film de science-fiction, Matrix, est peut-être plus vraisemblable.
Je ne suis pas en train de dire qu'il faut s'attendre à un futur où les humains vivront dans des bulles et où l'avatar de Keanu Reeves courra dans tous les sens en pantalon en cuir. Pourtant, cette trilogie nous offre une métaphore pertinente de la matrice technologique dans laquelle nous nous enchevêtrons de plus en plus, quasi insensiblement. Il y a bien des peurs que nous aimons alimenter via notre culture populaire, entre autres celle d'un monde où des robots aux mains de fer (ou des machines numériques) règneraient en maîtres. Mais, au fond, nous vivons déjà dans un monde où la technologie a évolué de telle manière qu'elle est devenue incompréhensible pour la majorité d'entre nous. Et, en même temps, elle régit notre façon de vivre, de travailler, de communiquer et même de faire la guerre.
Alors pourquoi les machines auraient-elles besoin de conspirer pour diriger l'humanité? Nous ne savons déjà rien faire d'important sans elles...
P. W. Singer
Photo: Le robot de Terminator 3   Reuters