Quelle responsabilité peut-on laisser aux machines ?
[Baptiste Mélès]
La question de la responsabilité des machines a été posée, il y a peu, par le problème des voitures sans chauffeur. C'est les voitures qui doivent prendre des décisions, comme parfois : est-ce que je dois foncer dans le mur au risque de tuer mon passager ou bien est-ce que je dois éviter le mur et aller écraser une poussette par exemple ?
[Gérard Chazal]
La question de la responsabilité des machines, elle a deux aspects.
Est-ce que la machine est strictement programmée et donc n'a pas d'apprentissage. Elle va exécuter simplement un programme qu'on lui a donné avec évidemment des règles du type si telle chose, alors faire telle chose. Dans ce cas-là le problème de la responsabilité, c'est la responsabilité humaine qui est ... bon... Est-ce que j'ai le droit de programmer une machine qui, lorsqu'elle aura le choix par exemple une voiture, entre tuer une personne ou dix en tue une plutôt que dix ou dix plutôt qu'une ... c'est ma responsabilité. Donc ça renvoie aux vieilles problématiques morales de la philosophie qu'on connaît. Là où le problème devient plus compliqué, c'est si la machine est capable d'initiative ; soit à partir de l'expérience, par une espèce d'apprentissage comme on a dit tout à l'heure qu'elle a pu faire ; soit parce qu'on peut lui donner complètement effectivement une certaine autonomie. Je crois que l'exemple le plus caractéristique, c'est ce qui se passe aujourd'hui avec les drones militaires. C'est-à-dire qu'en principe - en principe parce que je ne sais pas bien comment cela se passe en pratique ; enfin bon, il y a eu une lettre ouverte signée par un certain nombre de scientifiques il y a peu de temps et en particulier d'informaticiens - jusqu'à maintenant, un drone est piloté par un être humain. Il renvoie une image à celui qui pilote qui est très loin du terrain mais qui voit ce qui se passe et c'est l'être humain, le soldat qui pilote, qui décide de tirer ou de ne pas tirer sur ce qui apparaît comme une cible. Donc c'est l'homme qui est responsable. Ce qu'il était question de faire, c'était de faire des drones qui décideraient eux-mêmes de tirer ou de ne pas tirer sur une cible, en fonction d'une reconnaissance, non plus de logiciel d'apprentissage qui leur aurait appris à reconnaître un comportement ou à reconnaître un type d'armes, et cetera, un type d'uniformes, et cetera. Et là, c'est là que ça pose un vrai problème parce que vous allez avoir des décisions qui seront prises par la machine sans qu'aucun être humain n'intervienne ; et là effectivement, il y a un véritable transfert de responsabilité à la machine. Donc c'est effectivement problématique. Cela veut donc dire, si on se place d'un point de vue philosophique, c'est que si on accepte ce type de machine, on accepte aussi en tant qu'être humain d'être dépouillé d'un certain nombre de choses au profit de la machine.
[Baptiste Mélès]
D'être dépouillé ou bien de télescoper, de déplacer la responsabilité puisque cela fait coller d'avoir une responsabilité continue, à chaque action que fait le drone, on a une responsabilité qui est télescopée au début ; c'est la responsabilité initiale du programmeur ; le programmeur qui a écrit soit le programme, enfin soit le programme déterministe comme vous décriviez au début, soit le programme conçu pour après évoluer et apprendre ...
[Gérard Chazal]
...mais pour évoluer de manière aussi autonome et indépendante...
On peut prendre un exemple tout simple, c'est en train de se faire... on fait des caméras de surveillance qui non seulement filment - comme on est filmé ici aujourd'hui - mais qui en même temps ont des logiciels de reconnaissance de visages et surtout des logiciels de reconnaissance de comportements...
[Baptiste Mélès]
Oui, les comportements suspects comme un groupe qui se sépare ...
[Gérard Chazal]
... voilà ou ... vous avancez puis subitement vous repartez en arrière, et cetera, c'est suspect. Alors vous dotez maintenant la caméra par exemple d'un système de tir et si un comportement est suspect, elle tire. Cela devient effectivement problématique, si vous voulez.
[Baptiste Mélès]
Ce qui rend la question encore plus gênante, c'est quand on nous met en face du pourcentage d'erreur parce que, quand on nous dit un être humain se trompe... je ne sais pas, une fois sur cent, la machine se trompe une fois sur mille. C'est encore plus gênant parce que pour des raisons d'efficacité, il faudrait justement déléguer cette responsabilité.
[Gérard Chazal]
Oui. Il n'y a pas que cet aspect des choses, si vous voulez. Je pense à un livre de Sherry Turkle sur les robots qui s'appelle Seuls ensemble qui est traduit en français. C'est un de ses rares livres traduits en français mais qui est fort intéressant sur ces questions-là ; Elle montre très bien que ces phénomènes de transfert de responsabilité sur les machines, en mettant en avant ce que vous disiez c'est-à-dire l'avantage, la machine se trompera moins que l'homme, ce qui est fort possible, petit-à-petit ça a pour effet de réduire de manière extrêmement drastique les chaînes de commandement ; et donc ça concentre les pouvoirs dans quelques mains. Dans le cas des armes par exemple, le général prenait une décision, ça passait par le colonel, par le capitaine, par le sergent, par le caporal ; c'est-à-dire que finalement à un moment ou à un autre de cette chaîne, il y a quelqu'un qui pouvait rectifier parce que... voilà ! La responsabilité s'étalait sur cinq, six, sept, huit, dix personnes. Ici, c'est fini, c'est-à-dire la concentration se fait, le pouvoir se concentre de plus en plus.
Et c'est ce qu'elle appelle, elle dit si on laisse partir comme ça, il y a un phénomène antidémocratique très fort qui va être rattaché à ça. C'est à dire que ces machines, ces transferts de responsabilités, petit à petit vont concentrer le pouvoir dans quelques mains. On parle du militaire, parce que c'est l'aspect le plus visible si vous voulez, mais cela peut être vrai dans l'industrie ; cela peut être vrai dans l'administration ; cela peut être vrai un peu partout...
[Baptiste Mélès]
Oui et puis vous parliez de la responsabilité, enfin des choix que l'on pouvait donner à la machine. Parfois on s'aperçoit que la machine pense en dehors du cadre et ne fait pas du tout ce qu'on attendait d'elle comme ce programme qu'on avait conçu pour jouer à Tétris. C'est un jeu dans lequel on doit empiler des formes diverses, le but étant de faire des lignes à la fin et en fait le but du jeu, c'est de rester le plus longtemps possible. Et le programme - à qui on n'avait pas enseigné les règles, donc simplement ce qu'il savait, c'est qu'il ne fallait pas aller au game over, mais il savait qu'il devait éviter cet écran-là - le programme avait fini par trouver une stratégie gagnante à tous les coups, c'est de mettre le jeu sur pause et de s'arrêter là ;
rires
et en fait, c'est pas du tout ce qu'on attendait de lui initialement. C'est après coup qu'on s'est dit on aurait dû lui dire de ne pas faire ça ; et donc un programme qui apprend, peut comme ça faire des choses qui sont complètement en dehors de ce qu'on pensait
[Gérard Chazal]
qui sont imprévisibles...
[Baptiste Mélès]
Puisque le drone pourrait se dire finalement si je tue toute la population humaine, je suis sûr d'éliminer tous les terroristes, par exemple ; et dans ces cas-là, alors quelle solution on pourrait trouver ? J'en vois au moins deux, une qui est a priori et l'autre qui est a posteriori. La solution a priori, qui est horriblement coûteuse, qui est idéale mais horriblement coûteuse et en pratique sûrement infaisable, c'est les programmes certifiés comme on fait par exemple avec Coq, avec des logiciels comme cela...
[Gérard Chazal]
Ça pourrait être effectivement une solution ...
[Baptiste Mélès]
...et donc ça veut dire que, en même temps qu'on écrit le programme, on écrit la démonstration que le programme fait exactement ce qu'il doit faire et la démonstration est vérifiée par ordinateur elle-même. Donc ça, c'est une solution mais pour des projets extrêmement ambitieux et surtout dans lesquels il y a tellement d'empirique et de contingent comme la défense, la sécurité, et cetera, en pratique ce sera infaisable ; d'autant plus de cela, le coût de la ligne de code est vraiment extravagant.
L'autre solution, c'est un contrôle a posteriori, c'est-à-dire, le fait que les codes sources soient publics mais on imagine bien que dans les cas de sécurité nationale, publier les codes sources ...
[Gérard Chazal]
... et allez proposer cela aux ministères des armées...
[Baptiste Mélès]
Déjà le ministère de l'Education nationale accepte péniblement mais finit par accepter de publier les codes sources de l'orientation à l'université et dans les lycées, on imagine que pour la sécurité, cela n'est pas d'actualité.
[Gérard Chazal]
Oui. Alors il y a une autre solution encore, c'est d'interdire du transfert de responsabilité à des machines dans un certain nombre de secteurs qu'on peut quand même assez facilement repérer, avec des risques effectivement de concentration de pouvoir et de dérapage. C'est ce qu'ont demandé les deux mille signataires de la lettre ouverte qui a été envoyée à l'ONU et à différents chefs d'Etat de ne pas faire par exemple de drones miliaires qui soient complètement autonomes. C'est un souhait, mais c'est vrai qu'aujourd'hui on a ce risque-là.
