Dans la programmation traditionnelle, un humain calcule les étapes possibles impliquées dans un processus donné, y compris les scénarios alternatifs délicats «si-alors-autre» qui pourraient survenir. Ensuite, un programme est écrit pour traiter rapidement ces étapes. En cas de succès, le programme est déployé et tous les problèmes imprévus identifiés par la suite sont corrigés avec des mises à jour et des correctifs.
Dans de telles circonstances, le programme d’origine est remplacé ou écrasé. Cependant, il peut être identifié que des scénarios existent dans lesquels le programme doit être annulé. Mais que faire si cela ne fonctionne pas? Vers qui un humain se tourne-t-il si l’ordinateur ne laisse pas cela se produire? Qui plus est, à qui l’ordinateur communique-t-il s’il est sûr que l’humain, lui disant qu’il a tort, fonctionne également mal?
C’est ce genre de scénario qui a été au cœur de nombreux récits de science-fiction au fil des ans, des seigneurs robotiques de la trilogie Matrix à l’ordinateur silencieux, calme et psychotique à bord de Spacecraft Discovery One dans 2001: Une odyssée de l’espace. Mais le fait est que cette vision autrefois dystopique inquiétante est en train de devenir réalité, car une véritable IA commence à se glisser dans la vie quotidienne.
Déjà, des problèmes de Boeing au crash mortel d’Uber autonome en Arizona l’année dernière, nous constatons des défauts dans ces systèmes qui coûtent des vies. De plus, alors que la programmation traditionnelle cède la place à l’IA, l’apport humain impliqué commence à diminuer.
L’IA poursuit efficacement son apprentissage, appliquant la même logique de programmation à des scénarios qu’elle n’était pas tenue de prendre en compte lors de la programmation. Mais est-ce que même cela aurait sauvé les vols de Boeing? L’IA reconnaîtrait-elle le potentiel que ses propres systèmes pourraient être en faute, cédant ainsi le contrôle à un humain qui, selon elle, ne contrôle pas un aéronef?
ACCROÎTRE LA COMPLEXITÉ À UN COÛT
Au fur et à mesure que la technologie progressera, cette question continuera de se poser dans différents secteurs, scénarios et environnements. Déjà, des comparaisons ont été faites entre les similitudes existant dans le crash d’Uber et Les catastrophes de Boeing et celles en panne qui ont conduit à la marée noire de Deepwater Horizon en 2010. Essentiellement, dans chaque cas, quelque chose d’inattendu s’est produit dans un système de contrôle, et ni l’homme ni la machine ne savaient comment réagir.
L’IA pourra-t-elle éventuellement combler ce fossé? Et comment saurons-nous qu’il le peut, et si et quand il décide de le faire? Fera-t-on confiance aux futurs avions pour se piloter eux-mêmes à tout moment, ou pas du tout? Compte tenu de leur incroyable bilan de sécurité déjà bien supérieur à tous les autres modes de transport réguliers, les compagnies aériennes doivent-elles même prendre le contrôle de leurs pilotes?
