A medida que los automóviles y aeronaves pilotados por ordenador se vuelven más comunes, la clave para prevenir accidentes, según muestran los investigadores, es saber lo que no se sabe.
Un artículo de Steve Nadis. Historia original reimpresa con permiso de Quanta Magazine, una publicación editorialmente independiente respaldada por la Fundación Simons.
Los automóviles y aeronaves sin piloto ya no son cosa del futuro. Solo en la ciudad de San Francisco, dos compañías de taxis han registrado colectivamente 12,9 millones de kilómetros de conducción autónoma hasta agosto de 2023. Y más de 850.000 vehículos aéreos autónomos, o drones, están registrados en los Estados Unidos, sin contar los militares.
Pero existen preocupaciones justificadas sobre la seguridad. Por ejemplo, en un período de 10 meses que finalizó en mayo de 2022, la Administración Nacional de Seguridad del Tráfico en Carreteras de los Estados Unidos informó de casi 400 accidentes que involucraron automóviles que utilizaban alguna forma de control autónomo. Seis personas murieron como consecuencia de estos accidentes y cinco resultaron gravemente heridas.
La forma habitual de abordar este problema, a veces denominada “prueba por agotamiento”, implica probar estos sistemas hasta que estés convencido de que son seguros. Pero nunca se puede estar seguro de que este proceso descubrirá todos los defectos potenciales. «La gente realiza pruebas hasta que agotan sus recursos y su paciencia», explica Sayan Mitra, científico informático de la Universidad de Illinois en Urbana-Champaign. Sin embargo, las pruebas por sí solas no pueden ofrecer garantías.
Mitra y sus colegas sí pueden. Su equipo ha logrado demostrar la seguridad de las capacidades de seguimiento de carriles para automóviles y de los sistemas de aterrizaje para aeronaves autónomas. Su estrategia se está utilizando ahora para ayudar a aterrizar drones en portaaviones, y Boeing planea probarla en un avión experimental este año. «Su método para proporcionar garantías de seguridad de extremo a extremo es muy importante», afirna Corina Pasareanu, científica investigadora de la Universidad Carnegie Mellon y del Centro de Investigación Ames de la NASA.
Su trabajo consiste en garantizar los resultados de los algoritmos de aprendizaje automático que se utilizan para informar a los vehículos autónomos. A alto nivel, muchos vehículos autónomos tienen dos componentes: un sistema de percepción y un sistema de control. El sistema de percepción te dice, por ejemplo, a qué distancia está tu coche del centro del carril, o en qué dirección va un avión y cuál es su ángulo con respecto al horizonte. El sistema funciona alimentando datos sin procesar de cámaras y otras herramientas sensoriales a algoritmos de aprendizaje automático basados en redes neuronales que recrean el entorno fuera del vehículo.
Luego, estas evaluaciones se envían a un sistema independiente, el módulo de control, que decide qué hacer. Si se avecina un obstáculo, por ejemplo, decide si aplica los frenos o gira para evitarlo. Según Luca Carlone, profesor asociado del Instituto de Tecnología de Massachusetts, si bien el módulo de control se basa en tecnología bien establecida, «toma decisiones basadas en los resultados de la percepción y no hay garantía de que esos resultados sean correctos».
Para brindar una garantía de seguridad, el equipo de Mitra trabajó en asegurar la confiabilidad del sistema de percepción del vehículo. Al principio supusieron que es posible garantizar la seguridad cuando se dispone de una representación perfecta del mundo exterior. Luego determinaron cuánto error introduce el sistema de percepción en su recreación del entorno del vehículo.
La clave de esta estrategia es cuantificar las incertidumbres involucradas, conocidas como banda de error, o las “incógnitas conocidas”, como lo expresa Mitra. Este cálculo proviene de lo que él y su equipo llaman contrato de percepción. En ingeniería de software, un contrato es un compromiso de que, para una determinada entrada a un programa de ordenador, la salida estará dentro de un rango especificado. Calcular este rango no es fácil. ¿Qué precisión tienen los sensores del coche? ¿Cuánta niebla, lluvia o resplandor solar puede tolerar un dron? Pero si puedes mantener el vehículo dentro de un rango específico de incertidumbre y si la determinación de ese rango es lo suficientemente precisa, el equipo de Mitra demostró que puedes garantizar su seguridad.
Es una situación familiar para cualquiera que tenga un velocímetro impreciso. Si sabes que el dispositivo nunca se desvía más de 5 kilómetros por hora, puedes evitar la multa por exceso de velocidad manteniéndote siempre 5 km/h por debajo del límite de velocidad (tal y como lo indica tu velocímetro no confiable). Un contrato de percepción ofrece una garantía similar de seguridad de un sistema imperfecto que depende del aprendizaje automático.
«No se necesita una percepción perfecta», explica Carlone. «Lo único que quieres es que sea lo suficientemente buena como para no poner en riesgo la seguridad». Las mayores contribuciones del equipo, afirma, son «introducir la idea completa de los contratos de percepción» y proporcionar los métodos para construirlos. Lo han hecho recurriendo a técnicas de la rama de la informática llamada verificación formal, que proporciona una forma matemática de confirmar que el comportamiento de un sistema satisface un conjunto de requisitos.
«Aunque no sabemos exactamente cómo la red neuronal hace lo que hace», como afirma Mitra, han demostrado que todavía es posible probar numéricamente que la incertidumbre de la salida de una red neuronal se encuentra dentro de ciertos límites. Y, si ese es el caso, entonces el sistema será seguro. «Podemos entonces proporcionar una garantía estadística sobre si (y en qué medida) una red neuronal determinada realmente cumplirá esos límites».
La empresa aeroespacial Sierra Nevada está probando actualmente estas garantías de seguridad al aterrizar un dron en un portaaviones. Este problema es, en cierto modo, más complicado que conducir automóviles debido a la dimensión adicional que implica volar. “Al aterrizar, hay dos tareas principales”, explica Dragos Margineantu, tecnólogo jefe de IA en Boeing, “alinear el avión con la pista y asegurarse de que la pista esté libre de obstáculos. Nuestro trabajo con Sayan implica obtener garantías para estas dos funciones”.
«Las simulaciones que utilizan el algoritmo de Sayan muestran que la alineación [de un avión antes del aterrizaje] mejora», afirma. El siguiente paso, previsto para finales de este año, es emplear estos sistemas mientras aterriza de hecho un avión experimental de Boeing. Uno de los mayores desafíos, señala Margineantu, será descubrir lo que no sabemos – “determinar la incertidumbre en nuestras estimaciones” – y ver cómo eso afecta a la seguridad. «La mayoría de los errores ocurren cuando hacemos cosas que creemos saber, y resulta que no es así».
El artículo original, How to Guarantee the Safety of Autonomous Vehicles, se publicó el 16 de enero de 2024 en Quanta Magazine.
Traducido por César Tomé López
