Sin embargo, el uso indiscriminado de estos algoritmos de AI plantea problemas de seguridad potenciales que la mayoría de las empresas que los utilizan no se han planteado en profundidad.
¿Son seguros y confiables tus algoritmos? ¿Qué información pueden estar exponiendo públicamente sin saberlo?
Ataque por adversarios
El primer tipo de vulnerabilidad al que son susceptibles las redes neuronales es al denominado Ataque por Adversarios, en el que una red neuronal aprende a generar ejemplos que son capaces de confundir a la red neuronal objetivo, haciéndola fallar.
Como ejemplo de este tipo de ataques, se ha comprobado que, añadiendo un simple post-it (con un patrón determinado) en una señal de tráfico, puede hacer que el sistema de conducción autónoma mal interprete la señal, produciendo un accidente de tráfico grave.
Datos de entrenamiento y modelos pre-entrenados (Troyanos AI)
El segundo tipo de vulnerabilidad está relacionado con el uso de datos de entrenamiento y modelos pre-entrenados existentes en internet y que son accesibles públicamente.
Estos datos y/o modelos públicos pueden contener en su interior determinadas pautas (conocidas como troyanos) que hacen que la red neuronal dispare un comportamiento oculto no deseado ante la entrada de determinados datos (“triggering mechanism”) con consecuencias indeterminadas para la empresa que está utilizando el algoritmo.
Vulnerabilidad de la configuración interna
La tercera vulnerabilidad a tener en cuenta es la posibilidad de averiguar, a partir de la “configuración interna” de la red neuronal, qué datos han sido utilizados para entrenar la red neuronal: como una foto de una persona o los datos sanitarios de un paciente, por ejemplo.
En el peor de los casos, si el entrenamiento de la red neuronal no se ha hecho adecuadamente, se podría reconstruir el conjunto de datos empleados para el entrenamiento, dejando expuesta información sensible en el caso de sistemas inteligentes entrenados con datos clasificados o protegidos por la Ley de Protección de Datos.
Las vulnerabilidades descritas pueden ser mitigadas utilizando las técnicas adecuadas de análisis y entrenamiento, pero… ¿seguro que tus redes neuronales las cumplen?
Manuel Gallardo, director de Ingeniería en Grupo Oesía
