MUNICIPIO
DESCRIPCIÓN DEL CASO
Desafío:
La ciudad de Barcelona tiene como objetivo utilizar de manera proporcionada, supervisada y fundamentada, de acuerdo con estándares legales, éticos y técnicos los sistemas algorítmicos de sus servicios municipales. Para esto, crearon un protocolo que tiene como finalidad guiar el proceso interno para la implementación de sistemas algorítmicos en el ámbito municipal.
Solución:
El documento se denomina: “Definición de metodologías de trabajo y protocolos para la implementación de sistemas algorítmicos”. Es un documento pionero con respecto a la regulación y la gobernanza de los sistemas algorítmicos en el ámbito local. Es aplicable a cualquier sistema algorítmico impulsado por el Ayuntamiento de Barcelona.
Este documento define los mecanismos de salvaguardia de derechos que tiene que haber en cada etapa de la licitación e implementación de un sistema algorítmico por parte del Ayuntamiento, y establece los órganos de gobernanza y supervisión que velarán para que el impacto de la IA se alinee con los principios éticos.
Más concretamente, este protocolo se basa en la clasificación de riesgos realizada por la Comisión Europea en el marco de la The Artificial Intelligence Act, y establece varios tipos de mecanismos de garantía en función del nivel de riesgo del sistema que se licita. Los sistemas algorítmicos de riesgo inaceptable (los que suponen una clara amenaza para la seguridad y los derechos de las personas) se rechazarán automáticamente, mientras que para el resto de sistemas se establecerán mecanismos en función del nivel de riesgo.