Reglamento de IA: prácticas prohibidas y riesgos asociados

1. Prácticas de IA prohibidas

El Reglamento de Inteligencia Artificial de 2024 (RIA) representa un gran avance en la regulación de la inteligencia artificial, anticipándose a posibles riesgos y equilibrando la protección de los derechos fundamentales con la defensa y promoción de la innovación. 

Hasta ahora, este Reglamento de IA ha servido como una advertencia de lo que estaba por venir, pero el 2 de febrero marcará la primera fecha de aplicación de sus disposiciones, más concretamente de los capítulos I y II, iniciando un proceso de aplicación progresiva. De hecho, la siguiente fase de la aplicación del Reglamento no llegará hasta el 2 de agosto de este año.

Pero ¿qué regulan los capítulos I y II? Estos regulan las disposiciones generales del reglamento, como el objeto, ámbito de aplicación, etc. Mientras que el capítulo II habla de las prácticas IAs prohibidas.

Tiene sentido que lo primero que deba aplicarse sea la prohibición de aquellos aspectos que entrañan más riesgos. No obstante, para poder identificar esos riesgos y conocer nuestros derechos y obligaciones, tanto como usuarios de los sistemas como desde la perspectiva de potenciales compradores de sistemas para incorporarlos en nuestras empresas, debemos conocer cuáles son las practicas prohibidas para el uso de la IAs y que tipos hay.

El Artículo 5 del Reglamento de IA (RIA) no ofrece una definición explícita de lo que se considera una IA prohibida, pero sí identifica aquellas que lo son en función de sus finalidades. En base a ello, podemos definir las IA prohibidas como aquellos sistemas que, por su diseño, uso o propósito, representan un riesgo tan alto para los derechos fundamentales de las personas que no pueden ser simplemente regulados o sujetos a medidas de mitigación, sino que deben ser completamente excluidos del mercado y del uso en la Unión Europea.

No cabe duda de que, al margen de los múltiples usos beneficiosos de la IA, esta también puede utilizarse indebidamente y proporcionar herramientas para llevar a cabo manipulación, explotación y control social. Estas prácticas deben estar prohibidas, pues van en contra de los valores de la Unión de respeto de la dignidad humana, la libertad, la igualdad, la democracia, el Estado de Derecho y de los derechos fundamentales consagrados en la Carta, como el derecho a la no discriminación, a la protección de datos y a la intimidad y los derechos del niño.

2. Tipos de IA prohibida según el Reglamento

Como ya hemos comentado, el artículo 5 no define las IAs prohibidas, sino que enuncia un listado de las finalidades/prácticas para las cuales utilizar la IA está prohibido. 

Como veremos a continuación, algunas de las prohibiciones se establecen de manera integral, mientras que muchas otras cuentan con excepciones:

• IA manipulativa o engañosa: Estos son aquellos sistemas que pueden emplear técnicas subliminales o manipulativas para alterar el comportamiento de las personas sin su consentimiento informado, generando un riesgo considerable de perjuicio. Un ejemplo de esto son los algoritmos que utilizan estímulos visuales o sonoros imperceptibles para influir en decisiones de compra o, por ejemplo, en la participación electoral.
• IA utilizada para explotar vulnerabilidades: Estos sistemas de IA se utilizan para aprovechar factores como la edad, discapacidad o la situación social y económica de una persona o de un grupo (generalmente vulnerable) para modificar su comportamiento o causar algún perjuicio. Por ejemplo: chatbots utilizados para manipular emocionalmente a personas mayores o vulnerable y hacerles contratar servicios innecesarios.
• IA de puntuación o calificación social: Son aquellos que evalúan y clasifican a las personas en función de su comportamiento social o características personales, generando discriminación o exclusión en ámbitos ajenos al contexto original o de manera desproporcionada a la gravedad de su comportamiento. Algunos ejemplos de este tipo de práctica lo podemos encontrar en los algoritmos que niegan beneficios sociales o acceso a servicios bancarios basándose en el historial de interacciones online de una persona.
• IA predictiva para evaluar riesgos delictivos: Son sistemas diseñados para para predecir la probabilidad de que una persona cometa un delito basándose únicamente en el perfil personal o en características de su personalidad. No obstante, no se aplica a aquellos sistemas que sirvan de apoyo y respalden una evaluación humana basada en hechos objetivos.

  Además, está prohibición cuenta con otra excepción, esto es, cuando los sistemas analicen riesgos sin evaluar a personas específicas, como los usados para detectar fraude financiero en empresas o para predecir la localización de mercancías ilegales mediante patrones de tráfico.

• IA para reconocimiento facial masivo: Son los sistemas que crean o amplían bases de datos de reconocimiento facial a partir de imágenes extraídas indiscriminadamente de internet o cámaras de videovigilancia como es el supuesto de las plataformas que recopilan fotos públicas de redes sociales para identificar personas sin su consentimiento.
• IA para el reconocimiento emocional en el ámbito laboral y educativo: Son aquellas que detectan emociones en el trabajo o en los centros educativos, como aquellos que monitorizan expresiones faciales de los empleados para evaluar el nivel de estrés y ajustar sus tareas en función del resultado. Estos sistemas pueden presentar limitaciones como:
  • Una fiabilidad limitada
  • Se pueden interpretar emociones erróneamente
  • No funcionan igual en todos los contextos

  No obstante, estos sistemas de inteligencia artificial pueden utilizarse en casos médicos o de seguridad (como sistemas terapéuticos).

• IA para categorización biométrica: Sistemas que clasifican a las personas según datos biométricos para inferir información sensible como raza, religión, orientación sexual, afiliación sindical u opiniones políticas (como los algoritmos que clasifican a usuarios en función de su etnia por el análisis de su imagen facial).
• IA de identificación biométrica remota en tiempo real en espacios públicos: Estos son aquellos sistemas de reconocimiento facial usados por autoridades con la finalidad de garantizar el cumplimiento de la ley (como cámaras situadas en la calle que identifican automáticamente a cualquier persona sin su consentimiento).

  Este último supuesto también cuenta con excepciones, ya que se permite para casos concretos, como: la búsqueda de personas desaparecidas; prevención de atentados terroristas; o identificación de sospechosos de delitos graves. 

  A pesar de que se permita el uso de este sistema de inteligencia artificial en estos casos, su uso debe ser autorizado previamente por una autoridad judicial o administrativa independiente. En casos de urgencia, el uso se puede iniciar sin autorización previa, pero debe solicitarse en un plazo máximo de 24 horas.

En qué sectores pueden tener más impacto

Estos sistemas prohibidos por el Reglamento de IA pueden tener un mayor impacto en determinados en sectores en los que, debido a factores específicos, entrañan más riesgos en lo referente al uso de sistemas de inteligencia artificial.

Un ejemplo es el sector de publicidad, marketing o comercio electrónico, donde existe más riesgo de que se utilicen sistemas destinados a manipular el comportamiento e influir en la decisión de los consumidores o usuarios vulnerables.  

Otro ejemplo es el sector de recursos humanos, que entraña riesgos como el uso de sistemas de puntuación para evaluar y clasificar (y por lo tanto descartar) a candidatos por factores como su historial socioeconómico o su procedencia sin justificación objetiva, o en el sector financiero, donde hay riesgo de realizar evaluaciones de clientes basadas en su comportamiento social o características personales, como un banco que use IA para analizar la actividad en redes sociales de los clientes y les deniegue créditos o modifique condiciones en función de ello. 

En el sector laboral también se dan riesgos muy notorios, como el riesgo de utilizar IA para detectar emociones en empleados y evaluar su nivel de estrés o compromiso, y afectando a decisiones de promoción o despido.

3. ¿Qué debo tener en cuenta?

A medida que las disposiciones del Reglamento de IA comienzan a aplicarse de forma progresiva, es el momento de prestar especial atención a las obligaciones que asumiremos, ya sea como compradores de sistemas de IA, usuarios o en cualquier otro rol dentro de la cadena de intervinientes en el ciclo de vida de un sistema de IA.

Independientemente de nuestra posición, es fundamental no solo evitar la implementación de este tipo de sistemas, sino también supervisar activamente su uso y notificar cualquier irregularidad, ya que las sanciones por incumplimiento pueden ser elevadas (dependiendo, no obstante, de la gravedad de la infracción), pudiendo llegar a imponerse multas de hasta 35 millones de euros o el 7% del volumen de negocio mundial.

Para la imposición de estas sanciones, las autoridades tendrán en cuenta diferentes factores, como: 

• Gravedad y duración de la infracción y el número de personas afectadas.
• Reincidencia, es decir, si ya ha sido sancionado antes por la misma práctica.
• Tamaño de la empresa, volumen de negocio y cuota de mercado.
• Beneficio económico obtenido con la infracción o pérdidas evitadas.
• Colaboración con las autoridades para subsanar el problema.
• Medidas adoptadas para mitigar el daño causado a los afectados.
• Si la infracción fue intencional o por negligencia.

En todo caso, las empresas y organizaciones deben implementar mecanismos internos para:

• Identificar y evitar el uso de IA prohibida en sus procesos.
• Formar y concienciar a empleados sobre los riesgos y regulaciones.
• Reportar inmediatamente a las autoridades cualquier uso indebido de IA que detecten.

Nuestros abogados son expertos en los problemas legales que implica el uso de inteligencia artificial. Para resolver cualquier duda sobre el reglamento de IA a cumplir, puedes contactar con ellos aquí.

Área de protección de datos y derecho digital