天美传媒

Una conversaci贸n de Sampsa Samila con Gabriele Mazzini

El Reglamento de Inteligencia Artificial de la Uni贸n Europea, la primera ley del mundo en esta materia, se ha concebido para garantizar la seguridad, transparencia, trazabilidad y no discriminaci贸n de la innovaci贸n en IA. 驴Tendr谩 茅xito? Su principal arquitecto explica los principios e implicaciones de esta normativa.

Tras a帽os de disputas pol铆ticas, el pasado mes de mayo el Consejo Europeo adopt贸 oficialmente el , cuyas obligaciones se aplicar谩n escalonadamente en los Estados miembros hasta su completa entrada en vigor a mediados de 2027. Se trata de una ley hist贸rica porque es la primera del mundo que regula el campo emergente de la IA. Por eso, y al igual que ocurriera con el Reglamento General de Protecci贸n de Datos, este nuevo reglamento europeo puede marcar la pauta que sigan otros pa铆ses. Y como es legalmente vinculante y establece multas por incumplimiento, sus consecuencias para las empresas transfronterizas son evidentes: basta recordar las multas que Bruselas impone una y otra vez a los gigantes tecnol贸gicos estadounidenses por violar su normativa en multitud de materias, desde la privacidad hasta la fiscalidad o la competencia. Dadas las repercusiones globales de esta ley, Sampsa Samila, director de la Iniciativa sobre Inteligencia Artificial y el Futuro de la Direcci贸n en el 天美传媒, ten铆a muchas ganas de charlar con su arquitecto y autor principal, Gabriele Mazzini.

Mazzini no es el t铆pico funcionario de carrera de Bruselas. Aunque empez贸 a trabajar para la UE en 2001, se tom贸 una excedencia en 2009 para cursar un m谩ster en Estados Unidos, donde despu茅s acab贸 incorpor谩ndose al Millennium Villages Project, una iniciativa de desarrollo internacional que pretend铆a sacar de la pobreza a comunidades rurales de bajos ingresos vali茅ndose de las innovaciones tecnol贸gicas. 鈥淎h铆 fue donde naci贸 mi inter茅s por la tecnolog铆a y la normativa鈥�, dice. Regres贸 a Europa en 2017 con el deseo de trabajar en las implicaciones normativas de las tecnolog铆as emergentes. Cuando la IA comenz贸 a despegar, Mazzini era ya el m谩s indicado para asesorar a la sobre la confluencia de la IA y la legislaci贸n de la UE, as铆 como para liderar la elaboraci贸n de una ley espec铆fica. 脡l atribuye a su estancia en Estados Unidos y a su experiencia laboral en diversas startups tecnol贸gicas de ese pa铆s el hecho de tener una mentalidad emprendedora poco com煤n en las instituciones europeas.

En esta entrevista, realizada poco antes de que entrara en vigor el reglamento de IA, en agosto pasado, Samila y Mazzini hablan de los pormenores de la ley, en especial del delicado equilibrio que debe articularse para controlar los riesgos que plantea la IA sin restringir en exceso la innovaci贸n.

Objetivos del Reglamento de Inteligencia Artificial de la Uni贸n Europea

Sampsa Samila: 驴Qu茅 llev贸 a la Comisi贸n a regular la IA?聽

Gabriele Mazzini: La Comisi贸n quer铆a asegurarse de que en toda la UE tuvi茅ramos un conjunto de normas armonizadas para los productos y sistemas basados en la IA, de modo que su despliegue y uso cumpliera la legislaci贸n europea. Uno de los principios fundamentales de la UE es la libre circulaci贸n de bienes y servicios en su mercado interior, donde hemos de garantizar que se cumplen unos niveles m铆nimos de seguridad y se evitan impactos indeseados, como la discriminaci贸n ilegal, para que haya confianza entre empresas y ciudadanos. Por consiguiente, necesit谩bamos un marco legal com煤n para evitar barreras entre los Estados miembros y proporcionar seguridad jur铆dica a las empresas que desarrollan sistemas de IA.

SS: 驴C贸mo protege el reglamento de IA estos principios y derechos?

GM: Mediante tres categor铆as de riesgo. En primer lugar, si un sistema de IA plantea riesgos inaceptables, la ley prev茅 prohibirlo. Aqu铆 se incluir铆an las aplicaciones que suponen una manipulaci贸n cognitiva del comportamiento, como los juguetes activados por voz que fomentan comportamientos peligrosos, o la puntuaci贸n social que categoriza a las personas no en funci贸n de pr谩cticas consolidadas como la puntuaci贸n crediticia, sino de su 鈥渇iabilidad鈥�, por ejemplo.

Segundo, puede haber sistemas de IA de alto riesgo relacionados con la contrataci贸n y gesti贸n de empleados, la puntuaci贸n crediticia y la actividad policial, entre otras 谩reas, que amenacen con violar los derechos de las personas. Aunque permitidos, est谩n sujetos al cumplimiento previo de determinados requisitos y a un procedimiento de evaluaci贸n de conformidad. La mayor铆a de las disposiciones del reglamento corresponden a esta categor铆a, que constituye la carga m谩s importante para las empresas.

La tercera categor铆a afecta a los sistemas de IA con un riesgo ligado a la falta de transparencia o informaci贸n, por ejemplo, si no se advierte a los usuarios que interact煤an con la IA cuando hablan con un chatbot. Son cuestiones que ata帽en a la voluntad y dignidad de las personas, otro de los derechos fundamentales de la UE.

La estrategia de la UE para el desarrollo de la IA

SS: 驴C贸mo encaja todo esto en el panorama m谩s amplio del desarrollo de la IA en los Veintisiete?

GM: La estrategia europea de IA se basa en dos elementos que funcionan juntos: el ecosistema de confianza que he mencionado y otro de excelencia, que es b谩sicamente la financiaci贸n y coordinaci贸n de la I+D entre los Estados miembros. Significa invertir en habilidades, nodos de innovaci贸n e instalaciones de pruebas para las empresas a trav茅s de programas como , una apuesta por la excelencia que complementa la confianza.

SS: 驴C贸mo se ha procurado que la regulaci贸n no restrinja la innovaci贸n?

GM: Ese es el quid de cualquier regulaci贸n. La regulaci贸n puede apoyar la innovaci贸n sirviendo de orientaci贸n, pero toda norma es tambi茅n una restricci贸n. No creo que la regulaci贸n siempre apoye la innovaci贸n, pero s铆 que es el precio que tal vez haya que pagar con determinados tipos de innovaci贸n.

Debemos abordar este debate y cada jurisdicci贸n tiene su propio enfoque. Estados Unidos es conocido por dejar que la innovaci贸n vaya m谩s r谩pido y libre, para despu茅s valerse de medidas correctoras, impulsadas por el mercado, que los ciudadanos o las empresas pueden activar a trav茅s del sistema judicial, como por ejemplo la responsabilidad jur铆dica. En Europa solemos tener m谩s aversi贸n al riesgo, hasta tal punto que queremos prevenir las externalidades y consecuencias negativas desde el principio, cuando los posibles riesgos apenas se vislumbran. El coste potencial de este enfoque es restringir la innovaci贸n al fijar l铆mites y salvaguardas mientras se desarrolla la innovaci贸n.

El reglamento trata de conseguir este equilibrio apoy谩ndose en normas en lugar de entrar en detalles t茅cnicos. Al exigir el cumplimiento normativo de las empresas en lo referente a gobernanza de datos, documentaci贸n, supervisi贸n humana, transparencia y robustez, el reglamento mantiene un nivel bastante alto. Es una manera de permitir que la comunidad tecnol贸gica siga desarrollando soluciones, pero cumpliendo esos requisitos, es decir, de apoyar tanta innovaci贸n en IA como sea posible dentro de un marco legal estable y basado en principios.

La regulaci贸n de la IA y las peque帽as empresas

SS: Preocupa que solo las empresas m谩s grandes, en su mayor铆a no europeas, cuenten con los recursos necesarios para afrontar este tipo de regulaci贸n y los costes aparejados. 驴C贸mo se facilita el crecimiento de las pymes europeas con menos recursos?

GM: No estoy seguro de que aqu铆 hayamos logrado el equilibrio adecuado. Para ello, el trato a los actores peque帽os deber铆a haber sido distinto al de los grandes. Recuerdo que se debati贸 sobre si deb铆a darse a las pymes un trato especial para reducirles las cargas financieras y de otro tipo. De hecho, se introdujeron disposiciones ad hoc, aunque limitadas. Pero, el enfoque, como eximir a ciertos actores del mercado de algunas normas hasta alcanzar un tama帽o determinado, no me parece lo suficientemente audaz. Los Estados miembros y la Comisi贸n deber铆an tomar medidas en materia de formaci贸n y canales de comunicaci贸n para facilitar la participaci贸n de los actores peque帽os en el proceso de estandarizaci贸n. Algo con lo que s铆 cuentan estos actores es el acceso prioritario a los sandbox, o entornos controlados de pruebas.

SS: 驴C贸mo fomenta el sandbox la innovaci贸n?

GM: El sandbox ofrece a las empresas un marco general para desarrollar y testar sistemas de IA en un entorno controlado, supervisado por las autoridades. En este espacio seguro pueden innovar evitando determinados problemas, como las multas, y testar en condiciones reales (o sea, en un entorno libre), pero con ciertas salvaguardas.

Normativa para los modelos fundacionales

SS: 驴C贸mo aborda el reglamento los modelos de prop贸sito general o fundacionales, esos que est谩n en desarrollo y cuyas aplicaciones y capacidades a煤n no entendemos del todo?

GM: Este tema gener贸 un gran debate, sobre todo durante las negociaciones finales. De hecho, la propuesta inicial no inclu铆a ninguna norma relativa a los modelos fundacionales. Pero, tras la aparici贸n de ChatGPT, el Parlamento y el Consejo europeos acordaron abordar este nuevo fen贸meno e introdujeron normas adicionales, aunque con un enfoque y perspectiva diferentes. Al final, existe un sistema de dos niveles, con normas para todos los modelos de prop贸sito general y otras adicionales para los que presentan un riesgo sist茅mico. Era cr铆tico resolver c贸mo distinguir entre ambos tipos de modelos. Consideramos que el 煤nico criterio m谩s o menos claro a seguir era la cantidad de poder computacional utilizado en su entrenamiento.

SS: 驴Por qu茅 el c贸mputo y no el tama帽o del modelo o el de los datos de entrenamiento?

GM: La A que la Administraci贸n Biden emiti贸 en octubre de 2023 hace hincapi茅 en la medici贸n de las operaciones de punto flotante, o FLOPS, que est谩 relacionada con el c贸mputo necesario para el entrenamiento de los modelos de IA. Fue decisivo para nosotros, pues entendimos que los FLOPS pueden considerarse como una especie de par谩metro combinado que refleja otros factores, como la cantidad de datos de entrenamiento y los par谩metros de modelo.

SS: Vemos modelos cada vez m谩s potentes. 驴Existe alg煤n mecanismo para actualizar ese umbral de c贸mputo?

GM: S铆. Era un elemento crucial que hab铆a que a帽adir para que la regulaci贸n fuera 鈥渁 prueba de futuro鈥�. Este primer intento de la ley de cuantificar los FLOPS se puede modificar. La Comisi贸n podr谩 cambiar ese umbral. Teniendo en cuenta que lo que hace dos a帽os se consideraba un modelo de gran tama帽o ya no lo es, los par谩metros volver谩n a cambiar en el futuro.

El reglamento tambi茅n prev茅 la posibilidad de que, al margen del umbral de c贸mputo, la Comisi贸n determine que ciertos modelos plantean un riesgo sist茅mico bas谩ndose en un procedimiento aparte, el cual contempla otros factores incluidos en un anexo.

SS: 驴Por qu茅 se han excluido los modelos de c贸digo abierto de la regulaci贸n de la IA de prop贸sito general?

GM: En realidad, se han cubierto de forma menos estricta. Hay cuatro series de normas: la documentaci贸n t茅cnica que provee de informaci贸n a las autoridades, la transparencia con los proveedores descendentes y otras dos series de obligaciones en derechos de autor. Estas cuatro obligaciones son aplicables a los modelos de la IA de prop贸sito general, solo que los de c贸digo abierto est谩n exentos de dos: la documentaci贸n t茅cnica y la transparencia. En cuanto a los modelos con riesgos sist茅micos, existen obligaciones adicionales relativas a la evaluaci贸n y gesti贸n de riesgos aplicables a todos ellos, tanto si son patentados como de c贸digo abierto.

Influencia mundial de los gigantes de la IA

SS: Hablemos sobre la aplicaci贸n e influencia global del reglamento. Voces como que alertan del riesgo de que un pu帽ado de gigantes tecnol贸gicos dominen los modelos de IA, por muy seguros que sean, y controlen gran parte de nuestra vida y contenidos digitales.

GM: Coincido en su punto de vista. No queremos vivir en un mundo en el que nuestras preferencias est茅n influidas culturalmente por un pu帽ado de personas y empresas. Queremos que haya una variedad de contenidos digitales y de preferencias basada en las distintas culturas. El objetivo de un men煤 digital justo y variado vendr铆a a respaldar el argumento en favor del c贸digo abierto y no de los sistemas cerrados de unas pocas compa帽铆as.

El lema de la UE es 鈥淯nida en la diversidad鈥�. Necesitamos desarrollar modelos propios que atiendan nuestras lenguas y culturas. 驴C贸mo vamos a esperar que una empresa no europea atienda mejor nuestra diversidad cultural? Los modelos fundacionales y, en particular, los de lenguaje constituyen un mercado emergente en el que la apertura es crucial. Adem谩s, aportan ventaja competitiva en primer lugar a nosotros, los Veintisiete, y m谩s en general a quienes no tienen el ingl茅s como lengua materna. En ese sentido, debemos procurar no cerrar el sistema, sino contar con actores locales que apoyen y sirvan a cada mercado ling眉铆stico y respeten los matices culturales.

SS: Al margen de los asuntos relativos a los riesgos de seguridad, 驴propicia la regulaci贸n la toma en consideraci贸n de las especificidades culturales y pol铆ticas?

GM: S铆, aunque me pregunto si se han tomado lo suficientemente en cuenta los matices y el valor que Europa puede aportar en este 谩mbito, lo que no quiere decir que su reglamento de IA act煤e de obst谩culo. Es cierto que las normas m谩s estrictas, las del nivel superior, son aplicables a los modelos con riesgos sist茅micos, pero tambi茅n tenemos una obligaci贸n para con el nivel inferior. Espero que en los pr贸ximos dos a帽os crezca la necesidad de tener en cuenta los matices culturales y que eso garantice la competitividad de los actores europeos que desarrollan modelos en las lenguas de los Veintisiete.

UE, pionera en normas de IA

SS: Aparte de la Orden Ejecutiva de la Administraci贸n Biden, la Comisi贸n Europea es el primer organismo gubernamental que regula en sentido estricto la IA. Ser el primero, 驴es m谩s bien un coste o un beneficio?

GM: Nos da la ventaja del pionero, en el sentido de que ponemos una pica en la regulaci贸n de la IA y, por tanto, obligamos a los dem谩s a tenerla en cuenta. Como Europa es un mercado de gran tama帽o, cualquier empresa que quiera operar en 茅l debe cumplir sus normas. Eso compele a otras jurisdicciones 鈥搚a sea porque sus empresas operan en la UE o simplemente porque creen necesario regular ellos mismos la IA鈥� a estudiar qu茅 es lo que se hace aqu铆 y decidir si adaptan la legislaci贸n europea en lugar de empezar de cero.

No discriminamos entre las empresas de aqu铆 y las de fuera, porque lo importante cuando quieres vender un producto de alto riesgo en el mercado europeo es que rijan las mismas normas. No obstante, las empresas de los Veintisiete tendr谩n que afrontar el reglamento de IA y normas m谩s estrictas en su mercado dom茅stico, mientras que las dem谩s podr谩n desarrollar sus productos fuera de la UE sin tener que cumplirlo, por lo que crecer谩n antes de entrar en el mercado europeo. Las empresas van a afrontar estas normas en distintos momentos de su crecimiento, lo que nos lleva de nuevo a la cuesti贸n de que las grandes compa帽铆as lo tendr谩n m谩s f谩cil.

SS: 驴C贸mo se garantiza la implementaci贸n y el cumplimiento del reglamento en todos los pa铆ses miembros?

GM: Seg煤n el derecho comunitario, Bruselas elabora las leyes y los Estados miembros las aplican, salvo algunas excepciones. Con el reglamento de IA, la situaci贸n es un tanto ambivalente. Por un lado, est谩n las autoridades nacionales de los Estados miembros. Puede darse el riesgo de que estas sean m谩s o menos r铆gidas y que, por tanto, la aplicaci贸n del reglamento difiera, pero dicho riesgo queda mitigado por la existencia de un mecanismo de coordinaci贸n que, basado en el Reglamento de Vigilancia del Mercado, prev茅 que todas las autoridades de vigilancia del mercado se re煤nan regularmente e intercambien buenas pr谩cticas. Normalmente, alinean sus pr谩cticas de aplicaci贸n legislativa. En caso de conflicto, la Comisi贸n puede intervenir y decidir por todos.

SS: 驴C贸mo mantiene esta regulaci贸n su vigor y relevancia a medida que las tecnolog铆as de IA evolucionan?

GM: Es una de nuestras preocupaciones desde que empezamos, all谩 por 2019-2020. El reglamento regula una serie de tecnolog铆as muy complejas y, como dices, la IA ha evolucionado con el tiempo. No hay consenso, ni siquiera entre los expertos, sobre qu茅 es y qu茅 no es IA. En medio de esta complejidad, 驴c贸mo se crea un marco legal que, por definici贸n, exige precisi贸n? Debe quedar claro a qu茅 tecnolog铆as afecta la regulaci贸n.

Es un equilibrio dif铆cil: por un lado, hay que proporcionar ya mismo seguridad jur铆dica a las empresas y, por el otro, permitir una adaptaci贸n flexible. Seg煤n el ordenamiento jur铆dico europeo, hemos de hacerlo ateni茅ndonos a un marco legal s贸lido y estable. Ello exige que los elementos esenciales de la ley los establezca el poder legislativo y no el ejecutivo, por lo general m谩s 谩gil en su facultad normativa.

Es una dificultad inherente. La tecnolog铆a avanza muy r谩pido, mucho m谩s que las medidas o revisiones legislativas. Solo la negociaci贸n del reglamento de IA ya llev贸 tres a帽os. De todas formas, quiz谩 el reglamento evolucione algo m谩s r谩pido si se cambian algunos de sus mecanismos o principios estructurales. En ciertos aspectos, seguir谩 siendo un problema por resolver. Pero, desde luego, hacemos todo lo que podemos.

Esta entrevista se basa en dos conversaciones mantenidas el 21 de junio y 1 de julio de 2024, editadas por motivos de extensi贸n y claridad.

Esta entrevista se publica en la revista 天美传媒 Insight n煤m. 168 (sept.-dic. 2024).