Gobernanza de la inteligencia artificial: del uso de herramientas a un modelo de control
Alberto Casaseca desarrolla su actividad profesional en CLECE y cuenta con la consultoría legal, la gestión de proyectos, la seguridad de la información y el Derecho de las tecnologías de la información. En este artículo aborda la gobernanza de la inteligencia artificial desde una perspectiva práctica: qué debería analizar una organización antes de incorporar una herramienta, cómo controlar los datos, qué responsabilidades deben asumir las distintas áreas y cómo comprobar que los sistemas se utilizan bajo unas condiciones adecuadas.
La gobernanza de la inteligencia artificial no empieza cuando una organización redacta una política interna. Empieza antes, cuando decide qué problema quiere resolver, qué herramienta necesita y si cuenta con capacidad suficiente para utilizarla con criterio. A partir de ahí, el control debe mantenerse durante todo el funcionamiento del sistema. Esto implica conocer los usos existentes, establecer responsabilidades, revisar los riesgos y comprobar que las medidas adoptadas funcionan en la práctica.
Cuando utilizar IA no significa todavía gobernarla
Para Alberto Casaseca, uno de los principales errores consiste en incorporar herramientas de inteligencia artificial por la presión de no quedarse atrás en su adopción, sin haber realizado previamente una evaluación suficiente de su encaje. Antes de desplegar una solución, resulta necesario analizar si sus funcionalidades se ajustan realmente a los usos previstos, qué riesgos plantea, qué datos e información va a tratar, qué obligaciones regulatorias pueden resultar aplicables y si existen mecanismos adecuados para supervisar su funcionamiento. Cuando la adopción viene impulsada principalmente por tendencias de mercado o por la urgencia de implementar IA, existe el riesgo de que aspectos esenciales de gobernanza, cumplimiento y control queden relegados a una fase posterior.
A partir de ahí aparecen problemas concretos. Si cada departamento elige herramientas por su cuenta, la organización puede perder visibilidad sobre los datos e información que se introducen, las condiciones contratadas y las decisiones en las que interviene la IA. Tampoco basta con asumir que las garantías están resueltas porque un proveedor ofrece una versión empresarial o porque existe una persona encargada de revisar las respuestas. Para que la supervisión tenga valor, esa persona debe conocer las limitaciones del sistema y disponer de tiempo y autoridad para cuestionar sus resultados.
Por eso, la gobernanza de la inteligencia artificial debe acompañar al sistema desde su diseño y continuar durante su funcionamiento. Una política general de IA es necesaria, pero debe traducirse en decisiones concretas: qué herramientas se autorizan, para qué tareas pueden utilizarse, o qué datos e información corporativa puede introducirse y bajo qué condiciones. Este planteamiento conecta con la necesidad de establecer un modelo de gobierno que permita utilizar la IA de forma controlada. En este sentido, puede resultar útil ampliar el contexto con este artículo de Prudencia sobre Gobierno de la IA: la clave para una IA jurídica fiable, segura y conforme a la normativa.
El control de la información forma parte de la gobernanza de la inteligencia artificial
La evaluación de una herramienta de IA debe hacerse teniendo en cuenta el servicio concreto y el caso de uso que se pretende realizar. Según Casaseca, no basta con analizar las funcionalidades que ofrece la herramienta, sino también las condiciones de uso asociadas, su configuración, las integraciones previstas y los mecanismos de control disponibles.
Desde una perspectiva de gobernanza y cumplimiento, resulta fundamental comprender el flujo completo de información asociado al sistema, los riesgos que puede generar, las medidas de control disponibles y las garantías existentes para asegurar un uso alineado con las obligaciones legales y las políticas internas de la organización.
Cuando se introducen datos personales o información corporativa en una herramienta generalista, la organización puede perder el control sobre dicha información si no cuenta con una modalidad que ofrezca las garantías necesarias. Por ello, Casaseca plantea la necesidad de contratar modalidades que impidan que los datos utilizados salgan del perímetro corporativo, sin perjuicio de otras obligaciones que puedan resultar aplicables. También señala el elevado riesgo que supone permitir el uso de cuentas personales en herramientas generalistas, ya que dificulta el control de la información utilizada por los empleados.
En el trabajo jurídico existe además un riesgo específico: una respuesta aparentemente convincente puede contener una cita inexistente o una interpretación incorrecta. Por eso, las fuentes y las conclusiones deben contrastarse antes de utilizar el resultado.
La gobernanza de la inteligencia artificial también debe considerar las exigencias del RGPD cuando la tecnología interviene en procesos de toma de decisiones que afectan a las personas. El Reglamento establece límites específicos para determinadas decisiones automatizadas y exige que las organizaciones evalúen el papel real de la intervención humana, los riesgos asociados y las garantías aplicables para los interesados. Reglamento General de Protección de Datos — artículo 22
De la documentación a una gobernanza de IA que pueda demostrarse
La gobernanza de la inteligencia artificial no debería quedarse en documentos que describen principios generales. Para Casaseca, una organización debe poder explicar cómo decide que un uso de IA es aceptable y qué sucede cuando deja de serlo. Para conseguirlo, primero debe identificar las obligaciones que corresponden según el caso de uso y el papel que desempeña la organización en la cadena de valor.
No todas las responsabilidades son iguales. Las obligaciones de un proveedor y las de un responsable del despliegue pueden ser diferentes. Del mismo modo, los requisitos previstos para determinados sistemas de alto riesgo no se trasladan automáticamente a todas las herramientas de IA. Por eso, antes de establecer controles es necesario conocer qué uso se está realizando y qué papel ocupa la organización.
El Reglamento Europeo de Inteligencia Artificial establece un marco específico para el desarrollo, introducción en el mercado, puesta en servicio y utilización de sistemas de IA. Reglamento Europeo de Inteligencia Artificial — AI Act
Pero identificar una obligación es solo el principio. Cada compromiso debe tener una aplicación que pueda comprobarse. Si existe supervisión humana, debe estar definido quién supervisa, qué información recibe y cuándo puede corregir o detener el uso. Si existe un umbral de calidad, deben establecerse pruebas adecuadas y un criterio para determinar qué resultados son aceptables. También debe existir un procedimiento para gestionar incidentes y revisar los cambios que puedan producirse en el sistema o en el proveedor.
Una auditoría o una certificación pueden ayudar a evaluar el modelo de gobierno, pero no sustituyen la necesidad de acreditar cómo funcionan los controles en cada uso. La gobernanza de la inteligencia artificial debe poder demostrarse en la práctica.
IA y protección de datos: dos ámbitos que se solapan
No existe una frontera clara entre protección de datos y gobernanza de la inteligencia artificial cuando un sistema trata datos personales. Ambos ámbitos se solapan, pero la gobernanza de IA comprende también cuestiones que van más allá de la privacidad. Entre ellas se encuentran la seguridad del sistema, su fiabilidad, la posible discriminación, la supervisión y los efectos que el sistema produce sobre las personas y sobre la actividad de la organización.
Las organizaciones que ya cuentan con estructuras de cumplimiento de protección de datos consolidadas parten con ventaja. Una empresa que ya dispone de procedimientos de evaluación de riesgos, controles sobre la cadena de suministro y mecanismos para gestionar incidentes cuenta con una base que puede aprovechar. En este contexto, principios ya consolidados en el ámbito del RGPD, como la responsabilidad proactiva o la integración de salvaguardas desde las fases iniciales de un proyecto, pueden servir de referencia, ya que el objetivo es muy similar: evaluar antes de desplegar, documentar y justificar las decisiones adoptadas, y verificar posteriormente que los controles definidos funcionan de manera efectiva.
Sin embargo, Casaseca señala que el RGPD y el Reglamento de IA utilizan categorías y criterios diferentes. Por ello, aunque puedan coordinarse determinados procesos, el cumplimiento debe planificarse de forma específica para cada norma. Por ejemplo, una evaluación de impacto relativa a la protección de datos no sustituye automáticamente a la evaluación de impacto sobre los derechos fundamentales que pueda corresponder en determinados casos bajo el Reglamento de IA.
La clave está en integrar los procesos cuando sea posible para evitar duplicidades, pero manteniendo las diferencias y las funciones que corresponden a cada ámbito. La gobernanza de la inteligencia artificial necesita aprovechar los sistemas de cumplimiento existentes sin asumir que estos resuelven por sí solos todas las cuestiones relacionadas con la IA.
Un inventario para saber dónde interviene la inteligencia artificial
Uno de los puntos de partida para construir una gobernanza de la inteligencia artificial consiste en saber qué sistemas se están utilizando realmente dentro de la organización. El inventario permite saber qué se está gobernando. Si la empresa desconoce dónde interviene la IA, difícilmente podrá evaluar sus riesgos o asignar responsabilidades. Por eso, Casaseca recomienda identificar tanto los usos autorizados como las pruebas y los usos no autorizados que puedan detectarse.
La misma herramienta puede tener consecuencias muy diferentes dependiendo de cómo se utilice. No es lo mismo emplearla para resumir documentos que para valorar candidaturas. Por esta razón, el inventario debe relacionar cada sistema con su caso de uso y con el proceso en el que se integra.
Como mínimo, debería recoger la finalidad, el área usuaria, el proceso afectado y la persona responsable. También debería identificar el proveedor, el servicio o modelo utilizado cuando se conozca, la versión o configuración relevante y las integraciones habilitadas. A esto se suman las categorías de datos de entrada y salida, las personas afectadas, los flujos de información, su conservación y los accesos de terceros.
También resulta necesario identificar el papel de la empresa según el Reglamento de IA, la clasificación jurídica del uso, su justificación y los riesgos adicionales. El inventario debe recoger además la influencia del sistema sobre las decisiones, su grado de autonomía, las acciones que puede ejecutar y la supervisión humana prevista.
Por último, debe incluir el estado del uso, las evaluaciones realizadas, las condiciones de autorización, los controles existentes y la fecha de la siguiente revisión. Este registro debe mantenerse actualizado cuando cambien el uso, el modelo o las integraciones. No debe confundirse con las obligaciones de registro que puedan existir en la base de datos europea en determinados supuestos.
La gobernanza de IA necesita responsabilidades claras
La gobernanza de la inteligencia artificial requiere una distribución de funciones desde el inicio. Las áreas de negocio debe explicar la necesidad y asumir la gestión del proceso en el que se utiliza la IA, mientras que las funciones tecnológicas deben evaluar aspectos como la arquitectura de la solución, sus integraciones y sus limitaciones. Por su parte, las áreas jurídicas y de cumplimiento deben analizar el marco normativo aplicable, los riesgos de cumplimiento y las obligaciones asociadas al uso de la herramienta, verificando que los controles establecidos resultan adecuados.
El DPO también tiene un papel relevante cuando el sistema implique el tratamiento de datos personales. Su experiencia bajo el RGPD puede contribuir a construir el modelo de gobierno de la IA, siempre respetando su independencia y evitando conflictos de intereses. Del mismo modo, las funciones de seguridad de la información desempeñan un papel relevante en la gestión de accesos, la protección de los datos, la supervisión de riesgos tecnológicos y la respuesta ante incidentes. Estas funciones pueden coordinarse con las estructuras existentes, sin necesidad de crear estructuras paralelas.
En última instancia, la creación de órganos de gobierno o la designación de responsables internos no altera las obligaciones jurídicas que correspondan a la entidad. La alta dirección debe respaldar el modelo de gobernanza, asignar los recursos necesarios y establecer quién puede autorizar un uso y aceptar sus riesgos dentro de los límites legales.
Cómo empezar mañana con un modelo de gobernanza de IA
Para una organización que todavía no cuenta con un modelo de gobernanza de la inteligencia artificial, Casaseca plantea comenzar con un ejercicio de identificación y evaluación. El primer paso consiste en conocer qué sistemas de IA se están utilizando, para qué finalidades, qué áreas participan en su uso y qué mecanismos de supervisión existen actualmente. También es necesario analizar qué datos e información interviene, qué riesgos pueden derivarse de cada caso de uso y si la organización dispone de capacidades suficientes para gestionarlos adecuadamente.
A partir de ahí, recomienda establecer una función de coordinación con respaldo de la dirección y elaborar un primer inventario de sistemas de IA. Para localizar los usos existentes se pueden revisar los servicios contratados, hablar con las distintas áreas e identificar las funciones de IA que ya están incorporadas en herramientas utilizadas por la organización. Normalmente, este ejercicio suele poner de manifiesto que ya existen múltiples usos de IA distribuidos entre diferentes departamentos sin una visión conjunta sobre sus riesgos, controles o responsables.
No todos los usos requieren la misma atención. Deberían revisarse primero aquellos que puedan afectar de forma relevante a personas, que manejen información especialmente sensible o que permitan ejecutar acciones con un grado elevado de autonomía. A partir de esa primera evaluación, se pueden establecer unas reglas básicas mientras se desarrolla un modelo más maduro. Entre ellas estarían las herramientas y usos autorizados, los datos e información que puede introducirse, las validaciones o revisiones deben realizarse antes de utilizar los resultados generados y qué canales deben emplearse para plantear consultas o comunicar incidencias relacionadas con la IA.
La formación también ocupa un lugar importante. Los usuarios deben conocer no solo cómo utilizar las herramientas, sino también cuáles son sus limitaciones, qué controles deben aplicar sobre los resultados generados y en qué situaciones es necesaria una revisión adicional o la intervención de otras áreas. La alfabetización debe adaptarse a los riesgos y responsabilidades asociados a cada caso de uso.
Para profundizar en las obligaciones que las organizaciones deben tener en cuenta, puede consultarse también el artículo de Prudencia sobre qué cambia con el AI Act y las obligaciones para las empresas.
La supervisión humana como parte del modelo de control
La supervisión humana no puede reducirse a una validación automática o meramente formal de los resultados generados por un sistema de IA. En el planteamiento de Casaseca, debe estar vinculada al al caso de uso, al nivel de riesgo asociado y a las responsabilidades de quien la ejerce. Para que resulte efectiva, la persona encargada debe comprender el funcionamiento y las limitaciones de la herramienta, disponer de contexto suficiente para evaluar sus resultados y contar con capacidad real para confirmar, corregir o cuestionar las conclusiones obtenidas.
Esto resulta especialmente relevante cuando los sistemas de IA tienen capacidad para ejecutar acciones dentro de la organización.
La autorización de una herramienta tampoco debería entenderse como definitiva. Debe quedar vinculada a unos usos concretos y revisarse cuando cambien las funcionalidades de la herramienta, las condiciones del proveedor o el contexto en el que se utiliza. Esta revisión permite comprobar que los controles siguen siendo adecuados y que el sistema continúa utilizándose dentro de las condiciones autorizadas.
La supervisión humana es también uno de los elementos centrales en el marco regulatorio europeo de la inteligencia artificial, como mecanismo destinado a garantizar que las personas mantengan la capacidad de comprender, controlar y corregir el funcionamiento de los sistemas cuando su utilización pueda generar riesgos relevantes.
Prudencia también ha abordado esta cuestión desde el ámbito jurídico en su análisis sobre la supervisión humana de la IA jurídica.
Gobernar la IA significa conocerla
La gobernanza de la inteligencia artificial empieza por una pregunta sencilla: ¿sabemos realmente dónde y cómo se está utilizando la IA dentro de nuestra organización? Sin esa visibilidad resulta difícil evaluar riesgos, asignar responsabilidades o determinar qué controles son necesarios.
El objetivo no consiste únicamente en disponer de una política o en demostrar que existe documentación. La organización debe poder explicar por qué autoriza un uso, qué condiciones ha establecido y qué sucede cuando esas condiciones cambian. También debe saber quién puede intervenir, qué controles existen y cómo se revisan.
Como señala Casaseca, la gobernanza de la IA debe construirse a partir de la realidad de cada organización. Eso implica conocer las herramientas utilizadas, la información implicada, los procesos afectados y las capacidades disponibles para supervisar su funcionamiento.A partir de esas base, la gobernanza de la inteligencia artificial puede construirse de forma progresiva, empezando por los usos que presentan mayor impacto y estableciendo controles que puedan aplicarse y revisarse en la práctica.
La cuestión, por tanto, no es únicamente conocer cuántas herramientas de IA utiliza una organización, sino si se conoce cómo se utilizan, quién responde por ellas y qué mecanismos existen para supervisarlas. Una gobernanza sostenida consiste precisamente en la capacidad de mantener el control sobre el uso de la inteligencia artificial a lo largo de todo su ciclo de vida.
