Marco de gobernanza de IA

# Marco de Gobernanza de IA

Slug: /resources/ai-governance-framework Deck: Una exploración exhaustiva de los marcos y principios que guían el desarrollo y despliegue responsable de la inteligencia artificial. Reading Time: Aproximadamente 20-25 minutos Record ID: CR–04

01Introducción y Límites

Este recurso proporciona información educativa sobre los marcos de gobernanza de la inteligencia artificial (IA) y sus principios relacionados. Su propósito es únicamente informativo y no constituye asesoramiento legal, regulatorio o profesional. Las organizaciones e individuos deben consultar con profesionales calificados en materia legal y de cumplimiento para abordar sus circunstancias específicas y garantizar la adhesión a las leyes, regulaciones y estándares aplicables. Este contenido no debe interpretarse como un sustituto del juicio profesional independiente ni como una garantía de ningún resultado legal o regulatorio particular.

02Definición de la Gobernanza de IA

La gobernanza de IA se refiere a los sistemas y procesos integrales diseñados para guiar el desarrollo, despliegue y uso responsable de las tecnologías de inteligencia artificial. Abarca los enfoques estratégicos, las políticas organizacionales y los procedimientos prácticos que las entidades implementan para gestionar los riesgos inherentes y capitalizar las oportunidades que presenta la IA, asegurando así la alineación con los principios éticos, los mandatos legales y los valores sociales más amplios. Esta disciplina multifacética va más allá de los meros controles técnicos, enfatizando el establecimiento de estructuras organizacionales sólidas, líneas claras de responsabilidad y una supervisión continua para navegar los impactos complejos y en evolución de la IA en diversos dominios.

Un marco fundamental en este panorama en evolución es el Marco de Gestión de Riesgos de IA del NIST (NIST AI RMF). Descrito como un marco voluntario, su objetivo principal es mejorar la capacidad de las organizaciones para integrar consideraciones de confiabilidad —como la seguridad, la protección, la equidad y la privacidad— en cada etapa del ciclo de vida del producto, servicio y sistema de IA, desde el diseño inicial hasta la evaluación continua ⁷. El AI RMF proporciona una estructura flexible que puede adaptarse a diversos contextos organizacionales y aplicaciones de IA. Complementando esto, los Principios de la OCDE sobre IA representan un logro histórico, siendo el primer estándar intergubernamental sobre IA. Adoptados en 2019 y actualizados posteriormente en 2024, estos principios articulan un conjunto de directrices basadas en valores que incluyen el fomento del crecimiento inclusivo, el respeto a los derechos humanos y los valores democráticos, la promoción de la transparencia y la explicabilidad, la garantía de la robustez, la seguridad y la protección, y la defensa de la rendición de cuentas ⁹. La OCDE destaca específicamente que la rendición de cuentas dentro de estos principios implica tanto la trazabilidad como la gestión sistemática de riesgos a lo largo de todo el ciclo de vida de la IA ⁹. Juntos, estos marcos subrayan que una gobernanza de IA eficaz es un esfuerzo holístico que exige no solo competencia técnica, sino también un profundo compromiso con las consideraciones éticas, el cumplimiento regulatorio y la gestión proactiva de riesgos.

03Pilares Clave de la Gobernanza de IA: Las Funciones del NIST AI RMF

El NIST AI RMF 1.0 se estructura en torno a cuatro funciones principales interconectadas: Gobernar, Mapear, Medir y Gestionar. Estas funciones están diseñadas para proporcionar un enfoque integral y adaptable para gestionar los riesgos relacionados con la IA. Es imperativo reconocer que el AI RMF es un marco voluntario, lo que significa que su adopción e implementación no confieren automáticamente cumplimiento regulatorio ni inmunidad legal ^{7 42}. En su lugar, ofrece un plan flexible que las organizaciones pueden adaptar a sus entornos operativos únicos, aplicaciones de IA específicas y variados apetitos de riesgo ⁸. El marco es dinámico, con revisiones continuas y orientación complementaria, como el Perfil de Inteligencia Artificial Generativa publicado en julio de 2024, que aborda específicamente los riesgos emergentes asociados con las tecnologías de IA generativa ⁷.

Gobernar

La función de Gobernar sirve como base para toda la estrategia de gestión de riesgos de IA de una organización. Implica las tareas críticas de establecer políticas generales, desarrollar procedimientos claros y diseñar estructuras organizacionales adecuadas para cultivar una cultura de IA responsable. Este trabajo fundacional incluye la definición minuciosa de roles y responsabilidades para el desarrollo y despliegue de la IA, la asignación estratégica de los recursos necesarios y la incorporación de mecanismos de rendición de cuentas para los sistemas de IA a lo largo de todo su ciclo de vida. Si bien la función de Gobernar no es un estándar de cumplimiento directo, sus principios resuenan fuertemente con sistemas de gestión de cumplimiento más amplios. Por ejemplo, la norma ISO 37301:2021 ofrece una guía integral para establecer, desarrollar, implementar, evaluar, mantener y mejorar continuamente un sistema de gestión de cumplimiento eficaz y receptivo ¹. Este estándar internacional proporciona un enfoque estructurado para integrar el cumplimiento en las operaciones de una organización, lo cual puede ser altamente beneficioso para la gobernanza de IA. Del mismo modo, los principios de gestión de riesgos articulados en ISO 31000:2018 —que describe un enfoque sistemático para identificar, analizar, evaluar, tratar, monitorear y comunicar el riesgo— pueden informar significativamente los aspectos de gobernanza de la IA ². Es importante señalar que la norma ISO 31000 es una directriz y establece explícitamente que no puede utilizarse para fines de certificación ^{2 14}. La función de Gobernar enfatiza, en última instancia, que una gobernanza de IA eficaz requiere un compromiso inquebrantable del liderazgo, una dirección estratégica clara y una integración perfecta en los marcos de gestión de riesgos y cumplimiento existentes en toda la empresa. Esto asegura que las iniciativas de IA no se mantengan aisladas, sino que se gestionen dentro de un entorno operativo coherente y controlado.

Mapear

La función de Mapear se dedica a identificar y comprender a fondo el contexto específico, los riesgos potenciales y los impactos previstos de los sistemas de IA de una organización. Esto implica una caracterización detallada de las capacidades del sistema de IA, sus limitaciones inherentes y su uso operativo previsto. Crucialmente, también requiere una identificación proactiva de los posibles daños, sesgos y vulnerabilidades que podrían surgir del despliegue de la IA. Este proceso de mapeo es similar a una evaluación de riesgos integral, un concepto subrayado por el Departamento de Justicia de los EE. UU. (DOJ) en su Evaluación de Programas de Cumplimiento Corporativo (ECCP). El ECCP destaca la evaluación de riesgos como un punto de partida fundamental para los fiscales que evalúan el diseño de un programa de cumplimiento corporativo, planteando la cuestión de si una empresa ha comprendido adecuadamente su negocio comercialmente, ha identificado y definido sus riesgos, y ha asignado apropiadamente el escrutinio y los recursos ¹⁴.

La naturaleza evolutiva de la tecnología significa que las evaluaciones de riesgos deben ser dinámicas. La actualización de septiembre de 2024 del ECCP incorpora explícitamente preguntas relativas a las nuevas tecnologías, incluida la IA. Estas preguntas profundizan en el impacto potencial de la IA en el cumplimiento de las leyes penales, sus estructuras de gobernanza, mecanismos de control, casos de uso previstos, el papel de la toma de decisiones humana en los procesos impulsados por IA, los marcos de rendición de cuentas y la adecuación de la formación de los empleados relacionada con la IA ¹⁴. Esta inclusión explícita por parte del DOJ subraya la importancia creciente de un proceso de mapeo exhaustivo y continuo. Dicho proceso permite a las organizaciones identificar y evaluar proactivamente los riesgos relacionados con la IA, lo que a su vez informa e influye en aspectos críticos de su programa de gobernanza de IA, incluyendo las elecciones de diseño, la asignación de recursos, las actualizaciones de políticas, los protocolos de prueba de controles, las iniciativas de formación y los procedimientos de escalada para los problemas identificados ⁷². Un mapeo eficaz garantiza que una organización tenga una comprensión clara y actualizada de su panorama de riesgos de IA, lo que permite estrategias de mitigación específicas y eficaces.

Medir

La función de Medir se centra en la evaluación sistemática, el análisis y el seguimiento continuo de los riesgos de IA, así como en la evaluación de la eficacia de los esfuerzos de gestión de riesgos implementados. Esto implica el desarrollo y la aplicación de métricas e indicadores adecuados, y metodologías de prueba rigurosas para evaluar objetivamente diversos aspectos del rendimiento del sistema de IA, incluyendo la equidad, la transparencia, la seguridad y el impacto general. Un objetivo clave es monitorear los efectos más amplios de los sistemas de IA en individuos, grupos y la sociedad en general. El objetivo final de la función de Medir es proporcionar evidencia verificable y objetiva de que los sistemas de IA están operando según lo previsto, que sus resultados son confiables y que los riesgos identificados se están mitigando y controlando eficazmente. Esto requiere que las organizaciones establezcan puntos de referencia de rendimiento claros y cuantificables y evalúen regularmente sus sistemas de IA frente a estos puntos de referencia. Dicha evaluación continua permite una adaptación oportuna de los enfoques a medida que surge nueva información, los sistemas de IA evolucionan o las circunstancias externas cambian. El Libro de Estrategias (Playbook) del NIST AI RMF, una guía complementaria voluntaria, ofrece sugerencias prácticas, referencias y orientación relacionada para ayudar a las organizaciones a alcanzar los resultados deseados para la función de Medir, reforzando su naturaleza adaptable en lugar de imponer requisitos obligatorios ^{8 36}. Este proceso de medición iterativo es crucial para construir y mantener la confianza en los sistemas de IA y para demostrar la debida diligencia en su despliegue responsable.

Gestionar

La función de Gestionar implica la implementación proactiva y el mantenimiento diligente de las estrategias de mitigación de riesgos, las respuestas eficaces a los riesgos identificados y la mejora continua del proceso general de gestión de riesgos de IA. Esto incluye el desarrollo y despliegue de controles robustos, el establecimiento de procedimientos claros de respuesta a incidentes y el fomento de la comunicación continua y los esfuerzos de colaboración entre todas las partes interesadas relevantes. El ECCP enfatiza que un programa de cumplimiento bien diseñado aprovecha las políticas y procedimientos para traducir las normas éticas en orientación procesable y para mitigar eficazmente los riesgos identificados a través de evaluaciones de riesgos integrales ¹⁵. Esto abarca una gama de elementos, incluyendo un código de conducta claramente articulado, la asignación de responsabilidades específicas, programas de formación integrales, canales de denuncia y comunicación establecidos, incentivos adecuados, acciones disciplinarias consistentes y la integración perfecta de estos elementos en las operaciones diarias y en la fuerza laboral en general ¹⁵.

En el contexto de la gobernanza de IA, la función de Gestionar se traduce en la supervisión activa y el abordaje de los riesgos de IA identificados. Esto asegura que los controles no solo estén en su lugar, sino que también sean efectivos en la práctica, y que la organización posea la agilidad para adaptarse a las tecnologías de IA que evolucionan rápidamente y a sus desafíos asociados. La naturaleza iterativa de la función de Gestionar es primordial, garantizando que la gobernanza de IA permanezca dinámica, receptiva y capaz de un refinamiento continuo ante nuevas amenazas, oportunidades y desarrollos regulatorios. Este ciclo de gestión continuo es esencial para mantener un ecosistema de IA responsable y resiliente dentro de una organización.

04Perspectivas Internacionales: Principios de la OCDE sobre IA

Los Principios de la OCDE sobre IA representan un consenso internacional fundamental sobre la administración responsable de la inteligencia artificial. Como el estándar intergubernamental inaugural sobre IA, adoptado inicialmente en 2019 y actualizado posteriormente en 2024, estos principios establecen un punto de referencia global crucial para los responsables políticos, la industria y las partes interesadas de la sociedad civil ⁹. Están meticulosamente construidos sobre una base de principios basados en valores, diseñados para guiar el desarrollo ético y sostenible de la IA. Estos principios básicos incluyen la promoción del crecimiento inclusivo, la defensa de los derechos humanos y los valores democráticos, la garantía de la transparencia y la explicabilidad en los sistemas de IA, la garantía de la robustez, la seguridad y la protección, y el refuerzo de la rendición de cuentas ⁹.

Un aspecto particularmente relevante es el principio de rendición de cuentas, que la OCDE elabora para abarcar tanto la trazabilidad —la capacidad de comprender los orígenes y la evolución de un sistema de IA— como la gestión sistemática de riesgos continua a lo largo de todo el ciclo de vida de la IA ⁹. La OCDE enmarca estos Principios como herramientas instrumentales para los responsables políticos, ayudándoles en la evaluación y mejora de los marcos legales, regulatorios e institucionales pertinentes para el gobierno corporativo, al tiempo que ofrecen orientación práctica para su implementación efectiva ⁵. En consecuencia, los Principios de la OCDE sobre IA sirven como un punto de referencia internacional amplio e influyente, dando forma activamente a las estrategias nacionales de IA, informando los enfoques regulatorios en diversas jurisdicciones y guiando las mejores prácticas para corporaciones y otras entidades a nivel mundial. Es importante verlos como un marco poderoso para el desarrollo de una IA ética y responsable, en lugar de como una ley corporativa universalmente vinculante ⁵. Su influencia radica en su capacidad para fomentar un entendimiento compartido y un compromiso con las prácticas de IA responsables a escala global.

05Consideraciones Regulatorias y la Perspectiva del DOJ

Es crucial establecer una distinción clara entre los marcos voluntarios, como el NIST AI RMF, y los requisitos regulatorios obligatorios. Si bien los marcos voluntarios ofrecen una guía y mejores prácticas invaluables, su adopción no garantiza intrínsecamente el cumplimiento regulatorio ni cumple con obligaciones legales específicas ⁴². Los organismos reguladores, por el contrario, poseen la autoridad para emitir reglas vinculantes, estatutos y orientaciones que las organizaciones están legalmente obligadas a seguir. Por ejemplo, el Departamento de Justicia de los EE. UU. (DOJ) proporciona su Evaluación de Programas de Cumplimiento Corporativo (ECCP) no como un mandato regulatorio para todas las entidades, sino como una guía autorizada específicamente para los fiscales. Este documento asiste a los fiscales en la evaluación del programa de cumplimiento de una corporación en momentos críticos, como el momento de un presunto delito, durante las decisiones de imputación, las negociaciones de resolución u otros puntos de decisión relacionados ^{3 13}.

El ECCP establece explícitamente que evita una fórmula rígida y única para todos. En su lugar, aboga por una determinación individualizada que considere cuidadosamente las características únicas de una empresa, incluyendo su tamaño, sector industrial, huella geográfica, el panorama regulatorio específico en el que opera y otros factores pertinentes ¹³. La investigación del DOJ se estructura en torno a tres preguntas fundamentales: primero, si el programa de cumplimiento está bien diseñado; segundo, si se aplica con seriedad y de buena fe, lo que incluye contar con recursos y autoridad adecuados dentro de la organización; y tercero, si funciona de manera demostrable en la práctica ¹³.

Una actualización significativa en septiembre de 2024 al ECCP aborda específicamente el advenimiento de nuevas tecnologías, incluida la IA. Esta actualización introduce preguntas explícitas sobre el impacto potencial de la IA en el cumplimiento de las leyes penales, las estructuras de gobernanza vigentes para la IA, los controles implementados, su uso previsto, el papel de la toma de decisiones humana en los procesos de IA, los mecanismos de rendición de cuentas y la adecuación de la formación de los empleados relacionada con la IA ¹⁴. Este desarrollo señala que, si bien el DOJ no ha emitido una regulación de IA independiente, su marco existente para evaluar el cumplimiento corporativo ahora incorpora explícitamente los riesgos y la gobernanza relacionados con la IA dentro de su alcance ⁷³. Es vital presentar esta información con precisión: como una guía informativa para las evaluaciones de los fiscales, en lugar de como una lista de verificación prescriptiva, un puerto seguro legal, asesoramiento legal definitivo o un estándar de cumplimiento universal ¹⁶.

Para asuntos concernientes a servicios financieros y deberes fiduciarios, es primordial entender que los deberes y requisitos son altamente variables, dependiendo significativamente de las leyes específicas, el papel del individuo o entidad, la naturaleza de la entidad misma y las circunstancias fácticas. Por ejemplo, el Departamento de Trabajo de los EE. UU. delinea las responsabilidades fiduciarias bajo la Ley de Seguridad de los Ingresos de Jubilación de los Empleados (ERISA) para individuos o entidades que ejercen autoridad discrecional o control sobre la gestión o los activos de un plan cubierto, poseen responsabilidad de administración discrecional o proporcionan asesoramiento de inversión cubierto a cambio de una compensación ⁴. Esto sirve como un ejemplo claro de un entorno estatutario específico de la jurisdicción y el contexto, en lugar de una regla fiduciaria universal aplicable a todos los fideicomisarios, asesores, directores, propietarios o empresas familiares ^{4 28}. Del mismo modo, la Regla 2010 de FINRA exige que los miembros, en la conducción de sus negocios, observen altos estándares de honor comercial y principios de comercio justos y equitativos ⁶. Además, la Regla 3110 de FINRA requiere que los miembros de FINRA establezcan y mantengan un sistema de supervisión que esté razonablemente diseñado para lograr el cumplimiento de las leyes de valores, regulaciones y reglas de FINRA aplicables, incluyendo requisitos específicos de procedimientos escritos e inspección ¹². Estas reglas de FINRA son aplicables específicamente a los miembros de FINRA y no deben generalizarse a todas las organizaciones de servicios financieros ni interpretarse como estándares de conducta universales ^{12 30 59}. La complejidad de estas regulaciones requiere una consideración cuidadosa del contexto específico y los marcos legales aplicables.

06Context-Dependent Governance Considerations

Las consideraciones de gobernanza, como la supervisión humana, la transparencia, la trazabilidad, la seguridad, la privacidad y la equidad, no son atributos técnicos estáticos y universalmente garantizados, sino conceptos dinámicos y dependientes del contexto ⁴⁴. Su aplicación práctica, interpretación y eficacia están profundamente influenciadas por el sistema de IA específico en cuestión, su uso operativo previsto, el sector industrial en el que se despliega y el entorno regulatorio y ético prevaleciente. La siguiente tabla ilustra cómo estas consideraciones críticas pueden manifestarse con diversos grados de énfasis e implementación en diferentes contextos de aplicación de IA.

Esta tabla comparativa resalta claramente que, si bien los principios fundamentales que sustentan la IA responsable siguen siendo consistentes, las estrategias de implementación específicas y el nivel de rigor requerido para cada consideración dependen en gran medida del impacto potencial y del grado de escrutinio regulatorio asociado con la aplicación particular de IA. Por ejemplo, la SR 08-8 / CA 08-11 de la Reserva Federal enfatiza la necesidad de un programa de gestión de riesgos de cumplimiento adaptado y eficaz dentro de las organizaciones supervisadas. Además, señala que un enfoque para toda la empresa es particularmente relevante y crítico para las entidades más grandes y complejas ¹⁰. Esto demuestra que las expectativas de supervisión no son uniformes en todos los ámbitos; más bien, se calibran cuidadosamente según la naturaleza, escala y complejidad de la organización y sus actividades operativas ⁵⁷. Por lo tanto, una comprensión matizada del contexto es fundamental para diseñar e implementar una gobernanza de IA eficaz.

07Preguntas para el Registro

1. ¿Cómo debe evolucionar y adaptarse el marco de gestión de riesgos empresariales existente de una organización para abordar eficazmente los desafíos únicos y emergentes que plantea el rápido desarrollo y despliegue de las tecnologías de IA?
2. ¿Qué métricas cuantificables e indicadores cualitativos específicos pueden emplear las organizaciones para medir y demostrar rigurosamente la confiabilidad, el desempeño ético y el impacto social de sus sistemas de IA a lo largo de su ciclo de vida?
3. ¿De qué maneras prácticas y robustas pueden integrarse perfectamente los principios de supervisión humana, incluidos los enfoques de "humano en el bucle" (human-in-the-loop) y "humano sobre el bucle" (human-on-the-loop), en el diseño, desarrollo y ciclo de vida operativo de sistemas de IA cada vez más autónomos o semiautónomos?
4. ¿Cómo pueden las organizaciones equilibrar eficazmente el imperativo de la innovación rápida en IA y la ventaja competitiva con la necesidad crítica de garantizar la equidad, prevenir el sesgo algorítmico y promover resultados equitativos en sus despliegues de IA en diversas poblaciones de usuarios?
5. ¿Cuáles son las consideraciones clave y las mejores prácticas para establecer mecanismos de rendición de cuentas claros y exigibles para los sistemas de IA, particularmente en escenarios complejos donde múltiples partes interesadas (ej. desarrolladores, desplegadores, usuarios, reguladores) están involucradas en su creación, operación e impacto?