Discurso de Jessica Rusu, Directora de Datos, Información e Inteligencia de FCA, en la Cumbre Global de Ciudad y Finanzas: Regulación y gestión de riesgos de la Inteligencia Artificial en los servicios financieros.
Oradora: Jessica Rusu, directora de Datos, Información e Inteligencia
Evento: Cumbre mundial de ciudades y finanzas:
Regulación y gestión de riesgos de la Inteligencia Artificial en los servicios financieros
Entregado: 9 de noviembre de 2022
Nota: este es un discurso redactado y puede diferir de la versión entregada
Resúmenes
- La IA necesita gobernanza para pasar del miedo a la confianza, pero muchas de las reglas en los servicios financieros ya están en vigor.
- La agencia no debe atribuirse a los sistemas de IA, ya que esto corre el riesgo de eliminar la responsabilidad de las empresas.
- La adopción segura y responsable de la IA debe estar respaldada por datos de alta calidad.
Debates polarizados en torno a la IA
El debate en torno a la IA a menudo es polarizante.
O resuelve los problemas del mundo o conduce a nuestra destrucción final.
La IA, como la mayoría de la tecnología, se puede usar para el bien, para la codicia o para ambos.
Veamos un ejemplo reciente de la vida real.
Durante la pandemia, Matthew, el padre de gemelas de nueve años, estaba luchando con la educación en el hogar, algo con lo que muchos de nosotros podemos identificarnos.
Esta herramienta podría rastrear la emoción humana a medida que los usuarios veían contenido de video, adaptándolo en tiempo real de acuerdo con sus reacciones.
Inicialmente había pensado que esto tenía un enorme potencial comercial para el mundo del marketing.
No es muy difícil imaginar cómo podría funcionar esto en la práctica.
La tecnología de IA se puede utilizar para cambiar el aspecto y la voz de un modelo para dirigirse a un consumidor de una manera personal, muy similar a la forma en que funcionan las falsificaciones profundas. Esto tenía un enorme potencial de ingresos.
Esta tecnología podría incluso haber tenido un uso político: vender la tecnología de video adaptativo a los partidos políticos que permitiría a los políticos hiper-apuntar a los votantes individuales, cambiando su tono y promesas en línea con la reacción de los votantes.
Entonces, ¿qué pasó?
Momento Eureka
En última instancia, en ese momento de necesidad, el empresario se dio cuenta de que la herramienta de IA podría usarse como una fuerza para el bien en lugar de la codicia.
Trabajando con expertos en educación, lanzó un programa de matemáticas adaptativas que podría ser más fácil o más difícil en tiempo real, según las reacciones de los usuarios.
Todo esto cumplía con GDPR con los datos almacenados en el dispositivo del usuario en lugar de en algún centro de servidor anónimo.
Luego implementó IA de vanguardia en un proyecto con la organización benéfica Nacro, para ayudar a adultos jóvenes desfavorecidos a desarrollar habilidades blandas para entrevistas de trabajo y cursos. Su puesta en marcha obtuvo el respaldo de Innovate UK, el esquema gubernamental establecido por la Oficina del Gabinete.
Matthew podría haber sido fácilmente atraído por el camino de usar su tecnología para ayudar a los departamentos de marketing a vender más. Pero después de dos décadas en publicidad y varios meses de educación en el hogar, había encontrado un propósito más convincente.
En este ejemplo, el innovador eligió el bien sobre la codicia.
Pero sabemos por experiencia que no todas las innovaciones conducen a buenos resultados.
Siguen existiendo cuestiones éticas
Existen preocupaciones reales y legítimas en torno a la estabilidad económica, así como cuestiones éticas en torno a la capacidad de la IA para imitar la inteligencia humana.
Y tal vez haya preocupaciones más inmediatas sobre las empresas que explotan los datos de los consumidores y las preocupaciones de privacidad asociadas con la hiper orientación.
Pero también hay confusión sobre lo que realmente es la IA y lo que puede lograr de manera realista.
Y puede haber una renuencia a aprovechar las oportunidades de la innovación beneficiosa al estar demasiado atrapado en el miedo a lo desconocido.
Entonces, ¿dónde estamos realmente en este debate?
Encuesta de aprendizaje automático
Mirar los servicios financieros del Reino Unido puede darnos una perspectiva más equilibrada.
Recientemente publicamos una encuesta con el Banco de Inglaterra sobre el uso del aprendizaje automático y la IA en los servicios financieros.
La encuesta se realizó para proporcionar a los reguladores una mejor comprensión del uso del aprendizaje automático en los servicios financieros para que podamos comprender la mejor manera de apoyar su adopción segura y responsable.
La encuesta encontró, como era de esperar, que el uso de la IA en los servicios financieros se está acelerando.
- En general, el 72% de las empresas que respondieron a la encuesta informaron que usaban o desarrollaban activamente aplicaciones de aprendizaje automático.
- Se espera que esa tendencia se triplique con creces en los próximos tres años.
- La mayor aceptación esperada se da en el sector de seguros, seguido de la banca.
- Las empresas informaron que las aplicaciones de aprendizaje automático ahora están más avanzadas y cada vez más integradas en las operaciones diarias, con casi ocho de cada diez en las últimas etapas de desarrollo.
La encuesta también proporcionó algunas ideas sobre los sentimientos que rodean los beneficios, riesgos y oportunidades relativos para la IA en los servicios financieros.
En primer lugar, las empresas se mostraron optimistas sobre los beneficios del aprendizaje automático, incluidas las capacidades mejoradas de datos y análisis, la eficiencia operativa y una mejor detección del fraude y el lavado de dinero.
En segundo lugar, en términos de riesgo, las empresas que respondieron consideran que los usos actuales de la IA tienen un riesgo bajo a medio.
Identificaron el mayor riesgo para los consumidores como el sesgo de los datos y la representatividad de los datos.
El mayor riesgo para las empresas se identificó como la falta de explicabilidad de la IA.
Finalmente, en términos de oportunidades, las empresas están aprovechando los marcos de gobernanza existentes para abordar el uso de la IA.
Los resultados de esta encuesta proporcionan una visión más equilibrada de los riesgos a los que nos enfrentamos colectivamente junto con los beneficios relativos que proporciona la IA.
En la FCA, vemos muchos beneficios para la IA.
Estamos utilizando el aprendizaje automático para analizar más de 100.000 nuevos dominios web diariamente para identificar posibles sitios fraudulentos. Estamos aprovechando la PNL para apoyar nuestro trabajo de supervisión. Y estamos invirtiendo en herramientas de IA en nuestro entorno de inteligencia digital.
¿Ajuste o nuevas regulaciones?
La pregunta clave para los servicios financieros es si la IA puede gestionarse ajustando el marco regulatorio existente, o si se necesita un nuevo enfoque.
Recientemente hemos publicado este documento conjunto sobre IA para tener un amplio debate público sobre:
- si el enfoque regulatorio existente en los servicios financieros del Reino Unido funciona
- sí hay lagunas que deban abordarse o
- sí se necesita un enfoque regulador completamente nuevo
Lo que sustenta esta discusión es la idea de que ya tenemos un marco, el Régimen de Altos Directivos y Certificación (SMCR), que se puede aplicar a muchos de los nuevos desafíos regulatorios planteados por el uso de la IA en los mercados financieros del Reino Unido.
Los datos deficientes conducirán a malos resultados
Ahora, me gustaría dedicar unos minutos a discutir la IA desde el punto de vista del practicante. A menudo, cuando hablamos de IA y la complejidad de los modelos, olvidamos que la IA tiene que ver con los datos.
Si los datos utilizados en los modelos son de mala calidad, pueden conducir a resultados algorítmicos deficientes.
La importancia de las evaluaciones de calidad de los datos para determinar la relevancia, la representación y la idoneidad aumenta cuando se trata de IA.
Desde la obtención de grandes cantidades de datos y la creación de conjuntos de datos para capacitación, prueba y validación hasta el monitoreo continuo posterior a la implementación, la adopción segura y responsable de la IA debe estar respaldada por datos de alta calidad.
Además, el uso de la IA debe ser plenamente compatible con la legislación vigente, en particular la protección de datos.
Siguiendo con el punto de vista del profesional, uno de los puntos clave de discusión en torno a la IA es sobre las consecuencias no deseadas, a menudo denominadas sesgo de IA o riesgo del modelo de IA.
¿Cómo ocurre este sesgo de IA en la práctica?
Si estoy entrenando un algoritmo para predecir qué solicitantes debo contratar en mi equipo de ingeniería de datos mirando solo a los solicitantes anteriores, es posible que no obtenga la diversidad que quiero. Este es un ejemplo de sesgo de muestra.
El sesgo del modelo puede producirse durante el proceso de entrenamiento y está influenciado por la selección de características, la elección del modelo y los parámetros establecidos.
Las herramientas automatizadas de selección de modelos pueden exacerbar estos riesgos. Cualquier deficiencia, como datos incompletos o sesgados, socavará la validez del resultado.
El riesgo también ocurre debido a la falta de explicabilidad de los resultados modelados y el potencial de consecuencias no deseadas.
Y, finalmente, el riesgo de monitoreo se introduce después de la implementación, donde los modelos hiper ajustados son altamente susceptibles a la deriva de datos y la falta de supervisión sustantiva.
Gobernanza para la IA
Y esto me lleva a mi último punto: el papel central del marco de gobernanza para la IA.
La gestión de riesgos de modelos ha existido durante mucho tiempo. Una publicación de 2011 de la Reserva Federal estableció un punto de referencia global para la Gestión de Riesgos Modelo. Advirtió que:
- Puede haber consecuencias adversas de decisiones basadas en productos e informes de modelos mal utilizados.
- Esto puede conducir a pérdidas financieras, malas decisiones comerciales y estratégicas, o dañar la reputación de una organización bancaria.
A pesar de los enormes avances tecnológicos desde 2011, estos riesgos siguen siendo ciertos en 2022.
En el Reino Unido estamos aprovechando los marcos existentes, el SMCR, y estamos aplicando esto a la IA.
Ahora, existen desafíos prácticos que cualquier mecanismo de gobernanza de IA debe abordar, en torno a:
- Responsabilidad: quién supervisa, controla y supervisa el diseño, desarrollo, implementación y evaluación de modelos de IA
- Crear un marco para hacer frente a nuevos desafíos, como la explicabilidad de la IA.
- Cómo la gobernanza efectiva contribuye a la creación de una comunidad de partes interesadas con un conjunto de habilidades compartidas y comprensión técnica.
Por encima de todo, la gobernanza es importante porque garantiza que la responsabilidad esté donde debe estar: ¡con la empresa!
Las máquinas no tienen agencia, los humanos sí
Permítanme concluir diciendo que, como profesional de datos y regulador, soy optimista sobre los usos futuros de la IA, en los servicios financieros y más allá.
Debemos asumir la responsabilidad. No podemos atribuir la agencia a los sistemas de IA, lo que corre el riesgo de eliminar la responsabilidad de la toma de decisiones de las empresas.
Debemos aprovechar lo que ya tenemos en términos de marcos regulatorios existentes y adaptarlos a medida que cambian las tecnologías.
Insto a cualquier persona interesada en este tema a que se comprometa con nuestro documento de debate sobre IA para ayudar a que esa regulación sea más ágil y dinámica, de modo que existan salvaguardias proporcionadas para aprovechar las oportunidades que ofrece la IA, ya sea en interés del bien o de la codicia, o de ambos.
DP22/4: Inteligencia Artificial
Documentos de debate Primera publicación:11/10/2022 Última actualización:11/10/2022
Dar retroalimentación sobre cómo la inteligencia artificial puede afectar los objetivos de la FCA, el Banco de Inglaterra y la Autoridad de Regulación Prudencial.
Por qué estamos consultando
La FCA, el Banco de Inglaterra y la Autoridad de Regulación Prudencial tienen un gran interés en la adopción segura y responsable de la IA en los servicios financieros. Esto incluye considerar cómo la política y la regulación pueden apoyar mejor esto.
Queremos compartir y obtener comentarios sobre nuestro pensamiento sobre:
- los beneficios y riesgos potenciales relacionados con el uso de la IA en los servicios financieros
- cómo se aplica el marco regulatorio actual a la IA
- sí puede ser útil una aclaración adicional de la regulación existente
- cómo la política puede apoyar mejor una mayor adopción segura y responsable de la IA
A quién le interesará
- Empresas de servicios financieros reguladas por las autoridades supervisoras (tanto reguladas por doble como individual)
- Empresas de servicios financieros no reguladas
- Empresas de servicios profesionales (como empresas de contabilidad y auditoría)
- Despachos
- terceros (como empresas de tecnología)
- Asociaciones comerciales y organismos de la industria
- Organizaciones de establecimiento de normas
- Académicos
- Organizaciones de la sociedad civil