El papel de Big Data, Machine Learning e IA en la evaluación de riesgos: una perspectiva regulatoria
Gracias también a Genevieve Furtado y a los demás organizadores de la conferencia por la invitación a hablar aquí hoy, a la 19ª. Conferencia Anual de Riesgo Operacional de América del Norte. Entiendo que este es el discurso de apertura de Champagne. Dado ese título, me siento obligado como economista a compartir con ustedes las últimas palabras de John Maynard Keynes, el padre de la macroeconomía moderna: «Debería haber bebido más champán». Espero que mis palabras de hoy aquí no inspiren un sentimiento similar. Y, por último, debo recordarles que las opiniones que expreso hoy son mías y no reflejan necesariamente las opiniones de la Comisión o de su personal.
Mis comentarios de esta tarde se centrarán en un tema tecnológico que está invadiendo muchos aspectos de nuestras vidas y cada vez más dentro de los mercados financieros: la Inteligencia Artificial. Quizás más conocida por su acrónimo de dos letras «AI», la inteligencia artificial ha sido el forraje de la escritura de ciencia ficción durante décadas. Pero la tecnología subyacente a la investigación de IA ha encontrado recientemente aplicaciones en el sector financiero, en un movimiento que cae bajo la bandera de «Fintech». Y la misma tecnología subyacente [aprendizaje automático e IA] está alimentando el campo derivado de «Regtech», para hacer que el cumplimiento y las actividades relacionadas con la regulación sean más fáciles, rápidas y eficientes.
Esta es la primera vez que abordo la aparición de la IA en una de mis charlas. Pero he hablado anteriormente sobre los dos elementos centrales que están permitiendo que el mundo se pregunte sobre su futuro: big data y aprendizaje automático. Al igual que muchas de sus instituciones, la Comisión ha hecho avances recientes y rápidos con programas analíticos que aprovechan el poder de los grandes datos. Están impulsando nuestros programas de vigilancia y permitiendo innovaciones en nuestras iniciativas de evaluación de riesgos de mercado. Y los pensamientos que estoy a punto de compartir reflejan mi punto de vista sobre las promesas, y también las limitaciones, del aprendizaje automático, el big data y la IA en la regulación del mercado.
Quizás un buen punto de partida sea con un breve resumen de dónde estábamos, en la Comisión, hace 2 años. Recuerdo bien, porque fue entonces cuando me invitaron a dar una charla en la Universidad de Columbia sobre el papel del aprendizaje automático en la SEC. Acepté la invitación con quizás menos previsión de la que debería haber tenido. Digo esto porque pronto me encontré buscando en Google la definición de aprendizaje automático. Y las respuestas que Google devolvió, y digo respuestas en plural, porque parece que hay muchas maneras de definirlo, se convirtieron en la primera diapositiva de esa presentación.
La ciencia del aprendizaje automático y el auge de la inteligencia artificial
La mayoría de las definiciones de aprendizaje automático comienzan con la premisa de que las máquinas pueden aprender de alguna manera. Y los principios centrales del aprendizaje automático, y la inteligencia artificial que implica, han existido durante más de medio siglo. Quizás la aplicación temprana más conocida fue en 1959, cuando Arthur Samuel, un científico de IBM, publicó una solución para el juego de las damas. Por primera vez, una computadora podría jugar a las damas contra un humano y ganar. [4] Esto ahora también es posible con el juego de mesa «Go», que ha existido durante 2.500 años y se supone que es más complicado y estratégico que el ajedrez. Hace veinte años, se creía ampliamente que una computadora nunca podría derrotar a un humano en un juego de «Go». Esta creencia se hizo añicos en 2016, cuando AlphaGo, un programa informático, derribó a un 18 veces campeón del mundo en un partido al mejor de siete. La puntuación: 4 a 1.
Otros avances recientes en el área de la traducción de idiomas son igualmente, si no más, impresionantes. Hoy, si la mejor respuesta a mi pregunta sobre la definición de aprendizaje automático está en japonés, Google puede traducir la respuesta al inglés con un sorprendente grado de claridad y precisión. Saque su teléfono inteligente y pruébelo. Traduce el aprendizaje automático al japonés. Copie y pegue el resultado en la función de búsqueda de su navegador. Copia y pega el párrafo principal del primer resultado en japonés en Google Translate. La traducción al inglés te dejará boquiabierto. Lo que de otra manera tomaría toda una vida de aprendizaje para lograr regresa en solo unos segundos.
La ciencia subyacente es notable y está más allá del alcance de esta charla. (Sin mencionar mi capacidad para explicarlo completamente). Pero no es demasiado difícil entender que los recientes avances en el aprendizaje automático están dando forma a cómo está evolucionando la IA. Los primeros intentos de IA utilizaron computadoras para imitar el comportamiento humano a través de métodos basados en reglas, que aplicaron algoritmos basados en lógica que le dicen a una computadora que «haga esto si observa eso». Hoy en día, el aprendizaje automático basado en la lógica está siendo reemplazado por un enfoque de datos. Y por data-up, me refiero a programar una computadora para aprender directamente de los datos que ingiere. Utilizando este enfoque, las respuestas a los problemas se logran a través del reconocimiento de patrones y asociaciones comunes en los datos. Y no confían en un programador para entender por qué existen. La inferencia, un requisito previo para una regla, no es necesaria. En cambio, pequeñas máquinas de votación, impulsadas por redes neuronales, examinan comportamientos cuantificables del pasado y compiten en las mejores respuestas posibles a nuevas situaciones.
Si desea un ejemplo tangible de esto, no piense más allá de su experiencia de compra en línea más reciente. Tras la compra de sombreros de fiesta, es probable que su minorista preferido le informe que otros compradores también compraron velas de cumpleaños. ¿Quizás tú también los necesitas? Detrás de esta recomendación hay un algoritmo informático que analiza los patrones de compra históricos de usted y otros compradores. A partir de esto, predice futuras decisiones de pares de compras. Al algoritmo no le importa por qué existen las asociaciones. No importa si las predicciones no tienen sentido intuitivo. El algoritmo solo se preocupa por la precisión de la predicción. Y el algoritmo actualiza continuamente las predicciones a medida que llegan nuevos datos y surgen nuevas asociaciones.
Este enfoque basado en datos es mucho más fácil de aplicar y está demostrando en muchos casos ser más preciso que los enfoques anteriores basados en la lógica para el aprendizaje automático. Pero, ¿cómo ayuda a un regulador del mercado saber que los compradores de proteína en polvo también pueden necesitar zapatillas para correr?
La respuesta simple, y tal vez obvia, es que los reguladores pueden beneficiarse de la comprensión de los resultados probables de los comportamientos de los inversores. La verdad más difícil es que aplicar métodos de aprendizaje automático no siempre es simple. Los resultados a menudo no son observables. El fraude, por ejemplo, es lo que los científicos sociales llaman una variable latente. No lo ves hasta que se encuentra. Por lo tanto, es más difícil para los algoritmos de aprendizaje automático hacer predicciones precisas de posibles fraudes que las decisiones de compra, donde los minoristas tienen acceso a historiales de transacciones completos, es decir, resultados completos para cada acción. Lo mismo ocurre con la traducción de idiomas; hay un corpus extremadamente grande de traducciones de pares de idiomas para que un algoritmo las estudie e imite.
Hace dos años, abordar este tipo de cuestiones en la Comisión todavía estaba en el horizonte. Pero se ha avanzado mucho desde entonces, y el aprendizaje automático ahora está integrado en varios programas de evaluación de riesgos, a veces de maneras que entonces no imaginábamos. Estoy a punto de compartir con ustedes algunas de estas experiencias. Pero permítanme anticipar ahora, que si bien el cerebro humano continuará perdiendo terreno frente a las máquinas, no creo que alguna vez se desmantele con respecto a la regulación de nuestros mercados financieros.
El auge del aprendizaje automático en la Comisión
Permítanme comenzar dándoles algunos antecedentes sobre la incursión inicial del personal en los márgenes del aprendizaje automático, que comenzó poco después del inicio de la crisis financiera. Fue entonces cuando experimentamos por primera vez con métodos analíticos de texto simples. Esto incluyó el uso de recuentos de palabras simples y algo llamado expresiones regulares, que es una forma de identificar frases estructuradas en documentos basados en texto. En una de nuestras primeras pruebas, examinamos las presentaciones de emisores corporativos para determinar si podríamos haber previsto algunos de los riesgos planteados por el aumento y el uso de los contratos de swaps de incumplimiento crediticio [CDS] que condujeron a la crisis financiera. Hicimos esto mediante el uso de métodos analíticos de texto para medir mecanizadamente la frecuencia con la que estos contratos se mencionaron en las presentaciones de los emisores corporativos. Luego examinamos las tendencias a lo largo del tiempo y entre los emisores corporativos para saber si surgió alguna señal de riesgo inminente que podría haberse utilizado como una alerta temprana.
Esta fue una prueba de concepto bastante cruda. Y no funcionó exactamente como se pretendía. Pero sí demostró que los métodos analíticos de texto podrían aplicarse fácilmente a las presentaciones de la SEC. Nuestro análisis mostró que la primera mención de los contratos de CDS en un formulario 10-K fue realizada por tres bancos en 1998. En 2004, más de 100 emisores corporativos habían mencionado su uso. Pero el gran aumento en las divulgaciones de CDS se produjo en 2009. Esto fue, por supuesto, después de que la crisis estuviera en pleno apogeo. Y la identificación de esos temas por parte de la prensa no fue mucho antes. Analizamos los titulares, los párrafos principales y el texto completo de los artículos en los principales medios de comunicación durante los años previos a la crisis financiera y descubrimos que las discusiones sólidas sobre los temas de CDS no ocurrieron hasta 2008. Durante ese año, encontramos un aumento de diez veces en los artículos de CDS en relación con el año anterior.
Uso del procesamiento del lenguaje natural
Incluso si el aumento en las tendencias de divulgación de CDS hubiera sido anterior a la crisis, todavía habríamos necesitado saber para buscarlo. No puede realizar un análisis sobre un riesgo emergente a menos que sepa que está emergiendo. Por lo tanto, esta limitación proporcionó motivación para la siguiente fase de nuestros esfuerzos de procesamiento del lenguaje natural. Fue entonces cuando comenzamos a aplicar métodos de modelado de temas, como la asignación de diciclets latentes a las divulgaciones de los registrantes y otros tipos de documentos de texto. LDA, como también se conoce al método, mide la probabilidad de las palabras dentro de los documentos y en todos los documentos, con el fin de definir los temas únicos que representan. Esto es lo que la comunidad de científicos de datos llama «aprendizaje no supervisado». No tiene que saber nada sobre el contenido de los documentos. No se necesita experiencia en la materia. LDA extrae información de los documentos, utilizando el enfoque de datos para definir temas comunes (estos son los temas) e informar sobre dónde y en qué medida aparecen en cada documento.
Uno de nuestros primeros experimentos de modelado de temas analizó la información en los consejos, quejas y referencias (también conocidos como TCR) recibidos por la SEC. El objetivo era saber si podíamos clasificar los temas directamente a partir de los propios datos y de una manera que permitiera una clasificación más eficiente de los TCR. En otro experimento, DERA, la División de Análisis Económico y de Riesgos, el personal de investigación examinó si el aprendizaje automático podría identificar digitalmente las divulgaciones anormales por parte de los emisores corporativos acusados de irregularidades. El personal de investigación de DERA descubrió que cuando las empresas eran objeto de acciones de cumplimiento relacionadas con la presentación de informes financieros, hacían menos uso de un tema identificado por LDA relacionado con la discusión sobre el desempeño. Este resultado es consistente con los emisores acusados de mala conducta que minimizan los riesgos y preocupaciones reales en su divulgación financiera.
Estos métodos de aprendizaje automático se aplican ahora ampliamente en toda la Comisión. El modelado de temas y otras técnicas de análisis de conglomerados están produciendo grupos de documentos y divulgaciones «similares» que identifican comportamientos comunes y atípicos entre los participantes del mercado. Estos análisis pueden identificar rápida y fácilmente tendencias latentes en grandes cantidades de información financiera no estructurada, algunas de las cuales pueden justificar un mayor escrutinio por parte de nuestro personal de aplicación o examen.
Además, trabajando con nuestros colegas de cumplimiento y examen, el personal de DERA puede aprovechar el conocimiento de estas colaboraciones para entrenar los algoritmos de aprendizaje automático. Esto se conoce como aprendizaje automático «supervisado». Estos algoritmos incorporan la dirección y el juicio humanos para ayudar a interpretar los resultados del aprendizaje automático. Por ejemplo, los hallazgos humanos de los exámenes de los solicitantes de registro se pueden usar para «entrenar» a un algoritmo para comprender qué patrón, tendencia o lenguaje en los datos del examen subyacente pueden indicar un posible fraude o mala conducta. En términos más generales, utilizamos algoritmos no supervisados para detectar patrones y anomalías en los datos, utilizando nada más que los datos, y luego utilizamos algoritmos de aprendizaje supervisado que nos permiten inyectar nuestro conocimiento en el proceso; es decir, el aprendizaje supervisado «mapea» los patrones encontrados a etiquetas específicas definidas por el usuario. Desde una perspectiva de detección de fraude, estos algoritmos sucesivos se pueden aplicar a nuevos datos a medida que se generan, por ejemplo, a partir de nuevas presentaciones ante la SEC. Cuando llegan nuevos datos, la «máquina» entrenada predice la probabilidad actual de un posible fraude sobre la base de lo que aprendió que constituía un posible fraude a partir de datos pasados.
Un ejemplo de aprendizaje automático para detectar posibles conductas indebidas de asesores de inversión
Permítanme darles un ejemplo concreto en el contexto del espacio de asesores de inversiones. El personal de DERA actualmente ingiere un gran corpus de datos estructurados y no estructurados de presentaciones regulatorias de asesores de inversiones en un clúster computacional de Hadoop. Este es uno de los entornos informáticos de big data que utilizamos en la Comisión, que permite el procesamiento distribuido de archivos de datos muy grandes. Luego, el personal de modelado de DERA se hace cargo con un enfoque de dos etapas. En el primero, aplican algoritmos de aprendizaje no supervisado para identificar comportamientos de informes únicos u atípicos. Esto incluye tanto el modelado de temas como el análisis de tonalidad. El modelado de temas permite que los datos definan los temas de cada presentación. El análisis de tonalidad mide la negatividad de una presentación al contar la aparición de ciertos términos financieros que tienen connotaciones negativas. El resultado de la primera etapa se combina con los resultados de exámenes anteriores y se introduce en un algoritmo de [aprendizaje automático] de la segunda etapa para predecir la presencia de riesgos idiosincrásicos en cada asesor de inversiones.
Los resultados son impresionantes. Los análisis de pruebas retrospectivas muestran que los algoritmos son cinco veces mejores que los aleatorios para identificar el lenguaje en las presentaciones regulatorias de asesores de inversiones que podrían merecer una remisión a la aplicación. Pero los resultados también pueden generar falsos positivos o, más coloquialmente, falsas alarmas. En particular, la identificación de un mayor riesgo de mala conducta o violación de las reglas de la SEC a menudo puede explicarse por acciones e intenciones no nefastas. Debido a que somos conscientes de esta posibilidad, el personal experto sabe examinar y evaluar críticamente el resultado de estos modelos. Pero dada la capacidad demostrada de estos algoritmos de aprendizaje automático para guiar al personal a áreas de alto riesgo, se están convirtiendo en un factor cada vez más importante en la priorización de los exámenes. Esto permite el despliegue de recursos limitados en las áreas del mercado que son más susceptibles a una posible conducta infractora.
El papel del Big Data
Es importante tener en cuenta que todos estos notables avances en el aprendizaje automático son posibles gracias a la aparición de big data, y de lo contrario dependen de ella. La capacidad de un algoritmo informático para generar soluciones útiles a partir de los datos se basa en la existencia de una gran cantidad de datos. Más datos significa más oportunidades para que un algoritmo informático encuentre asociaciones. Y a medida que se encuentran más asociaciones, mayor es la precisión de las predicciones. Al igual que con los humanos, cuanta más experiencia tenga una computadora, mejores serán los resultados.
Este enfoque de prueba y error para el aprendizaje de computadoras requiere una inmensa cantidad de potencia de procesamiento de computadoras. También requiere una potencia de procesamiento especializada, diseñada específicamente para mejorar el rendimiento de los algoritmos de aprendizaje automático. El personal de la SEC está utilizando actualmente estos entornos informáticos y también planea ampliarlos para acomodar futuras aplicaciones que serán a gran escala. Por ejemplo, los intercambios de mercado comenzarán a informar todas sus transacciones a través del sistema Consolidated Audit Trail, también conocido como CAT, a partir de noviembre de este año. Los corredores de bolsa seguirán con sus órdenes y transacciones durante los siguientes 2 años. Esto dará como resultado datos sobre las transacciones de mercado a una escala sin precedentes. Y, hacer uso de estos datos requerirá los métodos analíticos que estamos desarrollando actualmente para reducir los enormes conjuntos de datos en patrones utilizables de resultados, todos destinados a ayudar a los reguladores a mejorar el monitoreo y la vigilancia del mercado.
Ya tenemos cierta experiencia en el procesamiento de big data de transacciones. Utilizando, una vez más, nuestras tecnologías de big data, como los clústeres computacionales de Hadoop que están disponibles tanto en las instalaciones como disponibles a través de servicios en la nube, actualmente procesamos conjuntos de datos masivos. Un ejemplo son los datos de Option Pricing Reporting Authority o datos de OPRA. Para ayudarlo a comprender el tamaño del conjunto de datos OPRA, el valor de un día de datos OPRA es de aproximadamente dos terabytes. Para ilustrar el tamaño de un solo terabyte, piense en 250 millones de páginas impresas a doble cara, a un solo espacio. Por lo tanto, en este conjunto de datos, actualmente procesamos el equivalente a 500 millones de documentos todos los días. Y reducimos esta información a piezas de información más utilizables, incluidas las estadísticas de calidad y precios del mercado.
Sin embargo, con respecto al big data, es importante tener en cuenta que un buen dato es mejor que más datos. Hay límites a lo que un algoritmo inteligente de aprendizaje automático puede hacer con datos no estructurados o de mala calidad. Y no hay sustituto para recopilar información correctamente desde el principio. Esto está en la mente de muchos de nuestros empleados cuantitativos. Y marca un cambio fundamental en la forma en que la Comisión ha pensado históricamente sobre la información que recopila. Por ejemplo, cuando comencé en la Comisión hace casi una década, los documentos físicos en papel y las presentaciones dominaban nuestros sistemas de información de valores. Gran parte de ella llegó por correo, y algunos [documentos] todavía nos llegan en papel o en formato no estructurado. Pero esto está cambiando rápidamente, ya que continuamos modernizando la recopilación y difusión de datos oportunos, legibles por máquina y estructurados a los inversores.
El personal también es consciente de la necesidad de mejorar continuamente la forma en que recopilamos información de los solicitantes de registro y otros participantes del mercado, ya sea información sobre swaps basados en valores, transacciones en el mercado de valores, divulgaciones financieras de emisores corporativos o tenencias de compañías de inversión. Consideramos muchos factores, como el formato óptimo de presentación de informes, la frecuencia de los informes, los elementos de datos más importantes que se deben incluir y si los metadatos deben recopilarse aplicando una taxonomía de definiciones a los datos. Consideramos estos factores cada vez que el personal hace una recomendación a la Comisión para nuevas reglas, o enmiendas a las reglas existentes, que requieren informes y divulgaciones de los participantes en el mercado o de los registrantes de la SEC.
El futuro de la inteligencia artificial en la Comisión
Entonces, ¿dónde deja esto a la Comisión con respecto a todo el rumor sobre la inteligencia artificial?
En este punto de nuestros programas de evaluación de riesgos, el poder del aprendizaje automático es claramente evidente. Hemos utilizado tanto el aprendizaje automático como las tecnologías de big data para extraer información procesable de nuestros conjuntos de datos masivos. Pero las computadoras aún no están realizando exámenes de cumplimiento por su cuenta. Ni siquiera cerca. Los algoritmos de aprendizaje automático pueden ayudar a nuestros examinadores al indicarles la dirección correcta en su identificación de posibles fraudes o mala conducta, pero los algoritmos de aprendizaje automático no pueden preparar una referencia a la aplicación. Y los algoritmos ciertamente no pueden presentar una acción de cumplimiento. La probabilidad de un posible fraude o mala conducta identificada en función de una predicación de aprendizaje automático no puede, y no debe, ser la única base de una acción de cumplimiento. Todavía se necesitan pruebas corroborativas en forma de testimonios de testigos o pruebas documentales, por ejemplo. En pocas palabras, la interacción humana es necesaria en todas las etapas de nuestros programas de evaluación de riesgos.
Entonces, si bien los principales avances en el aprendizaje automático han mejorado y continuarán mejorando nuestra capacidad para monitorear los mercados en busca de posibles conductas indebidas, es prematuro pensar en la IA como nuestro próximo regulador del mercado. La ciencia aún no está allí. Las tecnologías de aprendizaje automático más avanzadas utilizadas hoy en día pueden imitar el comportamiento humano de maneras sin precedentes, pero el razonamiento de alto nivel por parte de las máquinas sigue siendo una esperanza difícil de alcanzar.
No quiero decir que estos comentarios sean de ninguna manera despectivos de los avances significativos que la informática ha traído a las actividades de evaluación del mercado, que históricamente han sido el dominio de las ciencias sociales. Y esto no significa que el personal no continuará siguiendo los esfuerzos innovadores que nos están acercando a la IA. Por el contrario, puedo ver la evolución de la ciencia de la IA que nos permite desarrollar sistemas capaces de agregar datos, evaluar si ciertas leyes o regulaciones federales de valores pueden haber sido violadas, crear informes detallados con justificaciones que respalden el riesgo de mercado identificado y enviar el informe que describe ese posible riesgo o posible violación al personal de Enforcement u OCIE para una mayor evaluación y corroboración.
No está claro cuánto tiempo tardará en desarrollarse un programa de este tipo. Pero será antes de lo que hubiera imaginado hace 2 años. E independientemente de cuándo, espero que siempre se requieran la experiencia y las evaluaciones humanas para hacer uso de la información en la regulación de nuestros mercados de capitales. Porque no importa si la tecnología detecta un posible fraude o mala conducta, o si capacitamos a la máquina para evaluar la efectividad de nuestras regulaciones: es el personal de la SEC quien utiliza los resultados de las tecnologías para informar nuestra aplicación, cumplimiento y marco regulatorio.