Reunión de la Región del Medio Oeste – American Accounting Association (AAA), Chicago Illinois
Gracias, Carol [«Shaokun» Yu] por la introducción.
Gracias también a John Hepp, Jason Stan Field, Jean Thompson y todos los demás organizadores de la conferencia por la invitación a hablar aquí hoy, en la reunión de la Región del Medio Oeste de este año de la Asociación Americana de Contabilidad (AAA), y por toda la preparación requerida para que un evento como este suceda. En una nota personal, crecí en el área de Chicago y asistí a la universidad en el sur de la U of I, por lo que siempre es un placer tener la oportunidad de volver a visitar mis raíces geográficas. Y, por último, las opiniones que expreso hoy son mías y no reflejan necesariamente las opiniones de la Comisión o de su personal.
Mis comentarios preparados esta mañana se centran en un tema que, aunque no es nuevo, ha recibido una cantidad creciente de atención en los últimos años: el «big data». No es la primera vez que hablo sobre este tema, ni sobre cómo la Comisión ha aprovechado el poder del big data en sus programas analíticos. Pero esta es la primera vez que me he centrado en cómo el crecimiento del big data puede estar dando forma a nuestro comportamiento. En particular, quiero dedicar algún tiempo a expresar mi punto de vista sobre el papel de la interacción humana con los procesos analíticos que se han desarrollado como consecuencia de la proliferación de big data.
El título de mi charla es: «¿El Big Data nos ha hecho perezosos?» Por supuesto, no habría hecho la pregunta si no hubiera pensado que había un componente de «sí» en la respuesta. No hay duda de que la mayoría, si no todos, de nosotros nos hemos beneficiado de nuestro nuevo entorno de información: los datos son mejores; hay más. Pero hay consecuencias de la proliferación de métodos analíticos habilitados por big data, algunos de los cuales pueden no ser obvios. Lo que espero hacer, en el transcurso de mi charla, es ilustrar cómo el auge del big data ha influido en la forma en que pensamos sobre nuestros programas de investigación y análisis en la División de Análisis Económico y de Riesgos de la SEC, también conocida como DERA. Creo que algo de lo que tengo que decir tiene fuertes paralelismos con lo que puede estar experimentando en su propia investigación académica y educación.
¿Qué es big data?
Un buen lugar para comenzar es haciendo la pregunta: «¿Qué es big data?» La respuesta con frecuencia depende de a quién le preguntes. Algunas de las mejores definiciones que he escuchado se basan en reglas generales. Y lo digo literalmente: la cantidad de datos que puede caber en una unidad USB. Cualquier cosa más grande es big data. También he escuchado a alguien decir que big data es cualquier cosa que no se puede procesar en una aplicación de escritorio estándar como Excel. Pero si habla con investigadores académicos y otros investigadores orientados cuantitativamente que trabajan con datos de alta velocidad, como los generados a través del comercio en el mercado de valores, es posible que le digan que el big data es cualquier cosa que tarde más de un día en procesarse. O, quizás más apropiadamente, datos que tardan más tiempo en procesarse de lo que se tardó en crearlos, por ejemplo, si se tarda más de un día en procesar los datos comerciales de un día.
Un tema común de estas y otras definiciones es la naturaleza de la potencia de cálculo y el software disponible para procesar los datos. En particular, «grande» no puede definirse solo por la cantidad. Lo que fue grande el año pasado no es grande hoy. Los avances en la potencia informática, la capacidad de almacenamiento de datos ampliada y las velocidades de interconexión más rápidas contribuyen a hacer que los datos sean más pequeños. Esto ha sido cierto durante décadas. Trabajé con big data en la década de 1990 cuando era ingeniero. Analicé millones de observaciones de datos que describían la física subyacente de los dispositivos de transistores que entraban en microcontroladores y microprocesadores. La única diferencia es que en ese entonces no sabía llamarlo big data. Entonces, para los propósitos de esta charla, supongamos que cuando hablo de big data, me estoy refiriendo a cualquier dato que se acerque a nuestras limitaciones computacionales para analizarlo.
Cómo big data está dando forma a los métodos analíticos
Si bien el aumento del big data es una innovación relativamente reciente, el modelado estadístico que hace uso de datos, datos de cualquier tamaño, no lo es. Por ejemplo, las regresiones de mínimos cuadrados ordinarios (OLS), un método estadístico ampliamente aplicado utilizado en la literatura académica actual, se documentaron y utilizaron por primera vez hace más de 200 años. Pero hasta hace quizás poco más de una década, la mayoría de las aplicaciones de OLS, y métodos estadísticos similares, se centraban en pequeñas muestras de datos. De hecho, no era raro que las revistas publicaran artículos cuyos resultados se extrajeron de muestras cuidadosamente recolectadas de menos de 100 observaciones. Esta fue la época en que la estática t importaba al interpretar la significación estadística.
Hoy en día, los estudios de esta (pequeña) magnitud son pocos y distantes entre sí. La investigación con cientos de miles o millones de observaciones es ahora un lugar común, y los investigadores pueden realizar muchos de estos análisis estadísticos a gran escala con una computadora portátil ordinaria, operada desde la comodidad de la cafetería de la esquina. Y para necesidades informáticas más intensivas y complicadas, las instituciones para las que trabajamos ya no están obligadas a invertir en costosos entornos informáticos que se ejecutan en las instalaciones. El acceso a entornos de computación en la nube de alto rendimiento es omnipresente. Puede alquilar el tiempo de CPU por ciclo, o por hora, y puede aumentar o reducir su espacio de almacenamiento con una flexibilidad aparentemente infinita.
Como resultado, los investigadores con acceso a estos recursos informáticos tienen menos limitaciones en el alcance de los posibles estudios empíricos. Y los paquetes de software estadístico listos para usar hacen un buen uso de estas nuevas libertades. Todos nos hemos convertido en expertos en la aplicación de las técnicas econométricas más sofisticadas. Atrás quedaron los días en que teníamos que programarlos nosotros mismos en FORTRAN, C o SAS. Ahora puede confiar en las comunidades de usuarios para empaquetarlos en scripts, que se pueden descargar y ejecutar en nuestro software de elección con solo unos pocos clics del mouse.
Esto ha permitido a los investigadores aumentar su enfoque en la evaluación de la solidez de los métodos empíricos que subyacen a las conclusiones de sus estudios. También ha aumentado las expectativas del personal editorial de las revistas de que lo hagan. Por ejemplo, me sorprendería si hay un investigador en esta sala que no se ha enfrentado al desafío econométrico de determinar la inferencia causal. El tema es omnipresente en casi todos los trabajos empíricos: ¿cómo podemos probar la dirección de la causalidad entre las correlaciones que observamos en nuestros estudios?
La mayoría de las investigaciones en ciencias sociales no tienen el beneficio de los experimentos controlados y deben basarse en observaciones naturales. La literatura académica enfatiza cada vez más la necesidad de identificar variables instrumentales en regresiones, o entornos de experimentos naturales, para controlar la posible causalidad inversa entre las correlaciones que observamos y estamos tratando de explicar en nuestros estudios.
Esta búsqueda de la perfección econométrica, y el uso de métodos estadísticos avanzados, ha tenido algunas consecuencias potencialmente no deseadas. La primera, en mi evaluación subjetiva, es que muchos artículos de revistas dedican menos páginas a estadísticas descriptivas y hechos estilizados que antes. En su lugar, encontramos baterías de controles de robustez econométrica. Pero cuando la publicación depende de la «prueba econométrica», puede limitar el descubrimiento y el examen de los comportamientos básicos del mercado y de los agentes. En particular, hay beneficios al documentar correlaciones, tendencias y hechos de estilo, incluso si su naturaleza aún no se comprende bien. Hacerlo puede proporcionar la base para hipótesis interesantes y nuevos modelos teóricos, que a su vez podrían generar más investigación empírica.
El segundo efecto de esta búsqueda, y una evaluación igualmente subjetiva de mi parte, es que esto ha alentado la rápida aparición del nuevo campo de la ciencia de datos. Es posible que aún no esté familiarizado con lo que esto abarca, pero estoy seguro de que todos aquí conocen términos como «aprendizaje automático», «redes neuronales», «minería de datos» y «procesamiento del lenguaje natural». Estas son algunas de las soluciones computacionales que la informática y las matemáticas aplicadas han aportado al análisis de big data. Es importante destacar que detrás de este nuevo campo hay una filosofía de que los enfoques analíticos deben comenzar a partir de los datos, con información importante generada mediante la creación de algoritmos diseñados para reconocer tendencias y patrones en ellos.
Para aquellos de ustedes como yo, cuya formación se basa en las ciencias sociales, aprender sobre la aplicación de estos métodos analíticos representa un cambio de paradigma. Los procesos deductivos formales y los modelos de regresión parsimoniosa son reemplazados por un enfoque ascendente basado en datos que permite que «los datos hablen por sí mismos». Las ciencias sociales nos enseñan que la minería de datos está prohibida; genera correlaciones espurias que llevan a conclusiones incorrectas sobre el funcionamiento del mundo. La ciencia de datos se basa en lo contrario: por ejemplo, depende del observador decidir qué hacer cuando un minorista en línea le informa que otros compradores también compraron curitas después de comprar cuchillas de afeitar.
Si busca publicaciones de blog y foros de Internet sobre el tema, encontrará un debate activo sobre las compensaciones de cada enfoque. La diferencia central que veo es que los científicos sociales buscan entender por qué existen las relaciones, es decir, desarrollan y prueban hipótesis que nos ayudan a comprender la naturaleza humana. Los científicos de datos buscan comprender las tendencias y están más enfocados en predecir el comportamiento que en entenderlo. Construyen modelos que se ajustan a los datos. Y privilegian la precisión sobre la intuición. Un científico social puede ver esto como perezoso. Un científico de datos ve esto como algo práctico.
Programas analíticos en la SEC
¿Por qué son importantes estas diferentes perspectivas para la forma en que abordamos el análisis de datos en la SEC? He estado en la Comisión durante casi una década. Durante ese tiempo, he trabajado en un gran número de cuestiones de política. Los análisis económicos que han apoyado estas decisiones políticas se basan predominantemente en la investigación basada en la teoría de los científicos sociales. Se basan en análisis cuidadosamente construidos que buscan abordar la inferencia causal, que es crucial para comprender el impacto potencial de una nueva regulación.
Pero en los últimos años, he sido testigo de la llegada de datos cada vez más complejos y nuevos métodos analíticos utilizados para analizarlos. Y algunos de estos métodos analíticos están permitiendo análisis de conjuntos de información previamente impenetrables, por ejemplo, aquellos sin estructura, como el texto de forma libre. Esto ha sido de particular interés para la SEC, donde las presentaciones de los solicitantes de registro a menudo se presentan en forma de una divulgación narrativa. Por lo tanto, como resultado, hemos comenzado una serie de nuevas iniciativas que aprovechan el enfoque de aprendizaje automático para las predicciones de comportamiento, particularmente en el área de la evaluación de riesgos de mercado, que incluye la identificación de posibles fraudes y mala conducta.
Hoy en día, la SEC, como muchas otras organizaciones, está adoptando estas nuevas metodologías a un ritmo muy rápido. Por supuesto, esto no quiere decir que estemos dejando de lado el modelado estadístico clásico. Y, como me gustaría centrarme ahora, ninguno de nuestros programas analíticos, ya sea basado en el modelado estadístico clásico o el aprendizaje automático, puede reemplazar el juicio humano, que sigue siendo esencial para hacer que el resultado de nuestros modelos y métodos analíticos sea procesable. Para entender por qué, permítanme darles algunos ejemplos.
Permítanme comenzar con el Programa de Evaluación de Riesgos de Emisores Corporativos, también conocido como CIRA, que se basa en modelos estadísticos clásicos desarrollados por economistas y contadores de DERA en colaboración con personal experto en la División de Cumplimiento de la SEC. Este programa surgió de una iniciativa originalmente conocida como el «modelo de calidad contable», o AQM, que a su vez estaba arraigado en la investigación académica. En particular, AQM se centró en las estimaciones de la calidad de las ganancias y las indicaciones de discreción gerencial inapropiada en el uso de los devengos. Como señaló el ex director de la División DERA y Economista jefe de la SEC, Craig Lewis, «las académicas en finanzas y contabilidad han estudiado durante mucho tiempo la información contenida en los estados financieros para comprender mejor las elecciones contables discrecionales que se toman al presentar información financiera a los accionistas».
Hoy en día, el programa CIRA incluye estas medidas de modelado de la calidad de las ganancias como parte de más de doscientas treinta (230) métricas personalizadas proporcionadas al personal de la SEC. Estos incluyen medidas de suavización de ganancias, actividad de auditoría, tratamientos fiscales, ratios financieras clave e indicadores de acciones gerenciales. Es importante destacar que el personal de la SEC puede acceder fácilmente a ellos a través de un panel intuitivo personalizado para su uso. Haciendo referencia a la colaboración de DERA con el Grupo FRAud de la División de Cumplimiento, el director de la División de Cumplimiento, Andrew Ceresney, señaló a principios de este año: «CIRA nos proporciona una visión general completa del entorno de información financiera de los solicitantes de registro de la Comisión y ayuda a nuestro personal a detectar patrones anómalos en los estados financieros que pueden justificar una investigación adicional».
Sin embargo, no fue así como la prensa informó por primera vez sobre la iniciativa original cuando acuñó el término «Robocop» para describirla, como si una máquina tomara las decisiones importantes para identificar los riesgos potenciales del mercado. Como señaló recientemente nuestro actual director y economista jefe de DERA, Mark Flannery, «esta perspectiva implícita es, en el mejor de los casos, inexacta y, en el peor, engañosa. Si bien estas actividades utilizan análisis cuantitativos diseñados para ayudar a priorizar los recursos limitados de la agencia, las herramientas que estamos desarrollando en DERA no funcionan, de hecho, no pueden funcionar por sí solas».
Pero al mismo tiempo, algunos de los desarrollos más emocionantes en la Comisión se han centrado en el aprendizaje automático y el análisis de texto. Si bien los métodos de aprendizaje automático han existido desde la década de 1950, es la llegada de big data y los entornos informáticos de alto rendimiento lo que ha avanzado en sus usos. En la Comisión, esto ha adquirido varias formas. En el nivel más básico, y de acuerdo con los métodos que ahora son comunes en la investigación académica, hemos extraído palabras y frases de divulgaciones narrativas en formularios y presentaciones. Por ejemplo, al aplicar una técnica de programación que utiliza reglas escritas por humanos para definir patrones en los documentos, denominadas «expresiones regulares», podemos medir y evaluar sistemáticamente cómo las empresas de crecimiento emergente se están haciendo uso de las disposiciones de la Ley JOBS a través de lo que divulgan en sus declaraciones de registro.
Más recientemente, hemos adoptado métodos de modelado de temas[ix] para analizar decenas de miles de divulgaciones narrativas contenidas en las presentaciones de los registrantes. Para aquellos de ustedes que no están familiarizados con el modelado de temas, cuando se aplica a un corpus de documentos, puede identificar grupos de palabras y frases en todos los documentos que pertenecen a conceptos distintos («temas») y generar simultáneamente la distribución de temas que se encuentran dentro de cada documento específico. También estamos realizando análisis de sentimientos utilizando técnicas de procesamiento de lenguaje natural para evaluar la tonalidad de cada presentación, por ejemplo, identificar aquellos con un tono negativo o un tono de ofuscación. Luego mapeamos estas «señales» de temas y tonalidades en medidas conocidas de riesgo, como resultados de exámenes o acciones de aplicación pasadas, utilizando algoritmos de aprendizaje automático. Una vez entrenado, el modelo final se puede aplicar a los nuevos documentos a medida que son presentados por los solicitantes de registro, con niveles de riesgo asignados sobre la base de los hallazgos históricos en todos los solicitantes. Este proceso se puede aplicar a diferentes tipos de divulgaciones, o a categorías únicas de solicitantes de registro, y los resultados se utilizan para ayudarnos a informarnos sobre cómo priorizar dónde debe buscar el personal de investigación y examen.
Si bien este enfoque de aprendizaje automático para el análisis de texto ha proporcionado una forma nueva y emocionante de detectar posibles conductas indebidas en el mercado, al igual que con los métodos de modelado clásicos, no funciona por sí solo. En particular, si bien un modelo puede clasificar una presentación como de alto riesgo, la clasificación no proporciona un indicador claro de posibles irregularidades. Por el contrario, muchos métodos de aprendizaje automático generalmente no apuntan a una acción o conducta en particular que indique fraude u otra violación. El elemento humano sigue siendo una parte necesaria de la ecuación.
Todavía necesitamos humanos en el mundo del Big Data
En términos más generales, lo que ambos programas de evaluación de riesgos ilustran es que nuestras iniciativas analíticas deben depender del personal de la SEC para operarlas y evaluar sus resultados. Esto no es un defecto en su diseño. Más bien, las iniciativas que reflejan un enfoque de modelado más clásico necesitan un diseño reflexivo en la parte delantera que solo un humano con experiencia significativa y conocimientos sobre el mercado puede proporcionar. Y por otro lado, las iniciativas de aprendizaje automático requieren cuidado y pensamiento en el back-end, desde el usuario humano, que necesita aportar esa misma experiencia para interpretar los resultados y derivar significado más allá de correlaciones simples (o no tan simples). En todos los casos, el papel humano es esencial cuando se utilizan los resultados para informar sobre decisiones críticas relacionadas con cuestiones de política o evaluación de riesgos.
La SEC emprende estas y muchas otras iniciativas como parte de su compromiso general de proteger a los inversores. Con ese fin, los resultados de estos modelos y herramientas de evaluación de riesgos, ya sea que se basen en un modelo clásico o en un enfoque de aprendizaje automático, solo pueden decirnos dónde centrar nuestra atención en el mercado. Los métodos pueden proporcionar indicios de posibles irregularidades, pero no pueden identificar la mala conducta sin que un investigador o examinador participe en una investigación adicional de expertos. Eso puede implicar la evaluación de los resultados de la analítica; decidir llevar a cabo investigaciones empíricas adicionales; o el uso de la experiencia del personal para determinar si los resultados del modelo analítico requieren evidencia adicional para cumplir con los elementos de una violación de la ley de valores.
Es importante destacar que, independientemente del método analítico que se utilice para identificar, por ejemplo, un posible fraude de valores, todavía necesitamos expertos en la SEC para poder identificar: (1) manipulación o engaño a través de tergiversación y / u omisión; (2) materialidad; (3) que la posible conducta infractora estaba «en conexión con» la compra o venta de valores, y (4) Scienter: intención o conocimiento de irregularidades. Esto es necesario para cumplir con los requisitos de umbral para presentar una acción de fraude de valores en el Tribunal Federal de Distrito. Por lo tanto, la analítica es solo el primer paso.
Una ilustración de cómo la intervención humana puede hacer que los resultados analíticos de estos programas sean más poderosos es cuando se combinan con los resultados de otras fuentes de información, como una propina, queja o referencia, conocida como TCR, de un participante del mercado u otro regulador. En particular, a menudo recibimos información de presuntas irregularidades por parte de una entidad que está cubierta por uno de nuestros programas o herramientas de evaluación de riesgos. En estos casos, un investigador puede usar el resultado para buscar corroboración instantánea o evidencia consistente con la acusación. Esto puede hacer que el TCR sea más inmediatamente procesable y dar como resultado una disposición más efectiva, aumentando la efectividad general de nuestros programas de monitoreo del mercado.
En términos más generales, el éxito de un programa analítico diseñado para detectar fraude o mala conducta depende del desarrollo de métodos y modelos que capturen con precisión lo que nuestro personal experto de investigación y examen a menudo sabe a través de su considerable experiencia. Es decir, los métodos analíticos deben identificar los factores de riesgo y los resultados que coincidan con lo que los investigadores y examinadores saben sobre la mala conducta del mercado. Esto requiere traducir el conocimiento experto en observaciones que puedan describirse numéricamente para que los algoritmos puedan derivar métricas recopiladas de fuentes de datos comunes que representen estos factores de riesgo.
Cuando sea apropiado, planeamos continuar tomando prestado de la literatura académica al generar nuevas ideas de evaluación de riesgos, como lo hicimos midiendo los niveles de acumulación discrecional como un indicador de la posible gestión de ganancias. Estamos revisando activamente la literatura académica para la investigación que se centra en posibles irregularidades, manipulación del mercado, fraude y otras actividades que pueden conducir a daños a los inversores. Llamo a estos «TCR académicos»: «referencias» por parte de investigadores académicos de la actividad del mercado que pueden justificar una mirada más cercana. A lo largo de los años, hemos dado la bienvenida a muchos de estos investigadores a la serie de seminarios de DERA para discutir sus hallazgos, y el intercambio de conocimientos ha contribuido significativamente a nuestros programas y, con suerte, a su investigación.
Una reflexión final sobre la calidad de los datos subyacentes
Antes de concluir, me gustaría tocar otro aspecto importante de cualquier iniciativa basada en datos. Con todos estos programas, todavía tenemos que ser reflexivos acerca de las fuentes de los datos que los informan. En particular, gran parte de los datos que utilizamos para informar los modelos y métodos analíticos provienen de divulgaciones obligatorias de la SEC y otros reguladores.
Sigue siendo importante pensar en qué información recopilamos en previsión de cómo la vamos a analizar. Si bien la potencia de cálculo puede resolver la dimensión temporal del procesamiento de datos, no puede mejorar la precisión de los mismos. La fotografía digital ofrece un excelente ejemplo de esto. En los viejos tiempos, cuando teníamos que llevar nuestra película a una tienda para desarrollarla, el tiempo y los costos pecuniarios de hacerlo proporcionaban disciplina en la forma en que tomábamos nuestras fotos. Fuimos reflexivos en la forma en que los enmarcamos. Hoy en día, tomamos fotos de nuestros teléfonos por la carga masiva, y se transmiten instantáneamente a las computadoras de nuestro hogar. El proceso de captura de imágenes ahora no tiene costo. Como resultado, tenemos menos incentivos para ser reflexivos en la parte delantera del proceso y pasar todo nuestro tiempo en la parte posterior tratando de averiguar si alguno de ellos realmente funcionó. Se podría argumentar que no hemos hecho nuestras vidas más fáciles, sino que simplemente hemos cambiado donde aplicamos nuestro tiempo y esfuerzo.
Nuestras experiencias con la fotografía digital ilustran que la utilidad de los datos no necesariamente aumenta al mismo ritmo que su crecimiento. El hecho de que tengamos una gran cantidad de datos no garantiza que haya una aplicación para todo. Y el big data no puede corregir los malos métodos empíricos, y los malos datos no se pueden analizar sin importar cuán grandes sean. La calidad de los datos sigue siendo importante sin importar su tamaño. Por lo tanto, seguimos teniendo que pensar cuidadosamente sobre cómo recopilamos datos. Y tal como lo hicimos al ensamblar pequeñas muestras de datos en una era anterior, debemos hacer lo mismo al generar muestras grandes hoy en día.
Para los inversores y el personal de la Comisión que supervisan los mercados, esto a menudo depende del diseño de los formularios que los solicitantes de registro deben presentar o de la información que de otro modo deben informar. Al pensar cuidadosamente en nuestras divulgaciones, como lo hacemos con cada una de nuestras iniciativas de elaboración de normas para las que se requiere divulgación, permitimos que los usuarios de los datos sean un poco «perezosos» si eligen dejar que los datos hablen por sí mismos, porque las respuestas están arraigadas en preguntas que fueron redactadas a propósito.
Conclusión
Así que permítanme volver a la pregunta que planteé anteriormente:«¿Big Data nos ha hecho perezosos?» Creo que la respuesta es simplemente: «No debería». Los programas que dirige DERA, en estrecha colaboración con colegas de la SEC, son un ejemplo vibrante de cómo los métodos clásicos de modelado y aprendizaje automático tienen un lugar vital en los enfoques para comprender cualquier área compleja, como los mercados financieros. Pero ambas son meras herramientas, aunque potencialmente muy poderosas, en la búsqueda de un significado que es fundamentalmente humano.
