Durante el verano, el Open Data Institute (ODI) publicó un nuevo marco que define qué características hacen que los datos sean realmente aptos para la IA. Este marco se resume en tres pilares: la calidad de los datos, metadatos completos y una infraestructura sólida. La buena noticia es que XBRL ya incorpora la mayoría de estos requisitos en sus capacidades y prácticas de ecosistema.
El marco exige el cumplimiento de estándares internacionales y la coherencia semántica en todas las entradas de datos; un enfoque en el que se basa XBRL. Con sus taxonomías de «gemelos digitales» que modelan los estándares de informes pertinentes y una estructura de informes estandarizada, XBRL garantiza la coherencia en el significado de los datos financieros y otros datos empresariales.
ODI también hace referencia a las normas ISO para la coherencia de los datos, pero las taxonomías XBRL ya lo proporcionan, al incorporar definiciones semánticas y relaciones directamente en los datos para garantizar que estos cumplan con los requisitos.
También se considera crucial la presencia de metadatos legibles por máquina que permanecen asociados a los conjuntos de datos. En XBRL, cada dato reportado se vincula a un concepto, con sus unidades, dimensiones y precisión, todo ello organizado en un formato legible por máquina. Se trata de datos integrados con contexto, inseparables desde el principio.
En cuanto a la infraestructura, ODI destaca la necesidad de API, control de versiones y portales accesibles. Gran parte del ecosistema XBRL ofrece todo esto, con herramientas maduras y repositorios abiertos bien establecidos que permiten el control de versiones tanto de informes (datos) como de taxonomías (metadatos). Inline XBRL ofrece lo mejor de ambos mundos: informes legibles para humanos que las máquinas pueden analizar.
El enfoque del ODI en datos dimensionales y semántica clara se alinea con el enfoque tradicional de XBRL, que define relaciones precisas entre los puntos de datos y entre estos y sus conceptos de apoyo. Este diseño estructurado facilita enormemente que los sistemas de IA comprendan, naveguen e interpreten directamente las relaciones entre los datos.
Con la próxima publicación de los materiales iniciales para comentarios del grupo de trabajo de la taxonomía del modelo de información abierta XBRL (OIM), resulta alentador comprobar que compartimos los principios bien fundamentados del ODI. Nuestra próxima generación de especificaciones simplificará y mejorará enormemente la forma en que se pueden expresar las definiciones de datos, incluso mediante opciones de sintaxis altamente compatibles con la IA.
Un marco para datos preparados para la IA
Mediante esta investigación, buscamos definir la preparación para la IA y sus principios subyacentes.
Los datos son la base de la IA. Los datos de baja calidad aumentan los costos y pueden generar problemas ocultos para la IA, especialmente en campos complejos como la atención médica. Asimismo, los datos sesgados afectan negativamente el rendimiento de los modelos de IA, y los conjuntos de datos de evaluación no revisados pueden dar lugar a falsos positivos o sobreestimaciones de la precisión del modelo. Por lo tanto, los profesionales de la IA deben dedicar tiempo a garantizar que los conjuntos de datos que utilizan estén listos, lo que les permitirá dedicar menos tiempo a innovar y ofrecer soluciones de IA. En cambio, su trabajo sería más eficiente y productivo si los conjuntos de datos se publicaran de forma que estén preparados para la IA.
En esta investigación, buscamos definir la preparación para la IA y sus principios subyacentes. Nos centramos en crear criterios específicos que los publicadores de datos deben seguir, con el objetivo de ofrecer recomendaciones prácticas en lugar de simples conceptos generales sobre datos, metadatos y diseño de infraestructura.
Para recopilar y perfeccionar los requisitos de datos preparados para la IA, utilizamos información de una revisión bibliográfica, entrevistas con expertos y la experiencia del equipo de ODI, que lleva más de una década trabajando en prácticas de datos. Presentamos los requisitos junto con información contextual en el informe principal y los resumimos en un marco visual independiente que puede utilizarse para evaluar y mejorar las prácticas de publicación de conjuntos de datos.
Introducción
Los datos son la base de la IA. Los datos de mala calidad aumentan los costes y pueden provocar problemas ocultos para los modelos de IA, especialmente en campos complejos como la sanidad y las políticas públicas, mientras que los datos sesgados afectan negativamente al rendimiento de los modelos de IA y los conjuntos de datos de evaluación no inspeccionados pueden provocar falsos positivos o sobreestimaciones de la precisión del modelo. Para que los editores de datos alcancen su verdadero potencial en el apoyo al ecosistema de IA y sus impactos, deberían tomar medidas para asegurar que sus conjuntos de datos apoyan las necesidades de los profesionales de IA; en otras palabras, sus datos deben estar preparados para IA.
A lo largo de la investigación del programa de IA centrada en datos del ODI, hemos definido la preparación de un conjunto de datos para IA en cuatro componentes: su optimización técnica para el aprendizaje automático; su calidad general y cumplimiento de los estándares; su cumplimiento legal; y su recopilación responsable. Estos componentes abarcan el cumplimiento ético y regulatorio de un conjunto de datos, así como su facilidad de uso tanto para los profesionales técnicos (por ejemplo, ingenieros e investigadores en IA) como para los actores de apoyo en el ecosistema (por ejemplo, equipos responsables de IA (RAI) y organismos de gobernanza y regulación).
El concepto de preparación para IA ha ganado relevancia, pero en general sigue siendo demasiado vagamente definido y complejo para implementarlo de forma práctica. Los marcos existentes, como AIDRIN, 4 Bridge2AI 5 o FAIR-R 6, ofrecen recomendaciones de alto nivel en los cuatro componentes de la preparación para IA, pero a menudo carecen de la especificidad accionable que requieren los editores de datos, que rara vez son especialistas en IA. En contraste, las iniciativas en el campo de RAI 7 ofrecen recomendaciones específicas para estos dos últimos componentes de la preparación para IA, pero carecen de la visión holística que necesita un editor de datos al dar pasos hacia prácticas de datos listas para IA.
Este informe propone un marco de preparación para IA que aborda estas limitaciones. Al involucrar a profesionales de IA y expertos en el sector y combinar sus conocimientos con la experiencia del ODI, describimos los pasos concretos que los editores de datos y los proveedores de repositorios pueden seguir para lograr una preparación genuina y holística para IA. Nuestro marco promueve un enfoque ‘por diseño’ para la preparación para IA, enfocado en los aspectos prácticos de la recopilación, preparación y publicación de un conjunto de datos para mejorar su calidad y utilidad para el ecosistema de IA. De manera significativa, nuestro enfoque no se extiende a evaluar la preparación organizativa o institucional para IA; en cambio, se centra en los datos, metadatos y la infraestructura que rodea un conjunto de datos publicado, y cómo cada componente puede estar listo para IA.
Mas allá de FAIR y otros marcos de preparación de datos
El marco de principios FAIR 8 es el ejemplo más reconocido de orientación para prácticas de datos. Los principios se refieren a datos, metadatos e infraestructura circundante 9 y abogan por que, para que el ecosistema digital global permita plenamente soluciones de investigación y empresas basadas en datos, los conjuntos de datos deben ser Localizables, Accesibles, Interoperables y Reutilizables (FAIR). Sin embargo, a pesar de la amplia adopción de FAIR, nuestras conversaciones con profesionales de IA revelaron un consenso en que los principios carecen de la especificidad técnica necesaria para una orientación práctica de preparación para IA. Los Perfiles de Implementación (FIPs) FAIR 10 buscan añadir ese detalle a la guía FAIR, aunque los FIPs publicados generalmente se limitan a las ciencias de la vida y rara vez contienen recomendaciones para la preparación para IA en conjuntos de datos.
Recientes adaptaciones de los principios de FAIR han comenzado a explorar estas limitaciones. Verhulst, Zahuranec y Chafetz (2025) propusieron ampliar FAIR con una dimensión centrada en la preparación para IA (FAIR-R), destacando los autores la importancia de conjuntos de datos estructurados y correctamente etiquetados para fines de IA. FAIR-R también implica procedencia, transparencia, mitigación de sesgos, anotación detallada y prácticas de gobernanza para conjuntos de datos de IA. Aun así, estos criterios siguen siendo conceptuales en el artículo, ofreciendo temas de discusión de alto nivel sin una guía operativa concreta para los editores de datos. De manera similar, co-diseñaron adaptaciones específicas para IA para los principios de FAIR basadas en conversaciones entre iniciativas internacionales de FAIR; sin embargo, estas carecen de recomendaciones detalladas que los editores de datos pudieran utilizar.
En su análisis fundamental de una variedad de marcos de calidad de datos, concluyen que, aunque las evaluaciones tradicionales pueden ayudar a identificar problemas de calidad de datos, a menudo no llegan a proporcionar una guía operativa concreta. Otros marcos de preparación para IA también enfrentan estas limitaciones: por ejemplo, combinan métricas tradicionales de calidad de datos (como la completitud o duplicación) con métricas específicas de IA (como la equidad), pero siguen siendo una herramienta evaluativa más que accionable para el diseño o publicación de conjuntos de datos.
De manera similar, el trabajo ofrece principalmente orientación conceptual, describiendo características de datos y transformaciones de calidad sin instrucciones específicas, al igual que el marco ABC.
Los marcos de preparación para IA de conjuntos de datos suelen estar diseñados específicamente para dominios y materias específicas. Por ejemplo, el grupo de trabajo Bridge2AI ofrece directrices prácticas y prácticas para que los conjuntos de datos biomédicos estén listos para IA, con consejos útiles para editores de datos, aunque centrados en el entorno alrededor de un conjunto de datos más que en sus propiedades específicas. Están en el campo de los datos médicos. Sin embargo, su marco METRIC es diametralmente opuesto al de Bridge, centrándose en métricas intrínsecas de calidad de datos encontradas en la literatura médica en lugar de adoptar una visión holística de las prácticas de datos. Finalmente, un informe del Departamento de Comercio de EE.UU. ofrece acciones específicas para que los datos abiertos del gobierno estén listos de forma integral para IA. Aunque estas recomendaciones son sólidas y bien fundamentadas, se limitan a su contexto gubernamental más que a su aplicación a datos empresariales o científicos.
Organizaciones académicas y de la sociedad civil han redactado los marcos anteriores, pero también existen varios marcos de preparación para IA empresarial. Generalmente, estos se ocupan de la preparación organizativa para el uso de IA, pero la mayoría contienen un componente de ‘gobernanza de datos’ o ‘gestión de datos’ relevante para nuestros propósitos. Por ejemplo, el AI Maturity Explorer de Accenture y el marco de preparación y gestión de IA de Deloitte plantean preguntas operativas sobre el uso de los datos, incluyendo si una cultura de ‘datos e IA’ está integrada en su organización y qué tan bien trabajan conjuntamente los equipos de ciencia de datos y aprendizaje automático. El marco de Deloitte menciona que los datos etiquetados de alta calidad son esenciales, pero faltan detalles cruciales relacionados con el papel de los metadatos, la RAI y la infraestructura.
Cabe señalar que existen marcos de madurez de datos empresariales (como el Data Maturity Framework de JISC, el DMBOK Framework de DAMA y el Data Governance Maturity Model de Gartner) y podrían ser puntos de referencia para diseñar y evaluar la preparación de IA para conjuntos de datos. Estos frameworks ayudan a medir la madurez y calidad de los datos centrales (incluyendo criterios esenciales como la gestión de metadatos y el almacenamiento de datos). Sin embargo, carecen de un enfoque en la IA, y su consideración de cuestiones como la calidad de los datos se limita a cómo puede apoyar las necesidades del negocio (como ‘definir estructuras de datos y relaciones para apoyar procesos y objetivos empresariales’).
Nuestro trabajo se basa en los marcos tratados en esta sección, abordando sus limitaciones y asegurando que nuestras recomendaciones para la preparación para IA en conjuntos de datos sean detalladas, pero adopten una perspectiva holística, proporcionando orientación práctica para editores de datos y propietarios de repositorios.
Nuestro marco para datos listos para IA: en profundidad
Esta sección desglosa los requisitos específicos que definen nuestro marco de preparación para la IA. Estos requisitos detallan las propiedades del conjunto de datos, los metadatos y la infraestructura circundante necesarias para apoyar el uso por parte de los profesionales de la IA. Cada criterio acompaña explicaciones contextuales y referencias para una exploración más profunda.
Precondiciones
Antes de preparar sus datos para IA, un editor debe asegurarse de que sus conjuntos de datos cumplen algunas condiciones generales. La calidad de los datos (como la limpieza, la completitud y la validez) es fundamental y requiere una limpieza exhaustiva para eliminar anomalías, errores, duplicados y entradas faltantes para evitar erratas que conduzcan a análisis sesgados o imprecisos. Igualmente, importante es proporcionar metadatos (información que aclare el origen, tipo, creador, usos previstos y más) de un conjunto de datos, para permitir una toma de decisiones mejor y más eficiente. Por último, los conjuntos de datos deben compartirse de la forma más abierta posible (teniendo en cuenta posibles limitaciones legales o de privacidad) para promover un acceso equitativo y fomentar la innovación en el ecosistema de IA. Cada una de estas condiciones previas es un paso hacia la JUSTICIA, pero también proporciona la base de nuestros requisitos de preparación para IA.
1) Propiedades del conjunto de datos
Varios atributos inherentes determinan la idoneidad de un conjunto de datos para aplicaciones de IA.
a) Los valores de los datos deben seguir estándares y convenciones establecidos – Cumplir con normas y convenciones reconocidas (por ejemplo, los códigos ISO3 de los países para conjuntos de datos geográficos y el formato ISO 8601 para la información temporal) es esencial para que los conjuntos de datos sean consistentes, interoperables y de alta calidad para aplicaciones de IA.
b) Las etiquetas deben ser semántica y lógicamente consistentes – Para evitar ambigüedades, un editor de conjuntos de datos debe garantizar etiquetas de datos consistentes y estandarizadas. Sin la consistencia del etiquetado, un conjunto de datos médico de ejemplo en el que algunas mediciones adversas de electrocardiogramas se etiquetan como ‘paro cardíaco’ y otras como ‘infarto’ crearía ambigüedad, lo que llevaría a un modelo de IA a aprender distinciones ficticias entre los dos términos sinónimos o a sufrir de endogeneidad. Por lo tanto, los anotadores deberían seguir un protocolo establecido, con etiquetas validadas por otros o con la ayuda de kits de herramientas de etiquetado.
Es importante destacar que la consistencia en el etiquetado proporciona más que reducción de errores y sesgos. El protocolo de ‘datos enlazados’ garantiza que los conjuntos de datos sean funcionales, interoperables y compartibles, con el principio fundamental subyacente de que las etiquetas de datos se ajustan a identificadores uniformes persistentes de recursos (URIs). Los URI permiten que las etiquetas sigan ontologías y vocabularios estándar mientras facilitan la representación de datos a través del Resource Description Framework (RDF), facilitando que las relaciones entre etiquetas de datos sean fácilmente expresadas, pero semánticamente ligeras. Los URI y RDF se consideran el cuarto criterio del esquema de cinco estrellas que puede utilizarse para calificar la calidad de los datos abiertos.
c) El desequilibrio de clase y fuente debe ser fácil de identificar – Un desequilibrio de clases en los datos de entrenamiento puede sesgar gravemente el rendimiento de los modelos de IA. Los conjuntos de datos agregados que contienen información de diferentes fuentes también causan sesgo si una fuente está representada más que las demás. Aunque el equilibrio perfecto entre clases y fuentes es aspiracional, los conjuntos de datos al menos deberían facilitar la identificación de los desequilibrios; por ejemplo, un conjunto de datos agregado debería tener una columna que proporcione información de procedencia para cada entrada de datos.
d) Se deben utilizar métodos estándar de desidentificación y anonimización cuando sea necesario. La información personal sensible sobre individuos no puede contenerse en conjuntos de datos compartidos o públicos sin las medidas adecuadas para proteger la privacidad y seguridad de los sujetos. Es importante que esto tenga en cuenta el mayor ‘riesgo de reidentificación’ cuando se utilizan datos para entrenar IA.
e) Los conjuntos de datos deben guardarse en formatos de archivo apropiados – Algunos formatos de archivo para datos estructurados son más útiles para contextos de IA que otros. Las hojas de cálculo de Excel (.xlsx) se consideran las peores debido a su tamaño, formato binario y dependencia de software propietario. En comparación, los archivos de valor separado por comas (.csv) se utilizan ampliamente por su flexibilidad. Mejorar archivos CSV con metadatos usando el estándar CSV en la Web (CSVW) del W3C mejora su interoperabilidad y legibilidad por máquina 39. CSVW permite incluir metadatos que describen la estructura y semántica de los datos, facilitando una mejor integración y reutilización entre diferentes sistemas. Sin embargo, las entrevistas confirmaron que los archivos Apache Parquet 40 (actualmente ampliamente utilizados) son, probablemente, los formatos de archivo más listos para IA debido a varias propiedades únicas, incluyendo su ‘almacenamiento columnar’, adjuntos de metadatos, capacidades multimodales y compresión innata. Los archivos parquet están siendo adoptados por los dos mayores repositorios de datos de IA, Hugging Face y Kaggle. Para conjuntos de datos más relacionales, como grafos de conocimiento, también se recomienda el formato de archivo RDF mencionado anteriormente.
2) Metadatos
Los metadatos adjuntos a un conjunto de datos pueden proporcionar a los usuarios todo tipo de información contextual. Subconjuntos específicos de esta información son fundamentales para que los contextos de IA permitan un uso preciso y responsable del conjunto de datos. Los metadatos se guardan en archivos basados en texto según un vocabulario o ontología elegido, como el estándar de metadatos Croissant.
a) Los metadatos deben ser legibles por máquina – Los metadatos deben almacenarse y ser accesibles para que los flujos de trabajo programáticos y los sistemas automatizados puedan cargarlos y analizarlos eficazmente. En la práctica, esto implica legibilidad por máquina, lo que requiere que los metadatos se escriban en un formato como JSON-LD (vía Croissant). Esto mejora la comunicabilidad, interoperabilidad y descubribilidad de los metadatos en línea con herramientas como Google Dataset Search.
b) Los metadatos deben adjuntarse a un conjunto de datos – Un conjunto de datos debe proporcionarse a un usuario con sus metadatos correspondientes adjuntos. Este requisito a menudo se pasa por alto; por ejemplo, los conjuntos de datos accedidos a través de la API de conjuntos de datos Hugging Face carecen de metadatos adjuntos, lo que exige un método de consulta separado para que los usuarios obtengan información contextual sobre un conjunto de datos. Este ejemplo de separación de metadatos, en comparación con la forma en que los metadatos están estrictamente adjuntos a archivos GEOTIFF, supone una molestia en el mejor de los casos y, en el peor, desincentiva el uso de metadatos y fomenta malas prácticas de datos de IA.
c) Los metadatos deben incluir especificaciones técnicas básicas – Los entrevistados mencionaron que informar sobre las modalidades, dimensionalidad, semántica, sesgo y estadísticas resumidas básicas de un conjunto de datos hizo que su análisis exploratorio fuera más eficiente a la hora de elegir si utilizarlo para su trabajo de IA. Cada atributo puede describirse con el vocabulario de Croissant en su versión actual v1 o próxima versión v2. Además, si algún componente del conjunto de datos ha sido generado sintéticamente o anotado por máquina, debe informarse en los metadatos. Los entrevistados dejaron claro que, al usar un conjunto de datos, los componentes sintéticos y las suposiciones utilizadas para crearlos deben ser evaluados con expertura, lo que significa que la generación sintética debe informarse en los metadatos. Muchas regulaciones globales, como la Ley de Inteligencia Artificial y Datos de Canadá (AIDA) y la Ley de IA de la UE, coinciden.
d) Los metadatos deben proporcionar un retrato holístico de todo el ciclo de vida del conjunto de datos y del contexto operativo – Para operacionalizar los principios de IA responsable (RAI) – tal como se describe, por ejemplo, en la extensión RAI Croissant – los metadatos deben capturar no solo los métodos de recogida y preprocesamiento, sino también un rango más amplio de casos de uso. Por ejemplo, capturar datos demográficos de trabajadores de datos y otra información de impacto social, según corresponda. Existen indicios de desigualdades en las poblaciones objetivo implicadas en la externalización de procesos de negocio (BPO) de tareas de recopilación y etiquetado de conjuntos de datos. Dado esto, incluir información demográfica de los trabajadores de datos, como país de origen, rango medio de ingresos y/o entidades legales implicadas en la cadena de suministro, podría ayudar a los investigadores a recopilar evidencia más detallada al destacar estos problemas. Esto también podría ayudar a los profesionales a tomar decisiones más informadas al seleccionar conjuntos de datos. Estos metadatos más detallados permiten a los usuarios discernir posibles sesgos y asegurar que los requisitos de cumplimiento se integren a lo largo del ciclo de vida de los datos de IA. Por lo tanto, estos metadatos pueden apoyar procesos dinámicos de auditoría e inspección, apoyando una gobernanza de datos más eficaz y responsable.
e) Los metadatos deben incluir otra información legal y sociotécnica – Los editores deben proporcionar el nombre de la licencia de un conjunto de datos y un enlace URL a sus permisos y restricciones dentro de los metadatos. Los profesionales deben asegurarse de que cualquier metadato de licencia defina y distinga claramente entre términos clave (por ejemplo, delimitar ‘resultados modelo’ frente a ‘resultados modelo’ y especificar qué implica en la práctica un uso ‘no comercial’). Otra información importante, nuevamente detallada en la extensión RAI Croissant, incluye protocolos de acceso previstos y declaraciones de protección de datos, que igualmente deberían estar disponibles.
3) Infraestructura circundante
Para que un conjunto de datos esté listo para IA, debe publicarse dentro de una infraestructura circundante que también lo esté para IA.
a) Los conjuntos de datos deben ser accesibles a través de un portal de datos centrado en el usuario – Un portal de datos de IA suficientemente centrado en el usuario facilita la interacción del usuario con los conjuntos de datos. El diseño debe basarse en los diez principios establecidos (incluyendo: organizar conjuntos de datos por uso, invertir en la descubribilidad, publicar metadatos completos, adoptar estándares de interoperabilidad, colocar la documentación y las herramientas analíticas, y garantizar la accesibilidad) para ser robustamente adecuados para la IA. Por ejemplo, portales como el Portal Europeo de Datos apoyan activamente flujos de trabajo automatizados y manuales proporcionando herramientas interactivas para explorar, evaluar y validar la relevancia y calidad de los datos junto con un conjunto de herramientas para la agregación de datos. Esto permite a los profesionales evaluar e integrar conjuntos de datos masivos y actualizados continuamente en sistemas de IA, manteniendo así una infraestructura sensible y adecuada en contextos analíticos en rápida evolución.
b) Los conjuntos de datos accesibles a través de APIs listas para IA son buenas prácticas: los grandes y conocidos conjuntos de datos de IA son fácilmente accesibles para científicos de datos y profesionales a través de su infraestructura API, permitiendo a los usuarios acceder y descargar un conjunto de datos con una sola línea de código. Sin embargo, una infraestructura de datos genuinamente lista para IA no debería depender únicamente del acceso a la API; también debe incorporar protocolos estandarizados adecuados para el uso de los profesionales de la IA. La investigación sobre la publicación de datos centrada en el usuario indica que estos enfoques mejoran la usabilidad de los datos, capacitando a los profesionales para evaluar rápidamente si un conjunto de datos satisface sus necesidades. De manera similar, tecnologías de acceso a datos como el protocolo de contexto modelo (MCP) pueden diseñarse para mejorar el uso de agentes de IA en lugar de los profesionales.
Al debatir qué hace que una API esté lista para IA, los entrevistados afirmaron que debería emplear una arquitectura REST (lo cual es especialmente importante si no conocemos los casos de uso de un conjunto de datos, dada la flexibilidad de la arquitectura), evitar la paginación (que podría bloquear artificialmente su trabajo) y facilitar la consulta de subconjuntos y empalmes de conjuntos de datos (lo cual funciona en contextos de IA, donde los conjuntos de datos suelen ser vastos). Alternativamente, los conjuntos de datos pueden hacerse accesibles en espacios de datos, que son interfaces organizativas estándar que permiten un intercambio de datos seguro y conforme a la gobernanza.
Los espacios de datos son cada vez más reconocidos en la literatura académica e industrial como críticos para lograr la preparación para la IA. Estas plataformas emplean conectores de espacio de datos para transportar datos del editor al usuario, facilitando las ‘transacciones’ de datos mientras preservan la soberanía e integridad de los datos. Estas infraestructuras abordan los desafíos asociados con conjuntos de datos masivos y rápidamente actualizados asegurando una integración fiable y en tiempo real de datos. De este modo, apoyan procesos efectivos de aprendizaje automático e inferencia, lo que los hace especialmente beneficiosos para aplicaciones de IA. Este beneficio se demuestra y explora más a fondo en el Proyecto CEDAR de la UE.
c) La infraestructura de control de versiones es una buena práctica – Un control de versiones adecuado para su propósito es esencial para aplicaciones de IA. Por ejemplo, los sistemas de IA generativa dependen de corpus de entrenamiento masivos y actualizados continuamente o de datos en línea en tiempo real para asegurar que sus respuestas se mantengan actuales y relevantes. Herramientas como Git o Data Version Control (DVC) permiten un monitoreo granular de los cambios de datos a lo largo del ciclo de vida de los datos de la IA. Esto garantiza un seguimiento transparente de la procedencia y facilita la integración oportuna de nueva información para mejorar el rendimiento de la IA.
Conclusión
Este informe presenta un marco para que los editores de datos hagan sus conjuntos de datos listos para IA. El diseño del marco conecta los principios de alto nivel que se encuentran en la literatura y las experiencias vividas de los profesionales de la IA, que deben invertir esfuerzos sustanciales en preparar los datos para entrenar y afinar modelos fundamentales. En este sentido, vamos más allá de la combinación actual de criterios de alto nivel y no específicos de IA para ofrecer orientación concreta a los editores de datos y a los proveedores de repositorios.
Combinamos los hallazgos clave de una revisión bibliográfica, entrevistas con expertos y la experiencia colectiva del ODI para subrayar la importancia de atributos seleccionados para datos, metadatos e infraestructura de apoyo para estar preparados para la IA. Investigamos cada requisito y lo recopilamos en nuestro marco resultante.
Al preguntarse por opiniones sobre el diseño del marco, varios entrevistados coincidieron en que debería dividirse según las propiedades del conjunto de datos, la información de metadatos y la infraestructura circundante. Sin embargo, aclararon que ninguno de los tres componentes debe considerarse independiente. En cambio, cada uno está intrínsecamente vinculado al otro, y un enfoque holístico de las prácticas de datos garantiza que se cumplan las condiciones previas (como la calidad y los metadatos), además de la preparación para la IA.
De manera similar, un entrevistado comentó que no debería haber límites entre editores y usuarios de un conjunto de datos, una conclusión que hemos encontrado en toda la investigación de nuestro programa DCAI. Un diálogo constante puede crear un bucle de retroalimentación positiva entre los proveedores de datos y los profesionales de la IA, permitiendo a los editores mejorar e iterar sus conjuntos de datos, metadatos e infraestructura según su uso.
Estas dos recomendaciones —adoptar un enfoque holístico de las prácticas de datos y fomentar el diálogo entre editores y usuarios de datos— deberían ser centrales para implementar nuestro marco de preparación para IA.
Nuestro marco se desarrollará y refinará aún más. Podría ampliarse para proporcionar instrucciones para implementar sus recomendaciones o para incluir requisitos específicos de la materia, como los de conjuntos de datos médicos o geoespaciales.
Es importante señalar que las prácticas de datos preparadas para IA no solo ayudan en contextos de IA. En cambio, las recomendaciones de nuestro marco presentan las mejores prácticas generales que los editores de datos deben seguir para garantizar que sus conjuntos de datos sean de alta calidad, responsables y, sobre todo, válidos para todo el ecosistema tecnológico. Esto permite que los conjuntos de datos alcancen su máximo potencial, mejorando la eficiencia, facilitando mejores decisiones y proporcionando la base para la innovación.