Un modelo de aprendizaje automático exitoso comienza con datos de entrenamiento de alta calidad. Pero una de las preguntas más comunes que se hacen los equipos al inicio de un proyecto de IA es: ¿Cuántos datos de entrenamiento son suficientes?
La respuesta honesta es que no existe una cantidad fija que funcione para todos los proyectos. La cantidad de datos necesaria depende de la tarea, la complejidad del modelo, el número de clases, la calidad de los datos, la precisión de las etiquetas y el estándar de rendimiento que se desea alcanzar.
En la práctica, la mejor manera de estimar los requisitos de datos de entrenamiento es comenzar con una muestra representativa, entrenar con subconjuntos cada vez más grandes y medir cuándo el rendimiento del modelo comienza a estabilizarse. Esto ayuda a los equipos a tomar decisiones informadas sobre costos, plazos, esfuerzo de anotación y resultados esperados.
En este blog, desglosamos los principales factores que afectan el volumen de datos de entrenamiento, explicamos cómo estimar los requisitos en la práctica y mostramos qué hacer cuando necesita más datos sin retrasar su hoja de ruta de IA.
Por qué son importantes los datos de entrenamiento
Los datos de entrenamiento son la base de todo sistema de aprendizaje automático. Por muy avanzado que sea el algoritmo, solo puede aprender patrones presentes en los datos utilizados para entrenarlo. Si los datos son incompletos, sesgados, ruidosos o demasiado limitados, el modelo tendrá dificultades para generalizar en el mundo real.
Los datos de capacitación sólidos ayudan a los equipos a:
- mejorar la precisión del modelo
- reducir los sesgos y los puntos ciegos
- Estimar el costo y la viabilidad del proyecto con mayor precisión
- reducir la repetición del trabajo durante la iteración del modelo
- Construir canales de validación y prueba más confiables
Por eso, la recopilación, la limpieza, el etiquetado y la validación de datos suelen ocupar la mayor parte del esfuerzo en los proyectos de IA. Si los datos son deficientes, las predicciones también lo serán.
No existe un número universal, pero hay una forma práctica de estimarlo
Muchos artículos intentan responder a esta pregunta con una sola cifra, lo cual rara vez resulta útil.
Un modelo de clasificación binaria simple puede funcionar bien con un conjunto de datos relativamente pequeño, mientras que un flujo de trabajo de ajuste fino de un modelo de lenguaje grande o un sistema de visión artificial para casos extremos pueden requerir muchos más ejemplos. La pregunta más acertada no es "¿cuál es el número mágico?", sino:
¿Cuál es la cantidad mínima de datos de entrenamiento representativos y de alta calidad necesarios para alcanzar el rendimiento objetivo para este caso de uso?
Una forma práctica de responder a esto es usar curvas de aprendizaje: entrenar el modelo con cantidades crecientes de datos y observar cómo mejora el rendimiento con cada paso. Cuando la mejora empieza a estabilizarse, se tiene una señal mucho más clara de si vale la pena invertir en recopilar más datos. Este enfoque se recomienda comúnmente en flujos de trabajo prácticos de aprendizaje automático.
7 factores que determinan la cantidad de datos de entrenamiento que necesitas
1. Tipo de modelo: ML clásico vs. aprendizaje profundo
El tipo de modelo tiene un impacto importante en los requisitos de datos. Los modelos clásicos de aprendizaje automático, como la regresión logística, los árboles de decisión o el aumento de gradiente, suelen tener un buen rendimiento en conjuntos de datos estructurados más pequeños, especialmente cuando las características están bien diseñadas.
Los modelos de aprendizaje profundo generalmente requieren más datos porque aprenden características automáticamente y contienen muchos más parámetros. Para tareas de imagen, audio y lenguaje, los modelos profundos suelen beneficiarse significativamente de un mayor volumen y diversidad de datos.
2. Aprendizaje supervisado vs. no supervisado
El aprendizaje supervisado requiere datos etiquetados, cuya recopilación suele ser más difícil y costosa. Si su modelo requiere que personas anoten imágenes, transcriban audio, etiqueten entidades o clasifiquen documentos, el requisito de datos debe considerar tanto la cantidad como el esfuerzo de etiquetado.
El aprendizaje no supervisado no requiere datos etiquetados, pero aun así se beneficia de conjuntos de datos grandes y representativos. Incluso sin etiquetas, el modelo necesita suficiente cobertura para detectar patrones y estructuras significativos.
3. Complejidad de la tarea y número de clases
Una tarea de clasificación binaria simple es muy diferente de un problema de imágenes médicas de múltiples clases o de un sistema de reconocimiento de voz multilingüe.
A medida que aumenta la complejidad de la tarea, los requisitos de datos de entrenamiento generalmente aumentan porque el modelo debe aprender:
- más clases
- distinciones más finas entre categorías
- más casos extremos
- mayor variabilidad contextual
Por ejemplo, distinguir “gato” de “perro” es mucho más fácil que identificar docenas de defectos de productos visualmente similares en diferentes condiciones de iluminación, ángulos de cámara y fondos.
4. Calidad de los datos y precisión de las etiquetas
Más datos no siempre son mejores si la calidad es mala.
Un conjunto de datos más pequeño con etiquetas precisas, una representación equilibrada y un formato consistente puede superar a un conjunto de datos más grande pero con ruido. Etiquetas de baja calidad, registros duplicados, definiciones de clase deficientes, metadatos faltantes y directrices de anotación inconsistentes reducen el rendimiento del modelo.
Antes de recopilar más datos, los equipos deben preguntarse:
- ¿Son consistentes las etiquetas?
- ¿Estamos cubriendo todos los escenarios de usuario importantes?
- ¿Son los datos representativos de las condiciones de producción?
- ¿Están correctamente separados los conjuntos de entrenamiento, validación y prueba?
Para muchos proyectos, mejorar la calidad de los datos produce ganancias más rápidas que simplemente aumentar el volumen de datos.
5. Diversidad, cobertura y equilibrio de clases
Un modelo debe aprender de la variabilidad del mundo real que enfrentará tras la implementación. Esto significa que el conjunto de datos debe reflejar diferentes escenarios, grupos de usuarios, tipos de dispositivos, acentos, entornos, formatos de documentos, condiciones de imagen y casos extremos.
Si una clase o segmento está subrepresentado, el modelo puede parecer preciso en general, pero fallar gravemente en subgrupos críticos. Por eso, la diversidad y el equilibrio de clases son tan importantes como el tamaño bruto.
En muchos casos, la pregunta no es “¿Tenemos suficientes datos?” sino “¿Tenemos suficientes datos correctos?”
6. Aprendizaje por transferencia y modelos preentrenados
Si comienza con un modelo previamente entrenado, es posible que necesite muchos menos datos específicos de la tarea que si lo entrena desde cero.
Esto es especialmente cierto para:
- Clasificación de imágenes mediante estructuras de visión
- Tareas de PNL que utilizan modelos basados en transformadores
- modelos de habla adaptados a un nuevo acento o dominio
- flujos de trabajo de adaptación de dominio
El aprendizaje por transferencia permite a los equipos reutilizar el conocimiento adquirido en grandes conjuntos de datos existentes, lo que puede reducir drásticamente la carga de anotación. El artículo original ya abordaba este tema con detalle; debería mantenerse, pero con ejemplos más claros.
7. Estrategia de validación y rendimiento objetivo
La cantidad de datos que necesita también está determinada por lo bueno que debe ser el modelo.
Un prototipo puede funcionar con cantidades moderadas de datos. Un modelo de producción en entornos de salud, finanzas, seguros, automoción o con un alto nivel de cumplimiento normativo requerirá una cobertura más sólida, etiquetas más claras, una mejor validación y un rendimiento más fiable en casos extremos. Cuanto más estricta sea la tasa de error aceptable, más sólido debe ser su conjunto de datos.
Cómo estimar los requisitos de datos de entrenamiento en la práctica
En lugar de adivinar, utilice un proceso de estimación estructurado.
Paso 1: Comience con un conjunto de datos piloto representativo
Recopile una muestra más pequeña, pero representativa, del espacio del problema. Incluya clases, formatos, tipos de usuario y variaciones reales importantes.
Paso 2: Divida los datos correctamente
Cree conjuntos de entrenamiento, validación y prueba independientes. Asegúrese de que el conjunto de prueba refleje las condiciones de producción y nunca se utilice durante el entrenamiento.
Paso 3: Entrenar con muestras progresivamente más grandes
Entrene el modelo utilizando porciones crecientes del conjunto de datos, como 10%, 20%, 40%, 60%, 80% y 100%.
Paso 4: Trazar una curva de aprendizaje
Realice un seguimiento de las métricas de rendimiento, como la precisión, la puntuación F1, la recuperación, la precisión o las medidas de calidad específicas de la tarea a medida que aumenta el tamaño del conjunto de datos.
Paso 5: Busca la meseta
Si el rendimiento del modelo mejora notablemente con más datos, probablemente necesite más. Si las mejoras se estabilizan, es posible que el cuello de botella ya no sea el volumen, sino la calidad de las etiquetas, el diseño de las características, la elección del modelo o el desequilibrio de clases.
Paso 6: Revisar el rendimiento a nivel de segmento
Verifique el rendimiento del modelo, no solo en general, sino también en clases importantes y casos extremos. Un modelo puede estancarse en general y, al mismo tiempo, presentar un rendimiento deficiente en segmentos minoritarios. Este método ofrece a las partes interesadas una estimación más realista de cuántos datos adicionales vale la pena recopilar.
Cómo saber cuándo tienes suficientes datos de entrenamiento
Probablemente tengas suficientes datos cuando:
- El rendimiento del modelo mejora solo marginalmente a medida que se agregan más datos
- Los resultados de la validación son estables en múltiples ejecuciones o pliegues.
- Las clases importantes tienen un rendimiento aceptable, no solo la clase mayoritaria
- El rendimiento se mantiene en un conjunto de pruebas limpio e intacto.
- Los errores restantes se deben más al ruido o la ambigüedad de las etiquetas que a la falta de ejemplos.
Es probable que necesite más datos cuando:
- La curva de aprendizaje sigue subiendo
- Las clases raras tienen un rendimiento deficiente
- El modelo falla en variaciones comunes del mundo real.
- Los resultados fluctúan mucho entre ejecuciones
- El rendimiento de las pruebas cae drásticamente en comparación con el rendimiento de la validación.
Cómo reducir los requisitos de datos de entrenamiento
A veces, el desafío no es el diseño del modelo, sino la escasez de datos, el presupuesto o el tiempo de comercialización. En esos casos, los equipos pueden reducir su dependencia de volúmenes masivos de datos con las estrategias adecuadas.
Aumento de datos
La mejora de datos crea nuevos ejemplos de entrenamiento a partir de datos existentes. En visión artificial, esto puede incluir recortar, rotar, voltear o ajustar el brillo. En PNL y lenguaje, la mejora debe ser más cuidadosa, pero las transformaciones controladas también pueden ser útiles.
Si se usa correctamente, el aumento mejora la robustez y ayuda a que los modelos se generalicen mejor. Si se usa incorrectamente, puede introducir ruido o ejemplos poco realistas.
Transferir aprendizaje
El aprendizaje por transferencia permite adaptar un modelo existente a una nueva tarea en lugar de entrenar desde cero. Esta suele ser una de las maneras más efectivas de reducir la necesidad de datos de entrenamiento.
Modelos Pre-entrenados
Los modelos preentrenados, como los modelos de PLN tipo BERT o las estructuras de visión consolidadas, pueden proporcionar puntos de partida sólidos. En lugar de aprender todo desde cero, el modelo parte de conocimientos previos útiles.
Aprendizaje activo
Si el etiquetado es costoso, el aprendizaje activo puede ayudar a priorizar los ejemplos más informativos. Esto mejora la eficiencia de la anotación y puede reducir la cantidad de etiquetas necesarias para alcanzar un rendimiento útil.
Datos sintéticos
Los datos sintéticos pueden ser útiles cuando los datos del mundo real son escasos, sensibles o difíciles de recopilar, especialmente en áreas como la salud, las finanzas, los sistemas autónomos y la simulación de casos extremos. Sin embargo, deben complementar, y no sustituir ciegamente, los datos reales y representativos.
Ejemplos reales de proyectos de aprendizaje automático con conjuntos de datos mínimos
Si bien puede parecer imposible que algunos proyectos ambiciosos de aprendizaje automático puedan ejecutarse con una cantidad mínima de materias primas, algunos casos son asombrosamente ciertos. Prepárese para sorprenderse.
| Informe de Kaggle | Sector Sanitario | Oncología clínica |
| Una encuesta de Kaggle revela que más del 70% de los proyectos de aprendizaje automático se completaron con menos de 10,000 muestras. | Con sólo 500 imágenes, un equipo del MIT entrenó un modelo para detectar neuropatía diabética en imágenes médicas de escáneres oculares. | Continuando con el ejemplo de la salud, un equipo de la Universidad de Stanford logró desarrollar un modelo para detectar el cáncer de piel con sólo 1000 imágenes. |
Hacer conjeturas educadas
No hay un número mágico con respecto a la cantidad mínima de datos requeridos, pero hay algunas reglas generales que puede usar para llegar a un número racional.
la regla de 10
Como titular de regla de oro, para desarrollar un modelo de IA eficiente, la cantidad de conjuntos de datos de entrenamiento necesarios debe ser diez veces mayor que cada parámetro del modelo, también llamados grados de libertad. Las reglas de '10' tiempos tienen como objetivo limitar la variabilidad y aumentar la diversidad de datos. Como tal, esta regla general puede ayudarlo a comenzar su proyecto al brindarle una idea básica sobre la cantidad requerida de conjuntos de datos.
Aprendizaje profundo
Los métodos de aprendizaje profundo ayudan a desarrollar modelos de alta calidad si se proporcionan más datos al sistema. En general, se acepta que tener 5000 imágenes etiquetadas por categoría debería ser suficiente para crear un algoritmo de aprendizaje profundo que pueda funcionar a la par con los humanos. Para desarrollar modelos excepcionalmente complejos, se requiere al menos un mínimo de 10 millones de elementos etiquetados.
Visión por computador
Si está utilizando el aprendizaje profundo para la clasificación de imágenes, hay consenso en que un conjunto de datos de 1000 imágenes etiquetadas para cada clase es un número justo.
Curvas de aprendizaje
Las curvas de aprendizaje se utilizan para demostrar el rendimiento del algoritmo de aprendizaje automático frente a la cantidad de datos. Al tener la habilidad del modelo en el eje Y y el conjunto de datos de entrenamiento en el eje X, es posible comprender cómo el tamaño de los datos afecta el resultado del proyecto.
El costo de tener muy pocos datos
Cuando los equipos se entrenan con conjuntos de datos limitados, estrechos o sesgados, el modelo puede parecer prometedor en el desarrollo pero fallar en la producción.
Muy pocos datos pueden provocar:
- sobreajuste
- generalización débil
- predicciones inestables
- bajo rendimiento en clases minoritarias
- mayor riesgo de sesgo
- Más tiempo de iteración más tarde
En otras palabras, las limitaciones en sus datos de entrenamiento a menudo se convierten en las limitaciones de su producto.
Qué hacer si necesita más conjuntos de datos
Cuando se identifica una brecha de datos, la solución no siempre es "recopilarlos todos". El enfoque más inteligente es ampliar el conjunto de datos estratégicamente.
1. Utilice los conjuntos de datos abiertos con cuidado
Los conjuntos de datos abiertos pueden ser útiles para la creación de prototipos o la evaluación comparativa, pero no siempre son adecuados para su uso en producción. Los equipos deben revisar la procedencia, el consentimiento, la calidad, la relevancia y la cobertura antes de utilizarlos.
2. Recopile datos personalizados para su caso de uso
Si el entorno objetivo es muy específico, la recopilación de datos personalizada suele ser la mejor opción. Esto es especialmente cierto para flujos de trabajo con un dominio complejo, como la IA sanitaria, la IA conversacional, los casos extremos de visión artificial y los sistemas multilingües.
3. Mejorar los datos existentes mediante anotaciones
Muchos equipos ya cuentan con datos sin procesar, pero carecen de estructura. La anotación, el reetiquetado, la limpieza de la taxonomía y la revisión de calidad pueden generar valor más rápido que recopilar conjuntos de datos completamente nuevos.
4. Reequilibrar las clases subrepresentadas
Si el rendimiento es deficiente en categorías específicas, concentre la recopilación y el etiquetado en aquellas brechas de alto impacto en lugar de ampliar todo el conjunto de datos de manera uniforme.
5. Agregue datos sintéticos o aumentados cuando corresponda
Cuando los datos reales son limitados o sensibles, los datos sintéticos y aumentados pueden ayudar a mejorar la cobertura, pero deben validarse cuidadosamente frente a distribuciones del mundo real.
6. Trabaje con un socio de datos especializado
Para los equipos que crean IA de producción a gran escala, asociarse con un proveedor que pueda recopilar, licenciar, anotar, validar y administrar datos de capacitación de alta calidad puede reducir significativamente el riesgo del proyecto y acelerar la implementación.
Conclusión
No existe una cantidad mágica para los datos de entrenamiento en aprendizaje automático. La cantidad adecuada depende del caso de uso, el tipo de modelo, la calidad de los datos, la diversidad de clases, la estrategia de validación y el rendimiento objetivo.
La forma más eficaz de estimar las necesidades de datos de entrenamiento es comenzar con una muestra representativa, medir el rendimiento mediante curvas de aprendizaje y ampliar el conjunto de datos estratégicamente en función de dónde aún falla el modelo.
Para algunos proyectos, un conjunto de datos modesto y de alta calidad puede ser suficiente. Para otros, especialmente en entornos de alto riesgo o muy variables, el éxito depende de conjuntos de datos grandes, cuidadosamente seleccionados y bien anotados.
Lo que más importa no es simplemente tener más datos, sino tener la datos correctos.
¿Tiene un gran proyecto en mente pero está esperando conjuntos de datos personalizados para entrenar sus modelos o está luchando para obtener el resultado correcto de su proyecto? Ofrecemos extensos conjuntos de datos de capacitación para una variedad de necesidades de proyectos. Aprovechar el potencial de Saip hablando con uno de nuestros científicos de datos hoy y entender cómo hemos entregado conjuntos de datos de calidad y alto rendimiento para clientes en el pasado.
¿Cuántos datos de entrenamiento son suficientes para el aprendizaje automático?
No hay una cantidad fija. La cantidad correcta depende de la tarea, la complejidad del modelo, la calidad de la etiqueta, el equilibrio de clases y la precisión del objetivo. La forma más fiable de estimarla es entrenar con subconjuntos crecientes y medir las mejoras de rendimiento.
¿Cómo sé si necesito más datos de entrenamiento?
Es probable que necesite más datos de entrenamiento si el rendimiento del modelo continúa mejorando a medida que aumenta el tamaño de los datos, si las clases raras tienen un rendimiento deficiente o si los resultados son inestables en las ejecuciones.
¿Puede el aprendizaje por transferencia reducir los requisitos de datos de capacitación?
Sí. El aprendizaje por transferencia permite que los modelos reutilicen el conocimiento de sistemas previamente entrenados, lo que puede reducir significativamente la cantidad de datos etiquetados específicos de cada tarea necesarios.
¿Es siempre mejor tener más datos para el aprendizaje automático?
No necesariamente. Un mayor número de datos de baja calidad o mal etiquetados puede perjudicar el rendimiento. En muchos casos, mejorar la calidad, el equilibrio y la representatividad de los datos es más valioso que simplemente aumentar el volumen.
¿Cuántos datos necesito para el aprendizaje profundo?
Los modelos de aprendizaje profundo suelen requerir más datos que los modelos clásicos de aprendizaje automático, especialmente para tareas de imagen, voz y lenguaje. Sin embargo, los modelos preentrenados y el aprendizaje por transferencia pueden reducir este requisito.
