Conjuntos de datos disponibles en el mercado

Definición

Los conjuntos de datos disponibles en el mercado son conjuntos de datos recopilados previamente y disponibles públicamente o comercialmente que se pueden usar directamente para entrenar o evaluar modelos de IA.

Propósito

El objetivo es acelerar la investigación y el desarrollo proporcionando datos fácilmente disponibles sin una recolección costosa.

Importancia

• Ahorra tiempo y recursos para los equipos de IA.
• Permite la reproducibilidad y la evaluación comparativa.
• Puede carecer de especificidad de dominio para ciertas tareas.
• Requiere verificación de sesgos y restricciones de licencia.

Cómo Funciona

1. Identificar el conjunto de datos relevante para la tarea de IA.
2. Revise las restricciones de licencia y uso.
3. Descargue o compre el conjunto de datos.
4. Preprocesar según sea necesario para la compatibilidad.
5. Entrene o evalúe modelos utilizando el conjunto de datos.

Ejemplos (mundo real)

• MNIST: conjunto de datos de dígitos escritos a mano para evaluación comparativa.
• ImageNet: conjunto de datos a gran escala para visión por computadora.
• Common Crawl: conjunto de datos de texto web abierto para PNL.

Referencias / Lecturas adicionales

• Proyecto ImageNet.
• Fundación Common Crawl.
• Repositorio de conjuntos de datos de Kaggle.
• Mercado de datos de IA para el entrenamiento de modelos de aprendizaje automático