Impulsando la IA encarnada con datos de vídeo egocéntricos del mundo real.
Permite el reconocimiento de la actividad humana, la robótica y los modelos de interacción mano-objeto mediante vídeo escalable capturado en entornos domésticos e industriales.
Resumen del proyecto
El cliente se asoció con Shaip para establecer un programa de recopilación escalable de datos de vídeo egocéntricos de alta calidad. Los participantes grabarían actividades domésticas e industriales reales utilizando dispositivos móviles fijados de forma segura a la altura de la frente.
El objetivo era crear un conjunto de datos de vídeo diverso y naturalista, adecuado para entrenar modelos que permitieran:
- Reconocer actividades humanas complejas y secuencias de tareas.
- Interpretar las interacciones entre manos y objetos
- Comprender los entornos reales del hogar y del lugar de trabajo.
- Compatibilidad con aplicaciones de robótica e IA integrada
- Mejorar la generalización del modelo en diferentes ubicaciones, dispositivos, objetos y condiciones de funcionamiento.
El compromiso hizo hincapié en la realización natural de las tareas, el posicionamiento estable de la cámara, la ejecución continua, el consentimiento de los participantes y una validación rigurosa de la calidad.
Conjunto de datos de vídeo egocéntrico: Especificaciones clave
Volumen de datos
30,000 horas recopiladas, más de 24,000 horas anotadas.
Capacidad de contribución
Hasta 100 horas de vídeo aprobadas por participante.
Dispositivos aprobados
iPhone 11+, Google Pixel 6+ y Samsung Galaxy S21+
Cobertura geografica
Estados Unidos y América Latina
Entornos de actividad
Entornos domésticos, industriales y comerciales
Desafíos en la recopilación de datos de vídeo egocéntricos
- Capturando el comportamiento humano natural: Los participantes debían realizar actividades genuinas, sin movimientos artificiales, exagerados o robóticos.
- Mantener el encuadre en primera persona: Ambas manos, el área de trabajo y los objetos relevantes debían permanecer visibles durante toda la ejecución de la tarea.
- Controlar la estabilidad de la cámara: Los dispositivos móviles montados en la cabeza debían permanecer seguros, con un mínimo de oscilación, inclinación excesiva u obstrucción.
- Recopilación de datos en diversos entornos: El conjunto de datos requería imágenes auténticas de entornos residenciales, industriales, comerciales, hoteleros, agrícolas, de construcción y de servicios.
- Minimizar las grabaciones inactivas o que no realizan ninguna tarea: Las grabaciones debían demostrar un trabajo continuo e intencional, con pausas limitadas y movimientos innecesarios.
- Garantizar la autorización y el consentimiento: Cada participante y lugar de grabación requirió el permiso, el consentimiento y la validación de cumplimiento correspondientes.
- Escalabilidad sin comprometer la calidad: Era necesario revisar rápidamente grandes volúmenes de material grabado, con razones de rechazo claras y flujos de trabajo de recaptura eficientes.
Cómo Shaip recopiló los datos de vídeo egocéntricos
Estrategia de cobranza
Shaip diseñó un marco flexible que abarca actividades domésticas, comerciales e industriales auténticas. Los participantes seleccionaron tareas que se ajustaban a sus rutinas habituales, en lugar de seguir guiones preestablecidos.
Incorporación de colaboradores
Los participantes de Estados Unidos y Latinoamérica recibieron capacitación sobre la selección de tareas, los requisitos del dispositivo, la ubicación de la cámara, el consentimiento y las condiciones de captura prohibidas.
Colección de vídeos para móviles
Las grabaciones se realizaron mediante una aplicación móvil específica con envío automatizado y verificación de ubicación para confirmar la captura dentro de las regiones aprobadas.
Configuración de la cámara montada en la cabeza
Los teléfonos inteligentes aprobados se colocaron de forma segura a la altura de la frente y con una inclinación de aproximadamente 45° hacia abajo para que las manos, los objetos, el espacio de trabajo y, cuando el participante estaba quieto, los dedos de los pies quedaran a la vista.
Ejecución natural de tareas
Los participantes realizaron actividades continuas y con un propósito definido, mientras permanecían de pie o caminaban e interactuaban de forma natural con herramientas, equipos y objetos cotidianos.
Validación de calidad
Se revisó cada grabación para comprobar la estabilidad de la cámara, la iluminación, el enfoque, la visibilidad de los objetos en las manos, la continuidad de la tarea, la postura, el entorno y la autorización.
Revisión y recuperación rápidas
Las propuestas se revisaron en un plazo de un día. Los motivos claros de rechazo permitieron a los colaboradores corregir y volver a grabar el material rápidamente.
Controles de gobernanza
El consentimiento, la autorización de ubicación, el envío seguro, la validación de ubicación y la asignación de propiedad intelectual se integraron en el flujo de trabajo.
Alcance y actividades del proyecto
| Segmento de datos | Actividades representativas | Requisitos de captura |
|---|---|---|
| Actividades del hogar | Lavado de ropa, organización de habitaciones, limpieza de la cocina, cuidado de mascotas, cuidado de plantas, jardinería y mantenimiento del hogar. | De pie o caminando; ejecución natural; manos y espacio de trabajo visibles. |
| Almacén y Logística | Embalaje, clasificación, gestión de inventario, inspección y movimiento de materiales. | Captura estable mediante un sistema montado en la cabeza con actividad continua durante la tarea. |
| Comercial y Hotelera | Trabajos de limpieza, mantenimiento del hogar, reposición de existencias en tiendas y actividades de apoyo en la trastienda de establecimientos de restauración. | Ubicación de grabación autorizada e interacción clara con el objeto. |
| Actividades Industriales | Fabricación ligera, montaje, mantenimiento de equipos y procesos de producción. | Ejecución legítima en el lugar de trabajo con los permisos correspondientes. |
| Agricultura y Paisajismo | Mantenimiento de terrenos, jardinería, trabajos agrícolas y manipulación de materiales al aire libre. | Iluminación adecuada, encuadre estable y ejecución segura de las tareas. |
| Oficios especializados y servicios de campo | Construcción, servicio automotriz, reparaciones, instalación y mantenimiento en campo. | Clara visibilidad de las herramientas, las manos, los componentes y el área de trabajo. |
Marco de calidad
Las grabaciones fueron rechazadas por:
- Vistas de cámara obstruidas, excesivamente inclinadas o inestables
- Iluminación escasa, enfoque débil, visibilidad poco clara
- Largos periodos de inactividad o grabaciones sin tareas
- ejecución artificial, artificial o robótica
- Movimientos excesivos de cabeza, manos o cuerpo
- Manos fuera del encuadre durante más del 10 % de la actividad activa de agarrar y soltar.
- Lugares de grabación no autorizados
- Falta el consentimiento del contribuyente
Se requería una grabación exitosa para:
- Capture trabajos domésticos o industriales auténticos.
- Mantén una perspectiva estable en primera persona.
- Mantenga visibles las manos, los objetos y el área de trabajo.
- Demostrar actividad continua e intencional
- Cumplir con los requisitos aprobados de posicionamiento del dispositivo y la cámara.
- Adecuado para el entrenamiento de IA que involucre reconocimiento de actividad y percepción robótica.
Resultados: Datos de vídeo egocéntricos preparados para la robótica
- Datos de actividad auténticos: La ejecución natural de tareas capturó acciones humanas, interacciones mano-objeto y secuencias operativas.
- Expansión escalable del conjunto de datos: Cada participante podía aportar hasta 100 horas aprobadas, mientras que las variaciones en objetos, herramientas, ubicaciones, iluminación y secuencias de tareas ampliaron la diversidad del conjunto de datos, lo que permitió ampliar el programa a unas 30,000 horas estimadas de vídeo egocéntrico recopilado, de las cuales más de 24,000 horas fueron anotadas y aprobadas para el entrenamiento del modelo.
- Contexto preparado para la robótica: Las imágenes estables en primera persona proporcionaron una visibilidad clara de las manos, los objetos, el equipo, los espacios de trabajo y el progreso de las tareas.
- Intervención rápida para mejorar la calidad: Los ciclos de revisión de un día permitieron una retroalimentación, corrección y recuperación rápidas.
- Diversidad geográfica y de dispositivos: La recopilación de datos en Estados Unidos y Latinoamérica, utilizando dispositivos Apple, Google y Samsung aprobados, introdujo variaciones prácticas tanto ambientales como de hardware.
- Gobernanza integrada: El consentimiento, la autorización, la validación de la ubicación, el envío seguro y los controles de calidad estuvieron integrados en todo el programa.
El enfoque de recopilación resultante proporciona una base sólida para construir sistemas de IA que comprendan la acción humana desde la perspectiva de un operador y funcionen de manera más fiable.
El enfoque estructurado de Shaip para la recopilación de vídeos egocéntricos nos proporcionó la escala, los controles de calidad y la diversidad del mundo real necesarios para nuestro programa de entrenamiento de IA. Su flujo de trabajo de revisión rápida y sus estándares de captura detallados crearon una base sólida para el avance de los modelos de reconocimiento de actividad y robótica.
