Escalado de la IA física y la robótica humanoide con 10 000 horas de datos de movimiento de simulación a realidad.
Cómo Shaip proporcionó 10 000 horas de datos de captura de movimiento de realidad virtual egocéntrica a través de 4,000 participantes, 100 tareas y más de 5 entornos del mundo real, construido como una canalización de datos de entrenamiento de IA física de grado de producción para robótica humanoide de simulación a la realidad.
Resumen del proyecto
A medida que la IA física y la robótica humanoide se implementan en el mundo real, el cliente necesitaba un marco escalable para recopilar 10 000 horas de datos de movimiento de realidad virtual basados en tareas en diversos entornos con una calibración, ejecución y control de calidad consistentes.
Shaip diseñó el sistema integral de operaciones de datos, que abarca la configuración de la escena, el mapeo de códigos QR, el seguimiento con cinco sensores, el ensayo de los participantes, la captura moderada y los flujos de trabajo de revisión para dar soporte a 100 tareas definidas por el cliente y ofrecer conjuntos de datos de IA encarnada listos para el modelado a gran escala.
Estadísticas clave
Participantes
~ 4,000
Volumen de datos
10,000 horas válidas
Cobertura ambiental
Oficina, hogar, fábrica, cafetería, almacén, etc.
Cronograma
1 mes
Desafíos
- Ampliación de la recopilación de datos de movimiento desde flujos de trabajo controlados de estilo piloto a un 10,000 horas, multientorno .
- Mantener los precisión de seguimiento constante en diversos escenarios del mundo real y con diferentes configuraciones de los participantes.
- Asegurar que cada sesión cumpliera con los estrictos requisitos para Control de versiones/APK, configuración de red compartida, transmisión de pantalla y emparejamiento de sensores.
- Gestionando 100 tareas definidas por el cliente en categorías como la locomoción, la manipulación de objetos, la interacción doméstica, la interacción en la oficina y los flujos de trabajo físicos de varios pasos, cada uno de los cuales requiere una configuración correcta de la escena, la colocación de los objetos, la preparación de los participantes y la validación dirigida por un moderador.
- Convertir sesiones sin procesar en Resultados listos para modelar mediante flujos de trabajo repetibles de control de calidad, gestión de repeticiones y revisión de cargas.
Solución:
Estrategia de cobranza
Shaip diseñó un marco de colección escalable para 10,000 horas válidas de datos de movimiento de RV, entregados en lotes basados en hitos. Basado en la proporción de planificación de origen de De 3 a 5 participantes por cada 10 horas válidas.El programa completo se adapta a un estimado 3,000–5,000 participantes, en el que ~4,000 participantes utilizado como figura de planificación de punto medio.
Gestión del entorno y del escenario
Cada ubicación de captura se trató como una escena estructurada. Shaip documentó el entorno mediante fotografía de gran angular de la habitación, configuró las escenas en el sistema de administración, coordinó la revisión del cliente y exportó archivos PDF de las escenas para su colocación física. El mapeo de escenas mediante códigos QR garantizó que cada entorno del mundo real pudiera vincularse de forma fiable al contexto de grabación correcto.
Disponibilidad del dispositivo y la aplicación
Shaip estandarizó la preparación técnica asegurándose de que los auriculares de realidad virtual y el dispositivo de monitorización estuvieran conectados a la misma red, controlando el flujo de instalación/actualización de APK y habilitando la grabación de pantalla basada en el navegador para que el moderador tuviera visibilidad durante toda la sesión.
Seguimiento y calibración de movimiento
Antes de cada sesión, los cinco sensores de movimiento se emparejaban y validaban. La calibración era obligatoria para cada participante e incluía comprobaciones de alineación del avatar, ajuste del suelo y configuración de límites personalizados para garantizar una captura precisa del movimiento de todo el cuerpo dentro del espacio de actividad registrable.
Ejecución y moderación de tareas
Antes de la grabación, los participantes recibieron orientación sobre la preparación y el ensayo de las tareas específicas de cada escena. Los moderadores observaron mediante grabación de pantalla, verificaron la precisión de las tareas y la nitidez de los movimientos, y solo procedieron a la grabación en directo una vez que el comportamiento de los sensores y los movimientos de los participantes cumplieron con los estándares de calidad esperados. El inicio y la detención de la grabación se realizaron mediante el flujo de trabajo de gestos definido.
Garantía de calidad y resultados listos para el modelo
Tras la grabación, las sesiones se cargaron en el historial para su revisión. Shaip validó la nitidez del movimiento, la corrección de la tarea, la alineación de la escena y la precisión de los sensores, cancelando o repitiendo las grabaciones inutilizables cuando fue necesario. Esto creó un camino más fiable hacia conjuntos de datos listos para la anotación, verificados por control de calidad y preparados para el modelado, destinados al entrenamiento en IA y robótica encarnadas.
Alcance del proyecto
| Tipo de conjunto de datos | Participantes | Volumen de grabación | Entornos | Volumen de tareas | Configuración de captura | Cronograma |
|---|---|---|---|---|---|---|
| Captura de movimiento en realidad virtual egocéntrica | ~ 4,000 | 10,000 horas válidas | Oficina, hogar, cafetería, fábrica, almacén y otros entornos del mundo real. | 100 tareas definidas por el cliente | Auriculares de realidad virtual + 5 sensores de movimiento | 1 mes |
El Resultado
- Se estableció un marco de operaciones de datos escalable para 10,000 horas de datos de entrenamiento de IA física
- Estandarizado Gestión de escenas, mapeo basado en códigos QR y calibración de cinco sensores. en entornos distribuidos
- Mayor consistencia en la recolección a través de Ensayo moderado, revisión de grabaciones de pantalla en tiempo real y control de calidad a nivel de sesión.
- Los usuarios de la app Smart Spaces con Google Wallet disfrutan de acceso móvil sin contacto con cualquier lector HID® Signo™ con NFC. Resultados validados para la tarea y listos para la anotación. para el desarrollo de modelos de IA incorporada, simulación y robótica posteriores
- Fortaleció la confianza del cliente. canalización de datos de simulación a datos reales con captura de movimiento egocéntrica de alta calidad
de diversos entornos del mundo real
En general, Shaip ayudó a transformar un requisito complejo de captura de realidad virtual en una canalización de datos estructurada y lista para la producción, capaz de brindar soporte. Inteligencia artificial física, inteligencia encarnada y robótica humanoide iniciativas con mayor coherencia, trazabilidad y escala.
Shaip nos ayudó a construir la infraestructura de operaciones de datos para nuestra hoja de ruta de IA física. Su equipo aportó estructura a la captura de movimiento en múltiples entornos, la gestión de participantes, la configuración de escenas, la calibración y el control de calidad, lo que nos permitió generar conjuntos de datos listos para el modelado que respaldan el aprendizaje de simulación a la realidad para la IA encarnada y la robótica humanoide.
