LiDAR multimodal y anotación 2D para ferrocarriles
Shaip desarrolló uno de los proyectos con mayor diversidad de tipos de anotación en el ámbito de la IA ferroviaria, combinando imágenes de cámaras 2D y nubes de puntos LiDAR 3D en más de 39 clases de objetos y 8 tipos de etiquetas distintos para impulsar los sistemas autónomos de percepción de trenes y seguridad ferroviaria.
Resumen del proyecto
A medida que la percepción autónoma de trenes avanza hacia su implementación en producción, el cliente necesitaba un sistema de anotación multimodal a gran escala capaz de etiquetar todo el entorno ferroviario tanto en imágenes de cámaras 2D como en datos de nubes de puntos LiDAR 3D con una precisión espacial uniforme.
Shaip construyó el sistema integral de anotación multimodal que abarca 8 tipos de etiquetas distintos, más de 39 clases de objetos y más de 25 clasificaciones de estado de señal en los sistemas de señalización H/V y Ks, lo que proporciona conjuntos de datos validados de forma cruzada y listos para el modelado para la IA de seguridad y autonomía ferroviaria.
Estado de la clave
Clases de objetos
39+
Tipos de anotaciones
8
Estados de señal
25+
Modalidades
2D + 3D
Desafíos
- Manejar Anotación multimodal 2D + 3D con consistencia espacial validada cruzadamente
- Anotando Más de 39 clases de objetos que abarca personas, vehículos, infraestructura, animales y objetos de seguridad
- Operando a través 8 tipos de anotación — Cajas delimitadoras 2D/3D, cuboides, polilíneas, polígonos
- Clasificando Más de 25 estados de señal distintos en todos los sistemas de señalización alemanes H/V y Ks
- Aplicando lógica del umbral de multitud y anotación de vía continua debajo de los objetos de vagón
Solución
Pipeline de anotación multimodal
Shaip configuró un sistema paralelo de anotación de cámaras 2D y LiDAR 3D con validación cruzada entre modalidades. Los anotadores trabajaron simultáneamente con ambas fuentes de datos para garantizar la coherencia espacial, y los estados de oclusión se evaluaron exclusivamente a partir de datos de nube de puntos en lugar de imágenes 2D.
Ontología de clases de más de 39
La ontología de anotaciones abarcaba personas (con grupo de edad, ayuda para la movilidad, función, postura corporal, objetos que transportaban y atributos de distracción), vehículos (bicicletas, motocicletas, vehículos de carretera por subcategoría), 18 especies de animales e infraestructura ferroviaria, incluyendo vías, desvíos, postes de catenaria, señales, topes, puentes de señalización, zapatas de arrastre y objetos de prueba reflectantes.
Clasificación del estado de la señal
Las señales se anotaron con una clasificación detallada de su aspecto en los sistemas de señalización H/V y Ks, abarcando más de 25 estados de señal distintos. Los anotadores identificaron los aspectos exactos de las señales tanto desde la vista frontal como posterior, distinguiendo entre señales luminosas y de forma en múltiples sistemas de señalización ferroviaria alemanes.
Umbral de multitud y lógica de grupo
Para que las anotaciones de multitudes se requiriera un mínimo de 6 personas superpuestas antes de pasar de la anotación individual a la grupal, se aplicaba la misma lógica de umbral a los grupos de bicicletas y animales, manteniendo la misma postura y las mismas reglas de especie dentro de cada grupo. Esto garantizó que las escenas de alta densidad se etiquetaran con eficiencia operativa sin sacrificar el nivel de detalle.
Anotación de pista continua
Las vías se anotaron de forma continua incluso debajo de trenes o vagones, y las zonas de cambio de vía y los topes se mapearon con precisión. Esta capa de continuidad es esencial para la planificación de rutas ferroviarias y los modelos de detección de obstáculos posteriores.
Alcance del proyecto
| Tipo de conjunto de datos | Modalidades | Clases | Tipos de etiquetas | Estados de señal | Sistemas |
|---|---|---|---|---|---|
| percepción del entorno ferroviario | LiDAR 2D + 3D | 39+ | 8 (cajas, cuboides, polilíneas, polígonos) | 25+ | H/V, Ks |
Resultados
- Estableció un Pipeline de anotación LiDAR multimodal 2D + 3D para la percepción autónoma de trenes
- Estandarizado Ontología de más de 39 clases de objetos abarcando personas, vehículos, animales e infraestructura ferroviaria
- Más de 25 clasificaciones de estado de señal en todos los sistemas de señalización alemanes H/V y Ks
- Implementado lógica del umbral de multitud y anotación continua de la vía debajo de los vagones
- Habilitó al cliente Inteligencia artificial para la detección autónoma de trenes, seguridad y obstáculos. hoja de ruta
En definitiva, Shaip contribuyó a transformar un requisito de percepción ferroviaria multimodal en un sistema de anotación estructurado y listo para la producción, capaz de soportar la operación autónoma de trenes, la IA de seguridad ferroviaria y los sistemas de reconocimiento de señales con una coherencia espacial 2D-3D validada de forma cruzada a gran escala.
Shaip manejó una complejidad de anotación que la mayoría de los proveedores no se atreven a abordar. Más de 39 clases, 8 tipos de etiquetas, más de 25 estados de señal, validación cruzada 2D + 3D... y lo entregaron como un único flujo de trabajo coordinado. Como resultado, nuestros modelos de percepción de vías férreas se entrenaron más rápido.
