La transición de los chatbots a los robots que siguen comandos en lenguaje natural se basa en una única clase de modelos. Los modelos VLA (modelos de visión, lenguaje y acción) combinan la percepción visual, la comprensión del lenguaje y la generación de acciones en una sola red neuronal. Su potencial es innegable, pero depende casi por completo de los datos de entrenamiento que procesan. Esta guía explica qué contienen realmente los datos de entrenamiento VLA, qué aspectos suelen subestimar los equipos y cómo planificar un conjunto de datos que genere un modelo viable.
Puntos Clave
- Los modelos VLA asignan directamente las entradas visuales y lingüísticas a las acciones del robot en una única red.
- Los datos de entrenamiento deben incluir observaciones visuales sincronizadas, instrucciones lingüísticas y acciones.
- Los tokens de acción discreta requieren datos de demostración a gran escala para aprender correctamente.
- Los vídeos centrados en el individuo se utilizan cada vez más como fuente de preentrenamiento de bajo coste para la aleatorización visual.
- Los episodios de evaluación rigurosos son tan importantes como los datos de entrenamiento para una implementación fiable.
- El éxito o el fracaso del ajuste fino de VLA depende del rigor de la anotación, no solo del volumen bruto.
¿Qué es un modelo VLA?
Un modelo VLA es un modelo robótico básico que recibe imágenes e instrucciones en lenguaje natural como entrada y genera acciones para el robot. A diferencia de los sistemas tradicionales que separan la percepción, la planificación y el control en módulos distintos, los modelos de visión, lenguaje y acción aprenden una correspondencia integral en una única red neuronal.
Modelo VLA: Una red neuronal que toma observaciones visuales sincronizadas e instrucciones en lenguaje natural y produce secuencias de acciones robóticas o tokens de acción.
Este diseño unificado permite que los modelos VLA hereden capacidades de razonamiento de un preentrenamiento extenso en lenguaje visual y las amplíen con control motor. En la práctica, esto significa que un modelo puede, en principio, ejecutar muchas tareas, pero solo si sus datos de entrenamiento las cubren con la estructura adecuada.
¿Qué contienen realmente los datos de entrenamiento de VLA?
Los datos de entrenamiento de VLA contienen cuatro elementos principales por episodio: observaciones visuales, instrucciones en lenguaje natural, una trayectoria de acción y una etiqueta de éxito o fracaso. Además, los equipos añaden marcas de tiempo, estado propioceptivo y marcadores de evaluación.
Las cuatro capas obligatorias:
- Observaciones visuales — Imágenes RGB, a menudo combinadas con vistas de profundidad o de cámara de muñeca.
- Instrucciones de idioma — órdenes concisas en lenguaje natural, como “vierte agua en la taza”.
- Trayectorias de acción — secuencias de acciones discretizadas o continuas asignadas a los grados de libertad del robot.
- Etiquetas de resultados — Indicadores explícitos de éxito, fracaso o finalización parcial por episodio.
Se entrenó un modelo VLA abierto de 7 mil millones de parámetros con más de un millón de episodios extraídos de 22 representaciones robóticas (Stanford et al., 2024), lo que ilustra la diversidad necesaria para la generalización entre tareas. Sin esta amplitud, los modelos VLA tienden a memorizar objetos específicos en lugar de generalizar.
¿Por qué la anotación de acciones es más difícil que la anotación de imágenes?
La anotación de acciones es más compleja porque las acciones se desarrollan en espacios continuos y de alta dimensionalidad, y dependen de la representaciones del robot, no solo del contenido del marco. Etiquetar un cuadro delimitador en una taza es sencillo; etiquetar una trayectoria que sujete con éxito esa taza con una pinza específica en un punto de contacto determinado no lo es.
Token de acción: Una representación discretizada del movimiento de un robot o del desplazamiento de su efector final que un modelo VLA puede predecir como si fuera un token de lenguaje.
Los equipos de anotación necesitan alinear cada token de acción con su observación sincronizada, marcar los instantes de contacto, capturar la recuperación de fallos y etiquetar los límites atómicos de la instrucción del lenguaje. Shaip anotación de datos Los flujos de trabajo gestionan esto a gran escala, con taxonomías estructuradas adaptadas a los espacios de acción robótica y a los umbrales de aceptación por tarea.
¿Qué lugar ocupa el vídeo humano egocéntrico en la formación VLA?
Los vídeos protagonizados por humanos se ajustan perfectamente como fuente de preentrenamiento escalable, cubriendo las carencias que no pueden alcanzar los datos reales de los robots. Las grabaciones en primera persona de personas cocinando, seleccionando y ensamblando capturan comportamientos a una escala que la teleoperación robótica jamás podrá alcanzar.
Un artículo reciente transformó videos humanos egocéntricos no estructurados en episodios con formato VLA (1 millón de segmentos y 26 millones de fotogramas) al tratar la mano humana como un efector final diestro (Wu et al., arXiv, 2025). Este tipo de datos de interacción corporal es ahora habitual en los protocolos de preentrenamiento de VLA.
El problema: el vídeo sin procesar no son datos de entrenamiento. Necesita segmentación, descripciones de idioma, reorientación de la postura de la mano y validación de calidad antes de llegar a una canalización VLA. El de Shaip IA física Las operaciones de datos incluyen captura egocéntrica, conversión de real2sim y anotación alineada con VLA en una única entrega.
¿Cómo se crean conjuntos de evaluación que detecten los modos de fallo de los VLA?
Los conjuntos de evaluación detectan los modos de fallo de VLA cuando se diseñan antes del entrenamiento, no después. Tres estructuras son fundamentales: puntos de referencia de éxito dentro de la distribución, pruebas de generalización fuera de la distribución y escenarios de seguridad clasificados por niveles de riesgo.
Imaginemos un modelo VLA doméstico entrenado exhaustivamente en tareas de cocina. Un conjunto de evaluación adecuado incluiría: tareas conocidas en cocinas conocidas (en distribución), tareas conocidas con iluminación desconocida (OO leve), objetos desconocidos con instrucciones conocidas (generalización de conceptos) y eventos poco frecuentes como derrames accidentales (nivel de seguridad). Sin cada uno de estos elementos, el riesgo de despliegue permanece sin medir.
Un recurso neutral útil para organizar la cobertura por niveles de riesgo es el Marco de gestión de riesgos de IA del NIST, que separa los niveles de impacto de una manera que se corresponde claramente con el diseño del conjunto de evaluación.
Datos de capacitación de VLA: qué presupuestar
| Capa | Lo que incluye | Error común |
|---|---|---|
| Observaciones visuales | Cámara RGB multivista, de profundidad y de muñeca | Marcas de tiempo faltantes o no sincronizadas |
| Idioma | Instrucciones, descripciones atómicas | Frases vagas que no se corresponden con acciones. |
| Trayectorias de acción | Fichas discretas o controles continuos | Sin alineación con la representación del robot |
| Evaluación | Episodios, sondeos OOD, niveles de seguridad | Diseñado demasiado tarde, después de que el modelo se congelara |
Conclusión: Los modelos VLA se ganan o se pierden en el conjunto de datos.
El potencial de un modelo VLA viene determinado por sus datos de entrenamiento: su amplitud, la profundidad de sus anotaciones y el rigor de su evaluación. Los equipos que planifican el conjunto de datos como un producto, y no como algo secundario, son los primeros en implementarlo. Los equipos que simplemente recopilan vídeos y esperan que surjan nuevas funcionalidades, por lo general, no lo consiguen.
¿Cuál es la diferencia entre un modelo VLA y una política robótica?
La diferencia radica en el alcance. Tradicionalmente, una política robótica asigna observaciones a acciones para una tarea o un pequeño grupo de tareas. Un modelo VLA es una política de tipo básico que busca gestionar múltiples tareas en diversos objetos, condicionada por instrucciones en lenguaje natural. Ambas son políticas; los modelos VLA son simplemente la versión generalista entrenada con datos más amplios y alineados con el lenguaje.
¿Cuántos datos de entrenamiento VLA se necesitan normalmente para una sesión de ajuste fino?
Un proceso de ajuste fino suele utilizar entre unos pocos miles y unos cientos de miles de demostraciones de alta calidad, dependiendo de la complejidad de la tarea y la robustez del modelo base. Las arquitecturas VLA preentrenadas reducen considerablemente el volumen de datos requerido. El factor decisivo es la calidad de la anotación y la precisión de las instrucciones lingüísticas, no solo el número de episodios.
¿Es posible entrenar un modelo VLA completamente con datos simulados?
Entrenar un modelo VLA exclusivamente con datos simulados es posible, pero rara vez suficiente para su implementación. La simulación maneja bien la diversidad y los eventos poco frecuentes; la captura de datos reales fundamenta la dinámica de contacto y la transferencia de datos de la simulación a la realidad. La mayoría de los procesos de producción combinan ambos métodos, con pruebas comparativas que miden explícitamente la diferencia de rendimiento entre la simulación y la realidad.
¿Qué modalidades de sensores requieren los datos de entrenamiento de VLA?
Los datos de entrenamiento de VLA requieren, como mínimo, vídeo RGB sincronizado y una trayectoria de acción. Los sistemas de alto rendimiento incorporan profundidad, vistas de la cámara de muñeca, audio, IMU y lecturas de fuerza o torsión, según la clase de tarea. El detalle fundamental es la sincronización temporal entre las distintas modalidades; sin ella, las señales de lenguaje y acción se desincronizan durante el entrenamiento.
¿Cómo se evalúa la calidad de un conjunto de datos VLA antes del entrenamiento?
La evaluación de un conjunto de datos VLA se basa en cuatro comprobaciones: precisión de la alineación lenguaje-acción, consistencia de la segmentación de episodios, amplitud de la cobertura del espacio de acciones y representación de casos extremos. La revisión humana basada en muestras con calibración mediante un conjunto de referencia es el punto de partida más fiable. Un acuerdo entre anotadores superior al 95 % en las etiquetas de acción es un umbral de producción común.
¿Los datos de entrenamiento de VLA son lo mismo que los datos de aprendizaje por imitación?
Los datos de entrenamiento de VLA constituyen un superconjunto de los datos de aprendizaje por imitación. Estos últimos se centran en pares de observación-acción a partir de demostraciones. Los datos de VLA incorporan instrucciones lingüísticas, una estructura multitarea y una amplia cobertura intercorporal para que el modelo pueda generalizar más allá de las trayectorias memorizadas.
