Anotación de cuadro delimitador para detección de frutas en agricultura
Shaip logró realizar anotaciones precisas de cuadros delimitadores en cada manzana visible en las imágenes del huerto, abarcando el ciclo de crecimiento completo, la captura desde múltiples perspectivas y los atributos de condición de 3 capas, creando un conjunto de datos de calidad de producción para la estimación del rendimiento, la cosecha robótica y la IA para la salud de los cultivos.
Resumen del proyecto
A medida que la agricultura de precisión avanza hacia la cosecha y la predicción del rendimiento impulsadas por la IA, el cliente necesitaba un sistema de anotación capaz de detectar frutos individuales a gran escala en imágenes densas y naturalmente desordenadas de huertos, que cubriera todas las etapas de crecimiento, desde la floración hasta la cosecha.
Shaip diseñó el sistema integral de anotación, que abarca la colocación precisa de cuadros delimitadores para cada fruta, el etiquetado de condiciones con múltiples atributos, el manejo de imágenes desde múltiples perspectivas y un control de calidad de dos niveles, lo que produce conjuntos de datos listos para el modelado para la IA de agricultura de precisión a gran escala.
Estadísticas clave
Umbral de precisión
99%
Etapas de crecimiento
Ciclo completo
Capas de atributos
3
Perspectivas
Tierra + Dron
Desafíos
- Anotando cada manzana visible en imágenes densas de huertos: cientos por fotograma
- Cubierta el ciclo de crecimiento completo — flor, pequeño fruto verde, manzanas completamente maduras
- Manejar imágenes multiperspectiva — plano a nivel del suelo, dron desde arriba, primer plano de una rama
- Distintivo fruto del follaje cuando los colores se mezclan durante las primeras etapas de crecimiento
- Gestionando ocluidas, parciales y afectadas por el deslumbramiento fruta sin comprometer la precisión
Solución
Colocación del cuadro delimitador por fruta
Los anotadores dibujaron recuadros delimitadores precisos alrededor de cada manzana visible en cada imagen, independientemente de su tamaño, color o posición dentro del encuadre. Incluso en grupos densos donde se superponían docenas de frutas, cada una se etiquetó individualmente para facilitar el conteo de frutos y la estimación del rendimiento en modelos posteriores.
Cobertura completa del ciclo de crecimiento
La anotación abarcó manzanas en todas las etapas de crecimiento, desde la floración temprana y los pequeños frutos verdes hasta las manzanas rojas y amarillas completamente maduras. Esta cobertura de ciclo completo garantiza que el modelo entrenado pueda detectar la fruta en cualquier punto del ciclo agrícola, no solo en la cosecha.
Imágenes con múltiples perspectivas
Se incluyeron imágenes capturadas desde el nivel del suelo en los huertos, tomas aéreas con drones y fotografías de ramas en primer plano, lo que dio como resultado un conjunto de datos muy diverso y representativo de la implementación en el mundo real. Cada perspectiva recibió pautas de anotación específicas.
Clasificación de atributos de 3 capas
Cada manzana anotada se clasificó con atributos que abarcan el grado de madurez (inmadura, semimadura, completamente madura), la visibilidad (totalmente visible, parcialmente oculta, muy oculta) y el estado de la fruta (sana, dañada, enferma). Este enfoque multiatributo permite que el modelo entrenado evalúe la preparación para la cosecha y la salud del cultivo, además de detectar la fruta.
Manejo de casos extremos
Los anotadores siguieron pautas estrictas para las manzanas parcialmente fuera de plano, las manzanas en el suelo, las superficies de la fruta reflectantes o brillantes que causaban reflejos y las frutas pequeñas distantes que requerían identificación con nivel de zoom. La variabilidad de la iluminación, en particular las sombras de la copa de los árboles, se manejó mediante reglas de anotación que tienen en cuenta la perspectiva.
Alcance del proyecto
| Tipo de conjunto de datos | Objetivo | Etapas de crecimiento | Perspectivas | Atributos | Exactitud |
|---|---|---|---|---|---|
| Detección de frutas agrícolas | Manzanas | Ciclo completo (floración → madurez) | Desde tierra + dron + primer plano | Madurez, visibilidad, estado | 99% |
Resultados
- Estableció un tubería de caja delimitadora de huerto denso capaz de detectar cada fruta visible
- Estandarizado cobertura completa de anotaciones del ciclo de crecimiento desde la floración hasta la cosecha
- Clasificación de atributos de 3 capas por madurez, visibilidad y condición
- mantenimiento sencillo Puerta con un 99% de precisión mediante control de calidad de dos niveles en imágenes con múltiples perspectivas
- Habilitó al cliente Estimación del rendimiento, cosecha robótica, sanidad de los cultivos y vigilancia con drones. AI
En definitiva, Shaip ayudó a transformar un requisito de detección de fruta a escala de huerto en un sistema de anotación estructurado y listo para la producción, capaz de dar soporte a la agricultura de precisión, la cosecha robótica, la predicción del rendimiento y la IA de monitorización de la salud de los cultivos en diversos entornos de huertos y ciclos de crecimiento.
Shaip anotó manzanas que en algunos fotogramas ni siquiera podíamos distinguir de las hojas. El etiquetado de su etapa de crecimiento y estado se incorporó directamente a nuestros modelos de estimación de rendimiento y planificación de la cosecha.
