El éxito de cualquier modelo de IA depende de la calidad de los datos que ingresan al sistema. Los sistemas de ML se ejecutan en grandes cantidades de datos, pero no se puede esperar que funcionen con cualquier dato. Necesita ser datos de entrenamiento de IA de alta calidad. Si el resultado del modelo de IA debe ser auténtico y preciso, no hace falta decir que los datos para entrenar el sistema deben ser de alto nivel.
Los datos en los que se entrenan los modelos de IA y ML deben ser de primera calidad para que la empresa obtenga información significativa y relevante de ellos. Sin embargo, la adquisición de grandes volúmenes de datos heterogéneos plantea un desafío para las empresas.
Las empresas deberían confiar en proveedores como Shaip, que implementan estrictas medidas de gestión de la calidad de los datos en sus procesos para hacer frente a este desafío. Además, en Shaip, también emprendemos la transformación continua de nuestros sistemas para enfrentar los desafíos en evolución.
Introducción a la gestión de calidad de datos de Shaip
En Shaip, entendemos la importancia de los datos de entrenamiento confiables y su papel en el desarrollo de modelos ML y el resultado de las soluciones basadas en IA. Además de evaluar las habilidades de nuestros trabajadores, nos enfocamos igualmente en desarrollar su base de conocimientos y desarrollo personal.
Seguimos pautas estrictas y procedimientos operativos estándar implementados en todos los niveles del proceso para que nuestros datos de capacitación cumplan con el punto de referencia de calidad.
Gestión de calidad
Nuestro flujo de trabajo de gestión de calidad ha sido fundamental para ofrecer modelos de inteligencia artificial y aprendizaje automático. Con feedback-in-loop, nuestro modelo de gestión de calidad es un método probado científicamente que ha sido fundamental para entregar con éxito varios proyectos para nuestros clientes. El flujo de nuestro proceso de auditoría de calidad procede de la siguiente manera.
- Revisando el contrato
- Crear una lista de verificación de auditoría
- Abastecimiento de documentos
- Auditoría de 2 capas de abastecimiento
- Moderación de texto de anotación
- Anotación Auditoría de 2 capas
- Entrega de obra
- Cliente Comentarios
Selección e incorporación de trabajadores de Crowdsource
Nuestro riguroso proceso de selección e incorporación de trabajadores nos distingue del resto de la competencia. Llevamos a cabo un proceso de selección preciso para incorporar solo a los anotadores más capacitados en función de la lista de verificación de calidad. Consideramos:
- Experiencia previa como moderador de texto para garantizar que sus habilidades y experiencia coincidan con nuestros requisitos.
- El desempeño en proyectos anteriores para garantizar que su productividad, calidad y producción estuvieran a la par con las necesidades del proyecto.
- Un amplio conocimiento del dominio es un requisito para elegir a un trabajador en particular para una vertical específica.
Nuestro proceso de selección no acaba aquí. Sometemos a los trabajadores a una prueba de anotación de muestras para verificar sus calificaciones y desempeño. Con base en el desempeño en el ensayo, el análisis de desacuerdo y las preguntas y respuestas, serán seleccionados.
Una vez que se seleccionan los trabajadores, se someterán a una sesión de capacitación exhaustiva utilizando Project SOW, pautas, métodos de muestreo, tutoriales y más, según las necesidades del proyecto.
Lista de verificación de recopilación de datos
Se implementan controles de calidad de doble capa para garantizar que solo el datos de entrenamiento de alta calidad se pasa al siguiente equipo.
Nivel 1: Verificación de Garantía de Calidad
El equipo de control de calidad de Shaip realiza el control de calidad de nivel 1 para la recopilación de datos. Comprueban todos los documentos y se validan rápidamente con los parámetros necesarios.
Nivel 2: Comprobación de análisis de calidad crítica
El equipo de CQA, compuesto por recursos acreditados, experimentados y calificados, evaluará el 20 % restante de las muestras retrospectivas.
Algunos de los elementos de la lista de verificación de calidad del abastecimiento de datos incluyen,
- ¿La fuente de URL es auténtica y permite el raspado web de datos?
- ¿Hay diversidad en las URL preseleccionadas para evitar el sesgo?
- ¿Se valida el contenido para determinar su relevancia?
- ¿El contenido incluye categorías de moderación?
- ¿Están cubiertos los dominios prioritarios?
- ¿Se obtiene el tipo de documento teniendo en cuenta la distribución del tipo de documento?
- ¿Cada clase de moderación contiene la losa de volumen mínimo?
- ¿Se sigue el proceso de Feedback-in-loop?
Lista de verificación de anotación de datos
Similar a la Recopilación de datos, también tenemos dos capas de lista de verificación de calidad para la anotación de datos.
Nivel 1: Verificación de Garantía de Calidad
Este proceso asegura que el 100% de los documentos se validen correctamente frente a los parámetros de calidad establecidos por el equipo y el cliente.
Nivel 2: Comprobación de análisis de calidad crítica
Este proceso garantiza que entre el 15 y el 20 % de las muestras retrospectivas también se validen y se garantice la calidad. Este paso lo lleva a cabo el equipo de CQA calificado y experimentado con un mínimo de 10 años de experiencia en gestión de calidad y titulares de Black Belt.
El equipo de CQA asegura,- Coherencia en la moderación de texto por parte de los usuarios
- Verificar si se utilizan las frases y clases de moderación correctas para cada documento
- Comprobación de los metadatos
También proporcionamos comentarios diarios basados en Análisis de Pareto para garantizar que su rendimiento esté a la par con los requisitos del cliente.
Incluimos otra capa de análisis de rendimiento para centrarnos en los anotadores de menor rendimiento mediante la gestión del cuartil inferior. Antes de la entrega final, también nos aseguramos de que se completen los controles de higiene de las muestras.
Umbral de parámetro
Según las pautas del proyecto y los requisitos del cliente, tenemos un umbral de parámetro del 90 al 95 %. Nuestro equipo está equipado y tiene experiencia para emprender cualquiera de los siguientes métodos para garantizar estándares de gestión de mayor calidad.
- Puntuación F1 o Medida F: para juzgar el rendimiento de dos clasificadores: 2* ((Precisión * Recuperación)/ (Precisión + Recuperación))
- El método DPO o Defectos por Oportunidad se calcula como una relación de defectos dividida por las oportunidades.
Ejemplo de lista de verificación de auditoría
La lista de verificación de auditoría de muestra de Shaip es un procedimiento de personalización completo que se puede adaptar para satisfacer las demandas del proyecto y del cliente. Puede modificarse en función de los comentarios recibidos del cliente y finalizarse después de una discusión exhaustiva.
- Comprobación de lenguaje
- Comprobación de URL y dominio
- Comprobación de diversidad
- Volumen por idioma y clase de moderación
- Palabras clave específicas
- Tipo de documento y relevancia
- Verificación de frases tóxicas
- Comprobación de metadatos
- Verificación de consistencia
- Comprobación de clase de anotación
- Cualquier otro control obligatorio según la preferencia del cliente
El equipo de CQA asegura,Tomamos medidas estrictas para mantener los estándares de calidad de los datos porque entendemos que todos los modelos basados en IA están basados en datos. y, teniendo datos de entrenamiento de alta calidad es un requisito para todos los modelos de IA y aprendizaje automático. Entendemos la importancia de los datos de capacitación de calidad y su importancia en el rendimiento y el éxito de sus modelos de IA.