Sintonia FINA

Definición

El ajuste fino es el proceso de adaptar un modelo de aprendizaje automático previamente entrenado a una nueva tarea mediante entrenamiento adicional en conjuntos de datos más pequeños y específicos del dominio.

Propósito

El propósito es reutilizar el conocimiento de modelos grandes y mejorar el rendimiento en tareas especializadas con menos recursos.

Importancia

• Reduce el coste y el tiempo de formación en comparación con la creación de modelos desde cero.
• Mejora el rendimiento en tareas específicas del dominio.
• Existe riesgo de sobreajuste si los datos de entrenamiento son demasiado estrechos.
• Relacionado con el aprendizaje por transferencia.

Cómo Funciona

1. Seleccione un modelo base previamente entrenado.
2. Reemplazar o ajustar capas específicas de la tarea.
3. Entrene con datos etiquetados del nuevo dominio.
4. Ajustar el ritmo de aprendizaje para equilibrar los conocimientos antiguos y nuevos.
5. Validar y probar la generalización.

Ejemplos (mundo real)

• BERT optimizado para el análisis de sentimientos.
• Modelos GPT optimizados para chatbots de atención al cliente.
• Modelos de visión ajustados para la clasificación de imágenes médicas.

Referencias / Lecturas adicionales

• Howard y Ruder. “Ajuste fino del Modelo Universal del Lenguaje” (ULMFiT). ACL 2018.
• Documentación de Transformers Hugging Face.
• Pan y Yang. "Una encuesta sobre el aprendizaje por transferencia". IEEE TKDE.
• ¿Qué es el ajuste fino para modelos de lenguaje grandes? – Shaip