Ajuste fino de parámetros eficientes (PEFT)

Definición

El ajuste fino de parámetros eficiente (PEFT) es una técnica para adaptar modelos grandes previamente entrenados a nuevas tareas actualizando solo un pequeño subconjunto de parámetros en lugar de todo el modelo.

Propósito

El propósito es reducir los costos computacionales y las necesidades de almacenamiento manteniendo al mismo tiempo un sólido rendimiento de la tarea.

Importancia

• Permite realizar ajustes finos para organizaciones que no cuentan con grandes recursos.
• Reduce la huella de carbono en comparación con el entrenamiento del modelo completo.
• Permite un cambio eficiente de tareas en producción.
• Relacionado con métodos como LoRA y adaptadores.

Cómo Funciona

1. Seleccione un modelo base grande previamente entrenado.
2. Identificar subconjuntos de parámetros (por ejemplo, adaptadores de rango bajo).
3. Entrene sólo estos subconjuntos en los datos de la tarea objetivo.
4. Mantenga otros parámetros congelados.
5. Implemente con una sobrecarga mínima de recursos.

Ejemplos (mundo real)

• LoRA (adaptación de bajo rango): ampliamente utilizado para ajustar LLM.
• Biblioteca PEFT Hugging Face: un conjunto de herramientas de ajuste fino eficiente.
• Investigación de Google: adaptadores para tareas de PNL multilingües.

Referencias / Lecturas adicionales

• Hu et al. “LoRA: Adaptación de bajo rango de modelos de lenguaje grandes”. arXiv.
• Houlsby et al. “Aprendizaje por transferencia de parámetros eficiente para PNL”. ACL.
• Documentación PEFT de cara abrazada.