Aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF)

Definición

El aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) es un método para alinear los modelos de IA con los valores humanos mediante la incorporación de juicios humanos en el proceso de entrenamiento. Se utiliza a menudo para perfeccionar modelos lingüísticos extensos.

Propósito

El objetivo es que los resultados de la IA sean más seguros, útiles y acordes con las preferencias humanas. RLHF mejora los sistemas conversacionales al reducir las respuestas dañinas, sesgadas o irrelevantes.

Importancia

• Proporciona supervisión humana en el entrenamiento de IA.
• Mejora la confiabilidad de los sistemas de IA.
• Requiere mucha mano de obra debido a las necesidades de anotación humana.
• Relacionado con el modelado de preferencias y la investigación de alineación.

Cómo Funciona

1. Recopilar comentarios humanos comparando los resultados del modelo.
2. Entrenar un modelo de recompensa basado en las preferencias humanas.
3. Utilice el aprendizaje de refuerzo para ajustar el modelo base.
4. Evaluar el desempeño en relación con los objetivos de alineación.
5. Iterar con retroalimentación adicional.

Ejemplos (mundo real)

• OpenAI ChatGPT: optimizado con RLHF para obtener respuestas más seguras.
• IA constitucional de Anthropic: guiada por principios en lugar de retroalimentación directa.
• InstructGPT: modelo OpenAI inicial que demuestra RLHF.

Referencias / Lecturas adicionales

• Christiano et al. “Aprendizaje por refuerzo profundo a partir de las preferencias humanas”. NeurIPS 2017.
• Documento InstructGPT de OpenAI.
• Marco de gestión de riesgos de inteligencia artificial del NIST.
• ¿Qué es el aprendizaje por refuerzo con retroalimentación humana (RLHF)?