Modelo de lenguaje grande (LLM)

Definición

Un modelo lingüístico extenso (LLM) es una red neuronal entrenada con vastos corpus textuales para comprender y generar lenguaje humano. Los LLM utilizan miles de millones de parámetros para capturar patrones lingüísticos.

Propósito

El objetivo es facilitar tareas avanzadas de PNL, como la generación, el resumen y la traducción de textos. Los LLM se utilizan en chatbots, herramientas de búsqueda y productividad.

Importancia

• Potencia la IA conversacional moderna.
• Riesgo de sesgo, desinformación y alucinaciones.
• Altos costos computacionales y ambientales.
• Requiere una alineación y gobernanza cuidadosas.

Cómo Funciona

1. Recopilar conjuntos de datos de texto a gran escala.
2. Tokenizar texto en representaciones numéricas.
3. Modelos de transformadores de trenes con miles de millones de parámetros.
4. Aprenda a predecir el próximo token en contexto.
5. Ajustar o adaptarse a las tareas posteriores.

Ejemplos (mundo real)

• GPT-4 (OpenAI): utilizado en ChatGPT.
• PaLM (Google): LLM a gran escala para investigación y productos.
• LLaMA (Meta): LLM abierto enfocado en la investigación.

Referencias / Lecturas adicionales

• Vaswani et al. “La atención es todo lo que necesitas”. NeurIPS 2017.
• Tarjeta del sistema OpenAI GPT-4.
• Stanford CRFM. “Modelos de Fundación”.
• Todo lo que necesitas saber sobre LLM