Fine-tuning con la API Trainer

Un modelo preentrenado ya conoce el lenguaje; el fine-tuning lo orienta para que destaque en su tarea específica mediante sus datos etiquetados.

Cargue un modelo con una cabeza de clasificación cuyo tamaño corresponda a sus etiquetas. Se reutilizan los pesos base y solo la cabeza empieza desde cero.

La API de Trainer gestiona todo el ciclo de entrenamiento: creación de lotes, gradientes, evaluación y guardado, todo en una sola clase.

Tokenice el texto y conserve las etiquetas. Un objeto Dataset de Hugging Face se conecta directamente con Trainer.

TrainingArguments reúne todos los parámetros en un solo lugar: tasa de aprendizaje, tamaño del lote, épocas y ubicación donde guardar los checkpoints.

Pase el modelo, los argumentos y sus conjuntos de datos a Trainer. Ahora todo lo que necesita para aprender está en un único objeto.

Una sola llamada ejecuta el ciclo completo. Trainer recorre las épocas y actualiza los pesos mientras aprende.

El fine-tuning utiliza una tasa de aprendizaje pequeña, normalmente cercana a 2e-5, para ajustar con cuidado los pesos preentrenados en lugar de estropearlos.

Los transformers normalmente solo necesitan recorrer los datos entre dos y cuatro veces. Con demasiadas épocas, el modelo empieza a sobreajustarse.

Proporcione a Trainer una función compute_metrics y este informará de la precisión o F1 en cada evaluación, para que pueda observar el progreso en directo.

Un collator de datos aplica padding dinámicamente a cada lote hasta alcanzar la longitud de su ejemplo más largo, lo que ahorra memoria frente a aplicar padding a una longitud fija.

Cargue un modelo con una cabeza nueva, tokenice sus datos, configure TrainingArguments y deje que Trainer ejecute unas pocas épocas con una tasa baja. ✅