Tasa de aprendizaje: demasiado grande, demasiado pequeña o justa
El hiperparámetro más importante
Tasa de aprendizaje: demasiado grande, demasiado pequeña o justa es una lección gratuita de Deep Learning Academy en CoddyKit. Esta es la lección 3 de 4. Puedes leer la lección completa abajo gratuitamente — luego la practicas en el navegador con un editor de código integrado y un tutor de IA 24/7. Forma parte de la ruta de aprendizaje de Deep Learning Academy, y tu progreso se sincroniza en la web y la app de CoddyKit. El curso de Deep Learning Academy incluye 4 lecciones en total.
El tamaño de su paso
El gradiente indica en qué dirección ir, pero ¿hasta dónde? La tasa de aprendizaje es el multiplicador que determina el tamaño de cada paso cuesta abajo.
w = w - lr * gradUn único control decisivo
La tasa de aprendizaje suele ser el ajuste más importante del entrenamiento. Si la elige mal, incluso un modelo perfecto no aprenderá.
lr = 0.01Demasiado pequeña: avanzar lentamente
Una tasa de aprendizaje diminuta produce pasos de puntillas. La pérdida disminuye, pero tan lentamente que el entrenamiento se prolonga durante mucho tiempo o se detiene antes de llegar al valle. 🐢
Demasiado grande: pasarse de largo
Una tasa de aprendizaje enorme da un salto tan grande que pasa por encima del valle y aterriza más arriba, en el otro lado. La pérdida oscila o se dispara hasta el infinito.
La señal de advertencia de divergencia
Si la pérdida aumenta o se convierte en NaN después de unos pocos pasos, casi siempre significa que la tasa de aprendizaje es demasiado grande. Esa es la señal más clara para reducirla.
En su punto justo: descenso uniforme
Una buena tasa de aprendizaje hace que la pérdida disminuya de forma constante y rápida, sin oscilaciones bruscas. La curva se desliza hacia abajo y se estabiliza cerca del fondo.
Valores iniciales razonables
Rara vez se elige a ciegas. Un valor inicial habitual de la tasa de aprendizaje está entre 0.001 y 0.01; después se ajusta según el comportamiento de la curva de pérdida.
lr = 1e-3Observe la curva de pérdida
Representar la pérdida a lo largo del tiempo es su mejor guía. Una curva divergente indica que debe usar un valor menor; una curva plana que apenas se mueve indica que puede usar uno algo mayor.
Interactúa con el tamaño del lote
La tasa de aprendizaje adecuada depende de otras decisiones, como el tamaño del lote y el optimizador. Si cambia una de ellas, quizá tenga que volver a ajustar la tasa.
Los programadores la cambian con el tiempo
Incluso puede reducir la tasa de aprendizaje a medida que avanza el entrenamiento: dé zancadas grandes al principio y luego pasos pequeños y cuidadosos cerca del fondo para terminar con precisión.
Ajustar es normal
No existe un valor universalmente óptimo, así que probar varias tasas de aprendizaje y comparar las curvas es una parte normal y esperada del entrenamiento de un modelo.
Comprobación rápida
¿Qué ocurre cuando la tasa de aprendizaje es demasiado grande?
Resumen
La tasa de aprendizaje determina el tamaño del paso: si es demasiado pequeña, se avanza lentamente; si es demasiado grande, se pasa de largo y diverge; en su punto justo, el descenso es uniforme. Observe la curva de pérdida y ajústela. 🎯
Preguntas frecuentes
¿La lección «Tasa de aprendizaje: demasiado grande, demasiado pequeña o justa» es gratis?
Sí — el texto completo de «Tasa de aprendizaje: demasiado grande, demasiado pequeña o justa» es gratis para leer aquí en la web. Para practicarla de forma interactiva (editor de código integrado y tutor de IA 24/7) y desbloquear el resto del curso de Deep Learning Academy, actualiza a CoddyKit PRO. El curso de Deep Learning Academy incluye 4 lecciones en total.
¿Qué aprenderé en «Tasa de aprendizaje: demasiado grande, demasiado pequeña o justa»?
El hiperparámetro más importante Practicas Deep Learning Academy con código real que ejecutas directamente en el navegador, y un tutor de IA 24/7 responde tus preguntas mientras trabajas en la lección.
¿Necesito experiencia previa para empezar Deep Learning Academy?
No se requiere experiencia previa. Deep Learning Academy en CoddyKit está estructurado para principiantes hasta estudiantes avanzados, así que puedes empezar aquí o desde el inicio y avanzar a tu ritmo. Esta es la lección 3 de 4.
¿Cuánto tiempo toma la lección «Tasa de aprendizaje: demasiado grande, demasiado pequeña o justa»?
La mayoría de las lecciones de CoddyKit toman alrededor de 5–10 minutos. Cada una es compacta e interactiva, así que avanzas constantemente y retomas exactamente por donde dejaste en la web y la app.
¿Puedo escribir y ejecutar código en esta lección de Deep Learning Academy?
Sí. Cada lección de Deep Learning Academy incluye un editor de código integrado, así que escribes y ejecutas código real directamente en tu navegador y obtienes retroalimentación instantánea de IA — sin configuración local necesaria.
Todas las lecciones de este curso
- La pérdida como un paisaje que recorrer hacia abajo
- Los gradientes apuntan cuesta arriba: avance en sentido contrario
- Tasa de aprendizaje: demasiado grande, demasiado pequeña o justa
- Minimice una función a mano en Python