Notebooks, scripts y semillas reproducibles

Escribirá código en cuadernos para realizar experimentos rápidos y en scripts normales para ejecuciones repetibles. Cada opción resulta adecuada para un momento distinto.

Un cuaderno ejecuta el código en celdas y muestra gráficos y resultados en línea. Es perfecto para explorar los datos y probar ideas rápidamente. 📓

Un script se ejecuta de principio a fin de una sola vez. Utilícelo para trabajos de entrenamiento que quiera iniciar, compartir y reproducir exactamente.

Las celdas de un cuaderno conservan el estado incluso cuando las ejecuta fuera de orden, lo que puede ocultar errores. Un script siempre comienza desde cero.

El deep learning utiliza números aleatorios para los pesos y la mezcla de datos. Si ejecuta el programa dos veces, obtendrá resultados diferentes a menos que controle esa aleatoriedad.

Una semilla fija el punto de partida del generador de números aleatorios, de modo que el mismo código produce los mismos números en todas las ejecuciones.

Configure el generador de PyTorch con una sola llamada. manual_seed hace reproducibles la inicialización de los pesos y cualquier proceso aleatorio de torch.

Su código también suele obtener valores aleatorios de NumPy y Python, así que debe fijar la semilla de los tres para que la ejecución sea totalmente reproducible.

Cuando entrene con CUDA, fije también las semillas de los generadores de la GPU. cuda.manual_seed_all cubre todos los dispositivos GPU de su equipo.

Agrupe todas las llamadas para fijar semillas en una única función auxiliar llamada set_seed. Llámela al principio de cada ejecución para no olvidar ninguna fuente de aleatoriedad.

Las ejecuciones reproducibles le permiten comparar experimentos de forma justa. Si mejora la precisión, sabrá que se debe a su cambio y no a la suerte.

Ha visto cuándo usar cuadernos y cuándo usar scripts, y cómo fijar las semillas de torch, NumPy y Python hace que cada ejecución sea reproducible. 🌱