Tokenice y cree un vocabulario
Convierta el texto en identificadores enteros
Tokenice y cree un vocabulario es una lección gratuita de Deep Learning Academy en CoddyKit. Esta es la lección 1 de 4. Puedes leer la lección completa abajo gratuitamente — luego la practicas en el navegador con un editor de código integrado y un tutor de IA 24/7. Forma parte de la ruta de aprendizaje de Deep Learning Academy, y tu progreso se sincroniza en la web y la app de CoddyKit. El curso de Deep Learning Academy incluye 4 lecciones en total.
Las redes solo procesan números
Una red neuronal no puede leer letras sin procesar. Antes de que comience cualquier aprendizaje, debe convertir el texto en números que el modelo pueda procesar. 🔢
Primer paso: tokenizar
Tokenizar significa dividir el texto en pequeñas piezas llamadas tokens. La opción más sencilla es dividir una frase por los espacios para obtener palabras.
text = "I love deep learning"
tokens = text.split()
# ["I", "love", "deep", "learning"]Los tokens pueden ser más pequeños
Un token no tiene por qué ser una palabra completa. Puede ser un carácter o un fragmento de subpalabra, lo que ayuda al modelo a gestionar palabras raras o desconocidas.
Construir un vocabulario
Un vocabulario es el conjunto completo de tokens únicos que conoce su modelo. Reúna cada token distinto presente en el texto de entrenamiento.
Asignar un id a cada token
Cada token único recibe un id entero. Esta correspondencia entre token e id es la forma en que las palabras se convierten en números que la red puede indexar.
vocab = {"i": 0, "love": 1, "deep": 2, "learning": 3}Codificar una frase
Para codificar un texto, busque cada token en el vocabulario y sustitúyalo por su id, produciendo una lista de enteros.
ids = [vocab[t] for t in ["i", "love", "deep"]]
# [0, 1, 2]Gestionar las palabras desconocidas
Algunos tokens presentes durante las pruebas nunca se vieron durante el entrenamiento. Asígnelos a un token especial de tipo desconocido para que el modelo siga recibiendo un id válido.
unk_id = vocab.get("dragons", vocab["<unk>"])Los tokens especiales ayudan
Añada tokens especiales, como marcadores de relleno, de inicio y de final. Proporcionan al modelo una estructura que va más allá de las palabras simples.
Convertir a minúsculas y limpiar
Normalizar el texto mediante la conversión a minúsculas y la eliminación de la puntuación reduce el tamaño del vocabulario, de modo que Cat y cat compartan un único id.
Limitar el tamaño del vocabulario
Los corpus reales tienen vocabularios enormes. Conserve solo los tokens más frecuentes para controlar el tamaño del vocabulario; el resto se convierten en desconocidos.
Ahora el texto es un tensor
Una vez codificada, una frase es una lista de ids que puede envolver en un tensor. El proceso desde el texto sin procesar hasta la entrada del modelo está completo.
import torch
ids = torch.tensor([0, 1, 2, 3])Comprobación rápida
¿Qué proporciona la construcción de un vocabulario a cada token único?
Resumen
Divide el texto en tokens, reúna los tokens únicos en un vocabulario y asigne a cada uno un id entero para convertir el texto en números. ✅
Preguntas frecuentes
¿La lección «Tokenice y cree un vocabulario» es gratis?
Sí — el texto completo de «Tokenice y cree un vocabulario» es gratis para leer aquí en la web. Para practicarla de forma interactiva (editor de código integrado y tutor de IA 24/7) y desbloquear el resto del curso de Deep Learning Academy, actualiza a CoddyKit PRO. El curso de Deep Learning Academy incluye 4 lecciones en total.
¿Qué aprenderé en «Tokenice y cree un vocabulario»?
Convierta el texto en identificadores enteros Practicas Deep Learning Academy con código real que ejecutas directamente en el navegador, y un tutor de IA 24/7 responde tus preguntas mientras trabajas en la lección.
¿Necesito experiencia previa para empezar Deep Learning Academy?
No se requiere experiencia previa. Deep Learning Academy en CoddyKit está estructurado para principiantes hasta estudiantes avanzados, así que puedes empezar aquí o desde el inicio y avanzar a tu ritmo. Esta es la lección 1 de 4.
¿Cuánto tiempo toma la lección «Tokenice y cree un vocabulario»?
La mayoría de las lecciones de CoddyKit toman alrededor de 5–10 minutos. Cada una es compacta e interactiva, así que avanzas constantemente y retomas exactamente por donde dejaste en la web y la app.
¿Puedo escribir y ejecutar código en esta lección de Deep Learning Academy?
Sí. Cada lección de Deep Learning Academy incluye un editor de código integrado, así que escribes y ejecutas código real directamente en tu navegador y obtienes retroalimentación instantánea de IA — sin configuración local necesaria.
Todas las lecciones de este curso
- Tokenice y cree un vocabulario
- nn.Embedding: vectores de palabras aprendibles
- Por qué los embeddings capturan el significado
- Entrene un clasificador de texto