Embeddings de GloVe y FastText
Estadísticas globales de coocurrencia, subpalabras con FastText y carga de embeddings preentrenados.
Embeddings de GloVe y FastText es una lección gratuita de Learn AI with Python en CoddyKit. Esta es la lección 2 de 4. Puedes leer la lección completa abajo gratuitamente — luego la practicas en el navegador con un editor de código integrado y un tutor de IA 24/7. Forma parte de la ruta de aprendizaje de Learn AI with Python, y tu progreso se sincroniza en la web y la app de CoddyKit. El curso de Learn AI with Python incluye 4 lecciones en total.
Más allá de Word2Vec
Word2Vec aprende a partir de ventanas de contexto locales. Otros dos embeddings influyentes utilizan enfoques diferentes: GloVe utiliza estadísticas globales y FastText utiliza fragmentos de caracteres.
Qué es GloVe
GloVe (Global Vectors) se entrena con una matriz de coocurrencia global: la frecuencia con la que aparece cada par de palabras en todo el corpus, no solo en ventanas locales.
Por qué ayudan las estadísticas globales
Al factorizar la matriz de coocurrencia completa, GloVe captura relaciones y proporciones entre palabras en todo el corpus, y suele producir vectores de gran calidad que igualan o superan a Word2Vec en tareas de analogías.
Carga de vectores preentrenados
Entrenar embeddings requiere corpus enormes, por lo que normalmente descargamos embeddings preentrenados. gensim.downloader obtiene modelos populares, como los vectores de GloVe, con una sola línea.
import gensim.downloader as api
glove = api.load("glove-wiki-gigaword-100")
print(glove["computer"].shape) # (100,)Uso de GloVe preentrenado
Una vez cargados, los vectores de GloVe admiten las mismas operaciones que Word2Vec: similitud y analogías.
import gensim.downloader as api
glove = api.load("glove-wiki-gigaword-100")
print(glove.most_similar("king", topn=3))
print(glove.most_similar(positive=["king", "woman"], negative=["man"], topn=1))El problema de las palabras fuera del vocabulario
Word2Vec y GloVe asignan vectores únicamente a las palabras presentes en el entrenamiento. Una palabra nueva o mal escrita (fuera del vocabulario, OOV) no tiene vector, lo que supone una limitación real para el texto desordenado.
Qué es FastText
FastText resuelve el problema OOV representando cada palabra como una bolsa de n-gramas de caracteres. La palabra "playing" incluye fragmentos como "pla", "lay" e "ing", por lo que comparte estructura con palabras relacionadas.
Cómo ayudan los n-gramas de caracteres
Como el vector de una palabra se construye a partir de sus subfragmentos, FastText puede construir un vector para una palabra no vista a partir de sus n-gramas. También captura la morfología, lo que ayuda con prefijos, sufijos y palabras poco frecuentes.
Entrenamiento de FastText
gensim proporciona FastText con una API similar a la de Word2Vec. Los parámetros min_n y max_n establecen el rango de n-gramas de caracteres.
from gensim.models import FastText
model = FastText(
sentences,
vector_size=100,
window=5,
min_count=1,
min_n=3,
max_n=6,
)FastText gestiona OOV
Incluso una palabra que nunca haya aparecido en el entrenamiento devuelve un vector, ensamblado a partir de sus n-gramas de caracteres. Esta es la principal ventaja distintiva de FastText frente a Word2Vec y GloVe.
from gensim.models import FastText
model = FastText(sentences, vector_size=100, min_n=3, max_n=6, min_count=1)
# works even if "catlike" was never in training
vec = model.wv["catlike"]Cómo elegir un embedding
Utilice GloVe o Word2Vec para texto limpio con un vocabulario fijo. Elija FastText para idiomas con mucha riqueza morfológica, texto ruidoso o situaciones en las que las palabras OOV sean frecuentes. En todos los casos, los vectores preentrenados son un excelente punto de partida.
Comprobación rápida
Compruebe sus conocimientos sobre embeddings.
Resumen
Resumen: GloVe aprende a partir de estadísticas globales de coocurrencia; FastText utiliza n-gramas de caracteres para gestionar las palabras fuera del vocabulario y la morfología. Cargue vectores preentrenados con gensim.downloader.load. Ambos admiten similitud y analogías. Elija FastText para texto ruidoso o con mucha riqueza morfológica, y GloVe/Word2Vec para vocabularios fijos y limpios.
Preguntas frecuentes
¿La lección «Embeddings de GloVe y FastText» es gratis?
Sí — el texto completo de «Embeddings de GloVe y FastText» es gratis para leer aquí en la web. Para practicarla de forma interactiva (editor de código integrado y tutor de IA 24/7) y desbloquear el resto del curso de Learn AI with Python, actualiza a CoddyKit PRO. El curso de Learn AI with Python incluye 4 lecciones en total.
¿Qué aprenderé en «Embeddings de GloVe y FastText»?
Estadísticas globales de coocurrencia, subpalabras con FastText y carga de embeddings preentrenados. Practicas Learn AI with Python con código real que ejecutas directamente en el navegador, y un tutor de IA 24/7 responde tus preguntas mientras trabajas en la lección.
¿Necesito experiencia previa para empezar Learn AI with Python?
No se requiere experiencia previa. Learn AI with Python en CoddyKit está estructurado para principiantes hasta estudiantes avanzados, así que puedes empezar aquí o desde el inicio y avanzar a tu ritmo. Esta es la lección 2 de 4.
¿Cuánto tiempo toma la lección «Embeddings de GloVe y FastText»?
La mayoría de las lecciones de CoddyKit toman alrededor de 5–10 minutos. Cada una es compacta e interactiva, así que avanzas constantemente y retomas exactamente por donde dejaste en la web y la app.
¿Puedo escribir y ejecutar código en esta lección de Learn AI with Python?
Sí. Cada lección de Learn AI with Python incluye un editor de código integrado, así que escribes y ejecutas código real directamente en tu navegador y obtienes retroalimentación instantánea de IA — sin configuración local necesaria.
Todas las lecciones de este curso
- Word2Vec: Skip-gram y CBOW
- Embeddings de GloVe y FastText
- Clasificación de texto con BERT
- Similitud semántica y embeddings de oraciones