N-grams de caracteres para robustez
Lide com erros de digitação e palavras raras.
N-grams de caracteres para robustez é uma aula grátis de NLP Academy no CoddyKit. Esta é a aula 2 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de NLP Academy, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de NLP Academy inclui 4 aulas no total.
Partes desta aula ainda não foram traduzidas e aparecem em inglês.
Word Features Are Fragile
Word-level features break on typos and rare spellings. The model sees runnning as a brand-new word, so a single slip can lose all its signal.
Drop Down to Characters
Instead of whole words, we slice text into short chunks of letters. These overlapping pieces are called character n-grams.
What a 3-gram Looks Like
For the word cat, character 3-grams are simple letter triples. They slide across the text one position at a time to form overlapping chunks.
word = "happy"
grams = [word[i:i+3] for i in range(len(word)-2)]Why They Survive Typos
The words run and runn share most of their character grams. So a typo changes only a few features instead of erasing the whole word.
Catching Word Families
play, playing, and player all share the gram pla. Character grams quietly link related forms without any stemming step.
Great for Messy Text
Social media, usernames, and product codes are full of odd spellings. Character grams stay robust where word features fall apart.
Switching On Char Mode
scikit-learn makes this one parameter. Set analyzer to char and pick an ngram_range to extract character grams instead of words.
from sklearn.feature_extraction.text import TfidfVectorizer
vec = TfidfVectorizer(analyzer="char", ngram_range=(3, 5))char_wb Respects Words
The char_wb analyzer only makes grams inside word boundaries, padding each word. It keeps the robustness while avoiding grams that span two words.
vec = TfidfVectorizer(analyzer="char_wb", ngram_range=(2, 4))Handy for Other Languages
Languages that glue words together or have rich endings are tough for word tokenizers. Character grams sidestep that and stay language-friendly.
The Cost: Bigger Features
Character grams create many more features than words do. That extra dimensionality needs more memory, so keep the range tight.
Best as a Teammate
Character grams shine when combined with word features, not as a replacement. Together they cover both meaning and robustness. 💪
Quick Check
Why do character n-grams handle typos so well?
Recap
Character n-grams slice text into letter chunks, survive typos, and link word families. Use analyzer char in scikit-learn alongside word features. ✅
Perguntas Frequentes
A aula “N-grams de caracteres para robustez” é grátis?
Sim — o texto completo de “N-grams de caracteres para robustez” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de NLP Academy, atualize para CoddyKit PRO. O curso de NLP Academy inclui 4 aulas no total.
O que vou aprender em “N-grams de caracteres para robustez”?
Lide com erros de digitação e palavras raras. Você pratica NLP Academy com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar NLP Academy?
Nenhuma experiência prévia é necessária. NLP Academy no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 2 de 4.
Quanto tempo leva a aula “N-grams de caracteres para robustez”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de NLP Academy?
Sim. Cada aula de NLP Academy inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- Além do saco de palavras
- N-grams de caracteres para robustez
- Combinando vários tipos de recursos
- Dimensionando e selecionando recursos