Adicionando regras personalizadas de entidades

O NER pré-treinado nunca viu os nomes dos seus produtos nem o jargão interno da sua empresa. Regras personalizadas permitem identificar os termos que ele sempre deixa passar. 🎯

O EntityRuler do spaCy adiciona entidades a partir de padrões definidos por você, sem exigir um novo treinamento. Ele se conecta diretamente ao pipeline.

Insira o EntityRuler com add_pipe. Colocá-lo antes de ner faz com que suas regras tenham prioridade sobre as previsões do modelo.

Cada regra é um dicionário com um rótulo e um padrão. O rótulo é o tipo de entidade que você deseja atribuir a uma correspondência.

Forneça uma lista de dicionários de padrões a ruler.add_patterns. Agora essas expressões exatas receberão uma marcação sempre que aparecerem.

Além de simples sequências de caracteres, os padrões podem ser listas de tokens que fazem correspondências com base em atributos como o texto em minúsculas, oferecendo regras flexíveis.

Um padrão de tokens com várias entradas identifica expressões, então San Pedro Lab é marcado como uma única entidade, e não como três palavras.

Como o EntityRuler fica antes de ner, seus rótulos personalizados vencem em caso de conflito, enquanto o modelo continua tratando todo o restante.

Execute uma frase no pipeline atualizado e percorra doc.ents para confirmar que seus novos termos agora exibem o rótulo correto.

Exporte as regras para o disco com to_disk para que toda a sua equipe reutilize as mesmas entidades personalizadas, em vez de defini-las novamente.

As regras personalizadas são um primeiro passo rápido. Mais tarde, você poderá treinar o modelo com exemplos rotulados para lidar com casos difíceis e imprecisos. 🚀

O EntityRuler adiciona entidades a partir de padrões de strings ou tokens, é executado antes de ner e salva os dados no disco para reutilização. ✅