Een model laden en een Doc verwerken

Dat nlp-object is je volledige pijplijn in één pakket. Als je het op tekst aanroept, worden alle fasen uitgevoerd: tokenizer, tagger, parser en entiteitherkenner.

Om een zin te analyseren, roep je nlp() aan met een tekenreeks. Het resultaat is een Doc, een uitgebreide container met de volledige analyse.

Die ene aanroep heeft tokenisatie, tagging en parsing al uitgevoerd. De Doc bevat nu elk resultaat, dus je hoeft het werk nooit opnieuw te doen.

Een Doc gedraagt zich als een reeks, dus je kunt erdoorheen lopen. Elk item dat je terugkrijgt is een Token met eigen attributen.

Het oorspronkelijke woord staat in token.text. Dit is precies de tekenreeks die spaCy tijdens het opsplitsen van je zin heeft gevonden.

Het laden van een model is langzaam, dus doe dit eenmalig bij het opstarten. Gebruik daarna hetzelfde nlp-object opnieuw voor elk document dat je verwerkt.

Gebruik voor veel teksten nlp.pipe. Deze functie verwerkt ze efficiënt in batches en is veel sneller dan nlp() aanroepen in een gewone lus.

Heb je alleen tokens nodig? Dan kun je ongebruikte onderdelen bij het laden uitschakelen om werk over te slaan en nog sneller te werken.

Je kunt ook beginnen met spacy.blank voor een pijplijn die alleen tokeniseert. Dat is handig wanneer je alles zelf wilt opbouwen.

Je installeert een model, laadt het één keer met spacy.load en roept daarna nlp() aan om een Doc te krijgen. Eén aanroep voert de hele pijplijn uit en je gebruikt het resultaat overal opnieuw. 🎯