Personnalisation des analyseurs de texte
Créez et appliquez des analyseurs personnalisés à des champs spécifiques afin de contrôler le traitement, la racinisation et l’indexation du texte pour la recherche.
Personnalisation des analyseurs de texte est une leçon Elasticsearch & Full Text Search Systems gratuite sur CoddyKit. Ceci est la leçon 2 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage Elasticsearch & Full Text Search Systems, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours Elasticsearch & Full Text Search Systems comprend 4 leçons au total.
Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.
Why Custom Analyzers?
Elasticsearch comes with powerful default text analyzers, but sometimes your data needs a special touch. This is where custom analyzers shine!
They allow you to precisely control how your text fields are processed for search, ensuring optimal relevancy and accuracy for your specific use case.
The Analyzer Recipe
Recall that every analyzer, custom or built-in, follows a three-step process to transform raw text into searchable tokens:
- Character Filters: Clean up the raw input string (e.g., remove HTML tags).
- Tokenizer: Breaks the processed string into individual words or tokens.
- Token Filters: Modifies, adds, or removes tokens (e.g., lowercase, remove stop words, apply stemming).
A custom analyzer lets you pick and choose these ingredients!
Defining Custom Analyzers
You define custom analyzers within an index's settings block, under analysis. This tells Elasticsearch how to process text for that index.
Here's the basic structure for creating a custom analyzer:
PUT /my_custom_index
{
"settings": {
"analysis": {
"analyzer": {
"my_custom_analyzer": {
"type": "custom",
"char_filter": [],
"tokenizer": "standard",
"filter": []
}
}
}
}
}Custom Character Filters
Character filters are the first step, acting on the raw text. They can remove or replace characters before tokenization. You can define your own or use built-in ones.
html_strip: Removes HTML tags.mapping: Replaces specified characters or strings.
Here's how to define a custom mapping filter:
PUT /my_index_with_char_filter
{
"settings": {
"analysis": {
"char_filter": {
"ampersand_to_and": {
"type": "mapping",
"mappings": ["& => and "]
}
},
"analyzer": {
"my_analyzer": {
"type": "custom",
"char_filter": ["ampersand_to_and"],
"tokenizer": "standard",
"filter": ["lowercase"]
}
}
}
}
}Selecting a Tokenizer
The tokenizer breaks the stream of characters from the character filters into individual tokens (words). Your choice here is crucial for how words are identified.
Common built-in tokenizers you can use in custom analyzers include:
standard: Good for most languages, grammar-based.whitespace: Splits text only on whitespace.keyword: Treats the entire input as a single token (useful for exact values).pattern: Splits text based on a regular expression.
Custom Token Filters
Token filters refine the tokens generated by the tokenizer. This is where most of the search logic resides, like handling synonyms or stemming.
You can define custom versions of filters or use built-in ones:
lowercase: Converts tokens to lowercase.stop: Removes common, less meaningful words (stop words).synonym: Replaces tokens with their synonyms.stemmer: Reduces words to their root form.
Let's define a custom stop word filter:
PUT /my_index_with_token_filter
{
"settings": {
"analysis": {
"filter": {
"my_custom_stop_words": {
"type": "stop",
"stopwords": ["a", "the", "is", "and", "are"]
}
},
"analyzer": {
"my_analyzer": {
"type": "custom",
"tokenizer": "standard",
"filter": ["lowercase", "my_custom_stop_words"]
}
}
}
}
}Building a Full Custom Analyzer
Now, let's combine these concepts to create a practical custom analyzer for blog post content. It will:
- Remove HTML tags.
- Tokenize standard text.
- Lowercase all tokens.
- Remove common English stop words.
This analyzer is then applied to the content field.
PUT /blog_posts_index
{
"settings": {
"analysis": {
"char_filter": {
"html_strip_char_filter": {
"type": "html_strip"
}
},
"filter": {
"english_stop_words": {
"type": "stop",
"stopwords": ["the", "a", "an", "is", "are"]
}
},
"analyzer": {
"blog_content_analyzer": {
"type": "custom",
"char_filter": ["html_strip_char_filter"],
"tokenizer": "standard",
"filter": ["lowercase", "english_stop_words"]
}
}
}
},
"mappings": {
"properties": {
"content": {
"type": "text",
"analyzer": "blog_content_analyzer"
}
}
}
}Applying to Field Mappings
Once your custom analyzer is defined in the index settings, you apply it to a text field within your index's mapping. This tells Elasticsearch to use your custom logic when indexing and searching that specific field.
You simply specify the analyzer parameter with the name of your custom analyzer:
PUT /blog_posts_index/_mapping
{
"properties": {
"content": {
"type": "text",
"analyzer": "blog_content_analyzer"
},
"title": {
"type": "text",
"analyzer": "standard"
}
}
}Testing with _analyze API
How can you be sure your custom analyzer works as expected? Use the _analyze API! It lets you simulate how text will be processed by any analyzer.
This is an indispensable tool for debugging and validating your text analysis setup.
GET /blog_posts_index/_analyze
{
"analyzer": "blog_content_analyzer",
"text": "The <b>quick</b> brown fox jumps over the lazy dog."
}Quiz Time!
You've learned about the components of a custom analyzer and how to define them. Let's test your knowledge!
Custom Analyzers: Your Search Superpower
Congratulations! You've learned how to harness the power of custom analyzers in Elasticsearch.
- You can now define custom character filters, tokenizers, and token filters.
- You know how to combine these components to create a tailor-made analyzer for your data.
- You understand how to apply this analyzer to specific fields in your mappings.
- And importantly, you know how to test your analyzer using the
_analyzeAPI.
This skill is crucial for building highly relevant and accurate search experiences!
Questions Fréquemment Posées
La leçon « Personnalisation des analyseurs de texte » est-elle gratuite ?
Oui — le texte complet de « Personnalisation des analyseurs de texte » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours Elasticsearch & Full Text Search Systems, passe à CoddyKit PRO. Le cours Elasticsearch & Full Text Search Systems comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Personnalisation des analyseurs de texte » ?
Créez et appliquez des analyseurs personnalisés à des champs spécifiques afin de contrôler le traitement, la racinisation et l’indexation du texte pour la recherche. Tu pratiques Elasticsearch & Full Text Search Systems avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer Elasticsearch & Full Text Search Systems ?
Aucune expérience préalable n'est requise. Elasticsearch & Full Text Search Systems sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 2 sur 4.
Combien de temps prend la leçon « Personnalisation des analyseurs de texte » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon Elasticsearch & Full Text Search Systems ?
Oui. Chaque leçon Elasticsearch & Full Text Search Systems inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Analyseurs, tokeniseurs et filtres
- Personnalisation des analyseurs de texte
- Pondération et calcul de pertinence
- Synonymes et racinisation