Einführung in die Volltextsuche (tsvector, to_tsquery)

Warum Volltextsuche?

Zwei grundlegende Typen

Ein Dokument analysieren

SELECT to_tsvector('english', 'The quick brown foxes jump over the lazy dogs');
-- 'brown':3 'dog':9 'fox':4 'jump':5 'lazi':8 'quick':2
-- Stop words ('the', 'over') dropped; words stemmed (foxes → fox)

Eine Abfrage analysieren

SELECT to_tsquery('english', 'foxes & dogs');
-- 'fox' & 'dog'

Abgleichen

SELECT to_tsvector('english', 'The lazy fox')
        @@ to_tsquery('english', 'fox');    -- TRUE

Eine Dokumenttabelle indizieren

CREATE TABLE articles (
  id BIGSERIAL PRIMARY KEY,
  title TEXT NOT NULL,
  body  TEXT NOT NULL
);

-- Either keep a generated tsvector column:
ALTER TABLE articles
  ADD COLUMN search_doc tsvector
    GENERATED ALWAYS AS (
      to_tsvector('english',
        coalesce(title,'') || ' ' || coalesce(body,'')
      )
    ) STORED;

CREATE INDEX articles_search_idx ON articles USING GIN (search_doc);

Suchen

SELECT id, title
FROM articles
WHERE search_doc @@ to_tsquery('english', 'postgres & json')
ORDER BY id DESC;

Boolesche Operatoren in Abfragen

to_tsquery('english', '(cat | dog) & !rabbit');

Suche nach Wortfolgen

to_tsquery('english', 'postgres <-> performance');
-- finds 'postgres performance', not 'postgres is great for performance'

Benutzerfreundliche Webabfragen: websearch_to_tsquery

SELECT websearch_to_tsquery('english', 'postgres "json indexing" -mongo');

Ergebnisse bewerten

SELECT id, title,
       ts_rank(search_doc, query) AS rank
FROM articles, to_tsquery('english', 'postgres & json') AS query
WHERE search_doc @@ query
ORDER BY rank DESC
LIMIT 20;

Hervorheben

SELECT ts_headline('english', body,
  to_tsquery('english', 'postgres & json'),
  'StartSel=<mark>,StopSel=</mark>')
FROM articles
WHERE search_doc @@ to_tsquery('english', 'postgres & json');

Zusammenfassung

Kurzer Test