UNION и UNION ALL

Операции над множествами объединяют один набор результатов с другим, располагая строки вертикально. UNION и UNION ALL — первые операции над множествами, о которых спрашивают на собеседованиях, потому что разница между ними формулируется одной строкой и показывает, понимаете ли Вы затраты.

Вопрос почти всегда звучит так: «В чём разница между UNION и UNION ALL и какой вариант следует использовать?» Сильный ответ сразу упоминает удаление дубликатов, сортировку и производительность.

UNION объединяет строки двух запросов в один набор результатов, а затем удаляет повторяющиеся строки. Две строки считаются дубликатами только в том случае, если совпадают все столбцы.

Чтобы удалить дубликаты, системе приходится сортировать или хешировать все объединённые строки, а это требует реальных ресурсов. UNION возвращает множество в математическом смысле: без повторов.

UNION ALL соединяет два набора результатов и сохраняет каждую строку, включая дубликаты. Дубликаты не удаляются, поэтому для этой цели не выполняются ни сортировка, ни хеширование.

Поскольку этап удаления дубликатов пропускается, UNION ALL почти всегда работает быстрее и является правильным выбором, если Вы знаете, что строки не пересекаются, или если дубликаты нужны.

Главный вывод для собеседования: UNION ALL дешевле, потому что он никогда не удаляет дубликаты. UNION должен сравнить все объединённые строки между собой, чтобы убрать повторы.

• UNION = UNION ALL + неявный шаг DISTINCT.
• Для больших наборов результатов этот DISTINCT может составлять основную часть стоимости запроса.

Если удалять дубликаты не нужно, выбор UNION приводит к лишним затратам CPU и памяти.

Предположим, оба запроса могут вернуть строку 'Paris'. С UNION Вы получите одну строку Paris. С UNION ALL Вы получите Paris дважды.

На собеседованиях любят просить предсказать количество строк. Сначала всегда представляйте исходное объединение, а затем спрашивайте себя: удаляет ли оператор повторы?

Распространённая ловушка: две строки являются дубликатами только тогда, когда каждый выбранный столбец в них равен. Добавьте один отличающийся столбец — и строки перестанут быть дубликатами, поэтому UNION сохранит их обе.

Поэтому SELECT id, city часто возвращает больше строк, чем SELECT city при использовании UNION, даже для одних и тех же таблиц.

Нельзя указывать ORDER BY в отдельных ветвях запроса: он применяется ко всему объединённому результату и должен появиться один раз, в самом конце.

Интервьюер может спросить, где размещается ORDER BY. Ответ: один ORDER BY после последнего запроса, с обращением к выходным столбцам по имени или по позиции.

При обращении к столбцам в финальном ORDER BY используйте имена (или псевдонимы) из первого SELECT. Имена столбцов второго запроса не учитываются при формировании заголовков результата.

Это важно, когда в ветках используются разные имена столбцов. Задайте псевдонимы в первой ветке, чтобы управлять заголовками результата.

Используйте UNION только тогда, когда перекрывающиеся строки действительно возможны и вы хотите получить каждую уникальную строку один раз. Например, при объединении двух списков контактов, где один и тот же человек может присутствовать в обоих, или при создании списка уникальных значений без дубликатов из нескольких источников.

Если вы можете гарантировать, что источники не пересекаются, UNION ALL даст тот же результат быстрее.

Используйте UNION ALL, когда дубликаты невозможны, имеют смысл или после объединения вы будете выполнять агрегацию. Классический пример — объединение месячных секционированных таблиц, которые не содержат общих строк.

Совет для собеседований: скажите, что UNION ALL является вариантом по умолчанию и переходить к UNION следует только при действительной необходимости удалить дубликаты.

Отточенный ответ на собеседовании может звучать так: «UNION удаляет дублирующиеся строки, что требует сортировки или хеширования; UNION ALL сохраняет всё и работает быстрее. Оба варианта требуют одинакового количества столбцов и совместимых типов, а любой ORDER BY указывается один раз в конце. По умолчанию я выбираю UNION ALL, если только дедупликация не требуется».

Эта одна фраза одновременно показывает корректность и понимание производительности.

Проверьте, насколько хорошо вы понимаете различие между UNION и UNION ALL.

Основные выводы:

• UNION = объединение + удаление дублирующихся строк (неявный DISTINCT, дополнительные затраты).
• UNION ALL = объединение с сохранением всех строк, более высокая скорость, разумный вариант по умолчанию.
• Чтобы строки считались дубликатами, должны совпадать все столбцы.
• Единый ORDER BY указывается в самом конце и использует имена столбцов из первого запроса.

По умолчанию выбирайте UNION ALL; переходите к UNION только при действительно необходимом удалении дубликатов.